Когда выбрать LoRA, а когда retrieval по похожим постам? Сколько данных нужно для каждого подхода?

LoRA (Low-Rank Adaptation) — это метод тонкой настройки больших языковых моделей, при котором обучаются только небольшие дополнительные параметры, а основная модель остаётся замороженной. Этот подход эффективен, когда у вас есть ограниченный объём специализированных данных (от нескольких сотен до нескольких тысяч примеров) и вы хотите адаптировать модель под конкретную задачу без полного переобучения.

Retrieval по похожим постам (retrieval-augmented generation) — это подход, при котором к модели подаются релевантные документы или примеры из внешнего хранилища, найденные по запросу. Он хорошо работает, когда есть большой корпус данных, и вы хотите использовать актуальную или специфическую информацию без изменения самой модели.

Когда выбирать:

• LoRA: если нужно адаптировать модель под узкую задачу с ограниченным количеством данных и есть возможность дообучения.
• Retrieval: если есть большой набор документов/постов и важна актуальность или разнообразие информации, а дообучение модели нежелательно или невозможно.

Объёмы данных:

• LoRA: от нескольких сотен до нескольких тысяч примеров, зависит от задачи и размера модели.
• Retrieval: требуется большой индексируемый корпус (тысячи и более документов), но сама модель не дообучается.