Какие гиперпараметры LoRA важны (r, alpha, target_modules)?

В LoRA (Low-Rank Adaptation) важны следующие гиперпараметры:

• r (rank) — ранг низкоранговой аппроксимации. Определяет размерность матриц, которые обучаются. Меньшее значение r снижает количество параметров и вычислительную нагрузку, но может уменьшить качество адаптации.

• alpha — коэффициент масштабирования. Обычно используется для масштабирования выходов LoRA-адаптеров, влияя на скорость и стабильность обучения.

• target_modules — список модулей модели, к которым применяется LoRA. Позволяет выбрать, какие части модели будут адаптироваться, что важно для контроля объёма обучения и сохранения производительности.

Правильный выбор этих параметров влияет на баланс между эффективностью обучения и качеством адаптации модели.