LoRAнын кай гиперпараметрлери маанилүү (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation) үчүн төмөнкү гиперпараметрлер маанилүү:

• r (даража) — төмөн даражадагы жакындашуу даража. Окуу үчүн матрицалардын өлчөмүн аныктайт. Кичи мааниси r параметрлердин санын жана эсептөө жүктөмүн азайтат, бирок адаптациянын сапатын төмөндөтүшү мүмкүн.

• alpha — масштабдоо коэффициенти. Жалпысынан LoRA адаптерлеринин чыгыштарын масштабдоо үчүн колдонулат, үйрөнүү ылдамдыгына жана туруктуулугуна таасир этет.

• target_modules — LoRA колдонулган моделдин модулдарынын тизмеси. Кайсы бөлүктөр моделге ылайыкташтырыларын тандоого мүмкүндүк берет, бул үйрөнүү көлөмүн көзөмөлдөө жана иштөө сапатын сактоо үчүн маанилүү.

Бул параметрлердин туура тандалышы үйрөнүүнүн эффективдүүлүгү менен моделдин адаптациясынын сапатынын ортосунда баланс түзөт.