Даро ба ман дар бораи LoRA: ин чист, чӣ гуна омӯзонида мешавад ва чӣ гуна кор мекунад дар инференс?

LoRA (Низкорангӣ Адаптация) усули бузург нейронӣ шабакаҳоро танзим кардан бо омӯзиши шумораи ками параметрҳо мебошад, ки имкон медиҳад моделҳоро самаранок танзим кардан бе омӯзиши пурра.

Чӣ гуна кор мекунад:

• Дар модели аслӣ, вазнҳои қабат ҳамчун матрицалар ифода мешаванд.
• LoRA ба ин матрицалар ислоҳоти пасти ранг (таҳлил ба ду матрицаи хурд) илова мекунад.
• Дар вақти омӯзиш, танҳо ин матрицалар бо ранг паст нав карда мешаванд, дар ҳоле ки вазнҳои аслӣ мустаҳкам мемонанд.

Омӯзиш:

• Танҳо шумораи ками параметрҳо омӯзонида мешавад, ки талабот ба захираҳо ва вақти омӯзишро кам мекунад.
• Имкон медиҳад, ки модел ба вазифаҳои нав ё маълумотҳо зуд мутобиқ карда шавад.

Инференс:

• Дар вақти инференс, ислоҳот аз матрицалар LoRA ба вазнҳои аслӣ ҷамъ мешаванд, ва модел мутобиқ карда мешавад.
• Ин каме ҳисобҳоро зиёд мекунад, аммо самаранокӣ ва кӯтоҳиро нигоҳ медорад.

Инро чунин тасаввур кардан мумкин аст: агар матрицаи вазнҳои аслӣ W бошад, пас вазни ниҳоӣ пас аз LoRA W + BA аст, ки дар он B ва A матрицаҳое бо ранг паст мебошанд, ки алоҳида омӯзонида мешаванд.