Какво е LoRA сливане и как да слеем няколко адаптера?

Обединяването LoRA е процес на съединяване на няколко адаптера LoRA (Low-Rank Adaptation), които са леки модули за донастройка на големи езикови модели (LLM) с минимални промени в теглата.

Всеки адаптер LoRA се обучава за конкретна задача или набор от данни, а обединяването позволява да се комбинират знанията от различни адаптери в един модел, без да е необходимо да се тренира отново от нулата.

Как да обедините няколко адаптера:

1. Получаване на теглата на адаптерите: Всеки адаптер LoRA съхранява теглата си под формата на нискорангови матрици.
2. Сумиране на теглата: За обединяване на теглата, техните матрици се събират с вземане предвид на коефициенти (тегла), които могат да регулират приноса на всеки адаптер.
3. Актуализиране на модела: Получените обединени тегла се интегрират в базовия модел.

Пример за псевдокод:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Където alpha1, alpha2 са коефициенти, които влияят на всеки адаптер.

По този начин, обединяването LoRA позволява ефективно комбиниране на знания от различни адаптери и подобрява производителността на модела на няколко задачи без необходимост от пълно повторно обучение.