Какво е DoRA и как се различава от LoRA?

DoRA (Облачно ориентирано добавяне на извличане) и LoRA (Нискорангова адаптация) са методи за адаптиране на големи езикови модели, но с различни подходи.

• LoRA е метод за фина настройка на модела, който добавя нискорангови матрици към теглата на модела, позволявайки ефективно адаптиране на модела без промяна на всички параметри.

• DoRA е метод, който се фокусира върху подобряване на модела чрез интегриране на релевантна информация от външни източници (възстановяване), ориентиран към конкретна област (домен). Това позволява на модела да използва актуални данни за генериране на отговори.

Следователно, LoRA е техника за параметрична адаптация на модела, а DoRA е подход, който разширява модела чрез външни знания, ориентирани към конкретна област.