Šta je DoRA i kako se razlikuje od LoRA?

DoRA (Доменски оријентисано повећање преузимања) и LoRA (Низак ранг адаптација) су методе адаптације великих језичких модела, али са различитим приступима.

• LoRA је метода фино подешавања модела, која додаје нискорангиране матрице на тежине модела, омогућавајући ефикасну адаптацију модела без промене свих параметара.

• DoRA је метода која се фокусира на побољшање модела кроз интеграцију релевантних информација из спољних извора (повлачење), оријентисано ка одређеној области (домену). Ово омогућава моделу да користи актуелне податке за генерисање одговора.

Стога, LoRA је техника параметрске адаптације модела, а DoRA је приступ који проширује модел кроз спољна знања, оријентисан на одређену област.