Что такое DoRA и чем она отличается от LoRA?

DoRA (Domain-oriented Retrieval Augmentation) и LoRA (Low-Rank Adaptation) — это методы адаптации больших языковых моделей, но с разными подходами.

• LoRA — метод тонкой настройки модели, который добавляет низкоранговые матрицы к весам модели, позволяя эффективно адаптировать модель без изменения всех параметров.

• DoRA — метод, который фокусируется на улучшении модели через интеграцию релевантной информации из внешних источников (retrieval), ориентируясь на конкретную предметную область (domain). Это позволяет модели использовать актуальные данные для генерации ответов.

Таким образом, LoRA — это техника параметрической адаптации модели, а DoRA — подход, который расширяет модель за счёт внешних знаний, ориентированных на конкретную область.