Расскажите про QLoRA — что это такое и как использовали в своём опыте?

QLoRA (Quantized Low-Rank Adaptation) — это метод дообучения больших языковых моделей с использованием квантования и low-rank адаптации. Основная идея — уменьшить требования к памяти и вычислительным ресурсам при дообучении, сохраняя при этом качество модели.

Вместо полного дообучения всех параметров модели, QLoRA применяет low-rank адаптацию, обучая небольшие матрицы с низким рангом, а сама большая модель хранится в квантованном виде (например, 4-битном), что значительно снижает объем памяти.

В моём опыте QLoRA использовался для адаптации больших моделей под специфические задачи с ограниченными ресурсами, например, для создания чат-бота с узкой тематикой, где полное дообучение было бы слишком дорогим. Это позволило быстро и эффективно получить качественную модель, не требуя мощных GPU и большого объёма памяти.