В какие слои ты вставлял LoRA и что такое q_proj?

LoRA (Low-Rank Adaptation) обычно вставляют в ключевые линейные слои трансформеров, такие как проекции запросов (q_proj), ключей (k_proj), значений (v_proj) и иногда в слои feed-forward. Это позволяет эффективно адаптировать большие модели без полного переобучения.

q_proj — это линейный слой, который преобразует входные эмбеддинги в запросы (queries) для механизма внимания (attention). В трансформерах внимание вычисляется как функция запросов, ключей и значений, и q_proj отвечает за формирование запросов из входных данных.

Пример: если у вас есть слой внимания с q_proj, то LoRA можно добавить в этот слой, заменив весовую матрицу W на W + BA, где B и A — низкоранговые матрицы, обучаемые отдельно.