Что такое ALiBi и как он реализует экстраполяцию длины контекста?

ALiBi (Attention with Linear Biases) — это метод для улучшения обработки длинных последовательностей в трансформерах, который добавляет линейные смещения к механизмам внимания (attention biases).

В классических трансформерах позиционная информация кодируется с помощью позиционных эмбеддингов, что ограничивает длину контекста фиксированным размером.

ALiBi реализует экстраполяцию длины контекста за счёт добавления к весам внимания линейных смещений, зависящих от расстояния между позициями. Чем дальше две позиции друг от друга, тем сильнее смещение, что заставляет модель уделять меньше внимания удалённым токенам.

Это позволяет модели обрабатывать более длинные последовательности, чем те, на которых она обучалась, без необходимости менять позиционные эмбеддинги.

Примерно это выглядит так:

• Для каждой пары позиций i и j вычисляется bias = slope * (i - j), где slope — параметр, зависящий от головы внимания.
• Этот bias добавляется к логитам внимания перед применением softmax.

Таким образом ALiBi обеспечивает естественное убывание внимания с увеличением расстояния, что помогает модели лучше обобщать на более длинные контексты.