В чем разница между cross-attention, masked attention и self-attention?

Self-attention — механизм, при котором модель обращает внимание на все элементы входной последовательности, включая текущий элемент, чтобы вычислить представление каждого элемента с учётом контекста всей последовательности. Используется, например, в трансформерах для обработки текста.

Cross-attention — механизм, при котором внимание вычисляется между двумя разными последовательностями: запросы (queries) берутся из одной последовательности, а ключи (keys) и значения (values) — из другой. Часто применяется в энкодер-декодерных архитектурах, где декодер обращается к выходам энкодера.

Masked attention — разновидность внимания, где часть информации скрыта (замаскирована) с помощью маски. Например, в задачах генерации текста маска запрещает модели смотреть на будущие токены, чтобы предотвратить утечку информации и обеспечить автогрессивное предсказание.

Итого:

• Self-attention: внимание внутри одной последовательности.
• Cross-attention: внимание между разными последовательностями.
• Masked attention: внимание с маской, ограничивающей видимость некоторых позиций.