Что такое multi-query attention и где её используют?

Multi-query attention — это модификация механизма внимания в трансформерах, где несколько ключей (keys) и значений (values) объединяются в один общий набор, а для каждого запроса (query) используется отдельный набор запросов. Это позволяет значительно уменьшить объем памяти и вычислительные затраты, особенно при работе с длинными последовательностями, сохраняя при этом качество модели.

Основное применение multi-query attention — в больших языковых моделях и трансформерах, где важна эффективность и масштабируемость, например, в GPT-4 и других современных архитектурах. Такой подход помогает ускорить инференс и снизить требования к ресурсам без существенной потери точности.

Пример: вместо того, чтобы иметь отдельные ключи и значения для каждой головы внимания (multi-head attention), все головы используют общий набор ключей и значений, а запросы остаются индивидуальными.