Расскажи основную архитектуру трансформера, какие основные части.

Архитектура трансформера состоит из двух основных частей: энкодера и декодера, каждая из которых состоит из повторяющихся слоёв.

Основные компоненты:

• Механизм внимания (Attention) — ключевая часть, обычно используется self-attention, который позволяет модели учитывать все позиции входной последовательности при обработке каждого элемента.
• Многоголовое внимание (Multi-head Attention) — параллельное вычисление нескольких attention, что позволяет модели захватывать разные аспекты информации.
• Нормализация и остаточные связи (Layer Normalization и Residual Connections) — помогают стабилизировать обучение и улучшить градиенты.
• Feed-forward сети (FFN) — позиционно независимые полносвязные слои, применяемые к каждому элементу последовательности отдельно.
• Позиционное кодирование (Positional Encoding) — добавляется к входным эмбеддингам, чтобы модель учитывала порядок слов, так как attention сам по себе не учитывает позицию.

В энкодере каждый слой содержит:

• Многоголовое self-attention
• FFN

В декодере каждый слой содержит:

• Многоголовое masked self-attention (чтобы предотвратить "заглядывание" в будущие токены)
• Многоголовое внимание к выходам энкодера
• FFN

Таким образом, трансформер эффективно моделирует зависимости в последовательностях без рекурсии и свёрток, что позволяет масштабировать обучение и обрабатывать длинные контексты.