Трансформер — это архитектура нейросети, широко используемая для обработки последовательностей, например, текста. Основная идея трансформера — использовать механизм внимания (attention) для взвешивания значимости разных частей входных данных без рекуррентных или сверточных слоев.

Крупные блоки трансформера:

Входное представление (Embedding) — преобразует входные токены в векторные представления.
Позиционное кодирование (Positional Encoding) — добавляет информацию о позиции токенов в последовательности, так как механизм внимания не учитывает порядок.
Механизм внимания (Self-Attention) — вычисляет весовые коэффициенты для каждого токена относительно всех остальных, позволяя модели фокусироваться на релевантных частях входа.
Многоголовое внимание (Multi-Head Attention) — параллельное применение нескольких механизмов внимания для захвата разных аспектов зависимости.
Нормализация и остаточные связи (Layer Normalization и Residual Connections) — помогают стабилизировать обучение и улучшить градиентный поток.
Полносвязные слои (Feed-Forward Network) — применяются к каждому элементу последовательности отдельно для нелинейного преобразования.
Выходной слой — для задач генерации или классификации.

Пример упрощённой структуры одного слоя трансформера:

class TransformerLayer(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)
        self.linear2 = nn.Linear(d_model*4, d_model)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

    def forward(self, x):
        attn_output, _ = self.self_attn(x, x, x)
        x = self.norm1(x + attn_output)
        ff_output = self.linear2(F.relu(self.linear1(x)))
        x = self.norm2(x + ff_output)
        return x

Таким образом, трансформер строится из повторяющихся таких слоёв, что позволяет эффективно моделировать зависимости в данных.

Как устроен трансформер и какие крупные блоки в нем есть?