Was ist eine FFN-Schicht in einem Transformer und warum ist Nichtlinearität zwischen den Attention-Blöcken notwendig?

Die FFN-Schicht (Feed-Forward Network) in einem Transformer ist ein zweilagiges, vollständig verbundenes neuronales Netzwerk, das nach der Aufmerksamkeitsschicht separat auf jedes Element der Sequenz angewendet wird. Ihre Aufgabe ist es, eine zusätzliche nichtlineare Verarbeitung hinzuzufügen und die Ausdruckskraft des Modells zu erhöhen.

Die Nichtlinearität zwischen den Aufmerksamkeitseinheiten ist notwendig, damit das Modell komplexe Funktionen und Abhängigkeiten approximieren kann. Die Aufmerksamkeit ist für die gewichtete Summe der Informationen an verschiedenen Positionen verantwortlich, und die FFN mit nichtlinearer Aktivierung (z.B. ReLU oder GELU) hilft dem Transformer, komplexere Muster zu modellieren als nur lineare Kombinationen.

Beispiel für den Aufbau einer FFN-Schicht:

import torch
import torch.nn as nn

class FFN(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        self.activation = nn.GELU()
        self.linear2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        return self.linear2(self.activation(self.linear1(x)))

Hierbei ist d_model die Dimension der Eingabe- und Ausgabvektoren, d_ff die Dimension der inneren Schicht, die in der Regel größer als d_model ist.

Auf diese Weise sorgt die FFN-Schicht mit Nichtlinearität für eine tiefe nichtlineare Transformation der Merkmale, was das Training und die Qualität des Modells verbessert.