Worin unterscheiden sich autoregressive und maskierte Sprachmodelle?

Autoregressive Sprachmodelle sagen das nächste Wort (oder Token) basierend auf den vorherigen Wörtern in der Sequenz voraus. Sie generieren Text sequenziell, indem sie die bereits generierten Wörter verwenden, um die nächsten vorherzusagen.

Maskierte Sprachmodelle lernen, die fehlenden (maskierten) Wörter im Text wiederherzustellen, wobei sie den Kontext sowohl links als auch rechts nutzen. Sie generieren keinen Text sequenziell, sondern lernen, den Kontext als Ganzes zu verstehen.

Beispiel:

• Autoregressives Modell: Für den Satz "Ich liebe ___" wird das nächste Wort vorhergesagt, z.B. "programmieren".
• Maskiertes Modell: Im Satz "Ich [MASK] programmieren" wird das fehlende Wort "liebe" wiederhergestellt.

Daher eignen sich autoregressive Modelle gut für die Textgenerierung, während maskierte Modelle besser für das Verständnis und das Ausfüllen von Lücken geeignet sind.