Czym różnią się autoregresywne i maskowane modele językowe?

Modele językowe autoregresywne przewidują następne słowo (lub token) na podstawie poprzednich słów w sekwencji. Generują tekst kolejno, używając już wygenerowanych słów do przewidywania kolejnych.

Modele maskujące uczą się przywracać pominięte (zamaskowane) słowa w tekście, korzystając z kontekstu zarówno z lewej, jak i z prawej strony. Nie generują tekstu kolejno, lecz uczą się rozumieć kontekst jako całość.

Przykład:

• Model autoregresywny: dla zdania "Lubię ___" przewidzi kolejne słowo, na przykład "programować".
• Model maskujący: w zdaniu "Ja [MASK] programować" przywróci pominięte słowo "lubię".

W ten sposób modele autoregresywne dobrze nadają się do generowania tekstu, a maskujące do rozumienia i uzupełniania luk.