Mi a különbség az autoregresszív és a maszkolt nyelvi modellek között?

Az autoregresszív nyelvi modellek a következő szót (vagy tokent) jósolják meg a korábbi szavak alapján a szekvenciában. Szöveget szekvenciálisan generálnak, a már generált szavakat használva a következők előrejelzéséhez.

A maszkolt nyelvi modellek megtanulják pótolni a hiányzó (maszkolt) szavakat a szövegben, mind a bal, mind a jobb oldalról vett kontextus segítségével. Nem szekvenciálisan generálnak szöveget, hanem megtanulják megérteni a kontextust egészként.

Példa:

• Autoregresszív modell: a "Szeretem ___" mondatnál előre jelzi a következő szót, például "programozni".
• Maszkolt modell: a "Én [MASK] programozni" mondatban helyreállítja a hiányzó szót "szeretem".

Így az autoregresszív modellek jól alkalmasak szöveg generálására, míg a maszkoltak inkább a megértésre és a hiányok kitöltésére.