Wat is het verschil tussen autoregressieve en gemaskeerde taalmodellen?

Autoregressieve taalmodellen voorspellen het volgende woord (of token) op basis van de vorige woorden in de sequentie. Ze genereren tekst sequentieel, gebruikmakend van de reeds gegenereerde woorden om de volgende te voorspellen.

Gemaskerde taalmodellen leren de ontbrekende (gemaskerde) woorden in de tekst te herstellen, gebruikmakend van de context zowel links als rechts. Ze genereren geen tekst sequentieel, maar leren de context als geheel te begrijpen.

Voorbeeld:

• Autoregressief model: voor de zin "Ik hou van ___" voorspelt het het volgende woord, bijvoorbeeld "programmeren".
• Gemaskerd model: in de zin "Ik [MASK] programmeren" herstelt het het ontbrekende woord "hou".

Zo zijn autoregressieve modellen geschikt voor tekstgeneratie, terwijl gemaskerde modellen beter zijn voor begrip en het invullen van gaten.