V čem se liší autoregresivní a maskované jazykové modely?

Autoregresivní jazykové modely předpovídají následující slovo (nebo token) na základě předchozích slov v sekvenci. Generují text sekvenčně, využívají již vygenerovaná slova k předpovědi dalších.

Maskované jazykové modely se učí obnovovat chybějící (maskovaná) slova v textu, využívají kontext jak zleva, tak zprava. Negenerují text sekvenčně, ale učí se porozumět celkovému kontextu.

Příklad:

• Autoregresivní model: pro větu "Mám rád ___" předpoví následující slovo, například "programovat".
• Maskovaný model: ve větě "Já [MASK] programovat" obnoví chybějící slovo "mám".

Tímto způsobem jsou autoregresivní modely vhodné pro generování textu, zatímco maskované jsou lepší pro porozumění a doplňování mezer.