V čom sa líšia autoregresívne a maskované jazykové modely?

Autoregresívne jazykové modely predpovedajú nasledujúce slovo (alebo token) na základe predchádzajúcich slov v sekvencii. Generujú text sekvenčne, využívajúc už vygenerované slová na predpoveď ďalších.

Maskované jazykové modely sa učia obnovovať chýbajúce (maskované) slová v texte, využívajúc kontext zľava aj sprava. Negenerujú text sekvenčne, ale učia sa porozumieť celkovému kontextu.

Príklad:

• Autoregresívny model: pre vetu "Mám rád ___" predpovie nasledujúce slovo, napríklad "programovanie".
• Maskovaný model: vo vete "Ja [MASK] programovanie" obnoví chýbajúce slovo "mám".

Týmto spôsobom sú autoregresívne modely vhodné na generovanie textu, zatiaľ čo maskované sú lepšie na porozumenie a dopĺňanie medzier.