Каква е разликата между авторегресивните и маскираните езикови модели?

Авторегресивните модели за език предсказват следната дума (или токен) въз основа на предишните думи в последователността. Те генерират текст последователно, използвайки вече генерираните думи за предсказване на следващите.

Маскираните модели за език се учат да възстановяват липсващите (маскирани) думи в текста, използвайки контекста както отляво, така и отдясно. Те не генерират текст последователно, а се учат да разбират целия контекст.

Пример:

• Авторегресивен модел: за изречението "Обичам ___" ще предвиди следната дума, например "програмиране".
• Маскиран модел: в изречението "Аз [MASK] програмиране" ще възстанови липсващата дума "обичам".

По този начин, авторегресивните модели са подходящи за генериране на текст, а маскираните — за разбиране и запълване на пропуски.