Авторегрессивті және маскаланған тілдік модельдер қалай ерекшеленеді?

Авторегрессивті тілдік модельдер алдыңғы сөздер негізінде келесі сөзді (немесе токенді) болжайды. Олар мәтінді біртіндеп құрастырып, бұрынғы сөздерді пайдалана отырып келесі сөзді болжайды.

Маскированған тілдік модельдер мәтіндегі жетіспейтін (маскированған) сөздерді қалпына келтіруге үйретіледі, олар сол жақ пен оң жақ контексті пайдаланады. Олар мәтінді біртіндеп құрастырумен айналыспайды, керісінше, контексті толық түсінуге үйренеді.

Мысал:

• Авторегрессивті модель: "Мен ___ жақсы көремін" деген сөйлем үшін келесі сөзді, мысалы "бағалай" болжайды.
• Маскированған модель: "Мен [MASK] жақсы көремін" деген сөйлемде жетіспейтін сөзді "жақсы" деп қалпына келтіреді.

Осылайша, авторегрессивті модельдер мәтін генерациясына жақсы үйлеседі, ал маскированған модельдер түсінуге және жетіспейтін бөліктерді толтыруға тиімді.