როგორ მიეცა BERT-ის სწავლა? რა არის MLM და NSP?

BERT (Transformerlardan İki Yönlü Kodlayıcı Təsvirlər) iki əsas tapşırıq istifadə edilərək öyrədildi:

1. MLM (Maskalanmış Dil Modelləşdirmə) — cümlədəki sözləri maskalamaq və bu sözləri kontekst əsasında proqnozlaşdırmaq. Təlim zamanı, təsadüfi olaraq tokenlərin (təxminən 15%) bir hissəsi maskalanır və model gizlədilmiş sözləri əvvəl və sonra olan məlumatları istifadə edərək (iki tərəfli kontekst) proqnozlaşdırmalıdır.

2. NSP (Növbəti Cümlənin Təxmin Edilməsi) — vəzifə, cütlükdəki ikinci cümlənin həqiqətən də mətnin növbəti hissəsi olub-olmadığını proqnozlaşdırmaq. Bu, modelə cümlələr arasındakı əlaqəni anlamağa kömək edir.

Bu şəkildə, MLM modelə cümlə daxilində konteksti anlamağı öyrədir və NSP — cümlələr arasındakı əlaqələri, bu da təbii dil işləmə tapşırıqları üçün təsvirlərin keyfiyyətini artırır.