Middle — Senior
რა არის MLM (მასკერილი ენის მოდელირება)? რა წილი ტოკენების არის დამალული?
sobes.tech AI
პასუხი AI-სგან
მასკირებული ენის მოდელირება (MLM) — ეს არის ენის მოდელის სწავლების ამოცანა, სადაც შემოსავლის ტოკენების ნაწილი შემთხვევით იკეტება (განსაკუთრებული ტოკენით, მაგალითად, [MASK]), და მოდელი უნდა წინასწარ იწინასწარმეტყველოს ამ იკეტილი ტოკენების თავდაპირველი მნიშვნელობები.
ეს საშუალებას აძლევს მოდელს ისწავლოს კონტექსტი და გაიგოს სიტყვებს შორის კავშირები.
კლასიკური BERT-ის განხორციელებაში, ყოველი შესვლის წინადადებაში დაახლოებით 15% ტოკენი იკეტება. ამ 15%-დან:
- 80% იცვლება [MASK] ტოკენით
- 10% იცვლება შემთხვევით ტოკენით
- 10% რჩება უცვლელი (მაგრამ მოდელი მაინც უნდა წინასწარ იწინასწარმეტყველოს თავდაპირველი ტოკენი)
ეს მიდგომა ეხმარება მოდელს არ გადამზადდეს [MASK] ტოკენზე და უკეთ გააფართოვოს.
მაგალითი: წინადადებისთვის "The cat sat on the mat" მოდელი შეიძლება მიიღოს "The cat [MASK] on the mat" და უნდა წინასწარ იწინასწარმეტყველოს სიტყვა "sat".