Middle — Senior
რა არის BigBird და რა ტიპის ყურადღებას აერთიანებს?
sobes.tech AI
პასუხი AI-სგან
BigBird — ეს ტრანსფორმატორის არქიტექტურაა, რომელიც შექმნილია ძალიან გრძელი სექვენციების დამუშავებისთვის, რომელთა ეფექტურად დამუშავება ვერ ხერხდება ტრადიციულ ტრანსფორმატორებს, ყურადღების კვადრატული სირთულის გამო.
BigBird აერთიანებს რამდენიმე ტიპის ყურადღებას:
- შესანახი (sparse) ყურადღება: ყველა ტოკენის სრული ყურადღების ნაცვლად, ყურადღება შეზღუდულია ტოკენების ქვესაბითზე.
- გლობალური ყურადღება: ზოგიერთი სპეციალური ტოკენი (მაგალითად, CLS ტოკენი) აქვს წვდომა ყველა სხვა ტოკენზე, რაც საშუალებას აძლევს შეინარჩუნოს გლობალური ინფორმაცია.
- შემთხვევითი ყურადღება: თითოეულ ტოკენზე, შემთხვევით შერჩეულია სხვა ტოკენების ჯგუფი ყურადღებისთვის, რაც ეხმარება მრავალფეროვანი დამოკიდებულებების მოდელირებაში.
- ფანჯრის (window) ყურადღება: თითოეული ტოკენი აქცენტს აკეთებს მეზობელ ტოკენებზე ფიქსირებულ ფანჯარაში, რაც უზრუნველყოფს ადგილობრივ კონტექსტს.
ამ ტიპების კომბინაციით, BigBird-ს შეუძლია ეფექტურად მასშტაბირება ძალიან გრძელ სექვენციებზე, შენარჩუნდეს მოდელის ხარისხი და შემცირდეს გამოთვლითი ხარჯები კვადრატულიიდან ლინეურზე ან მათთან ახლოს.