Ինչով ստացան առավելություն տրանսֆորմատորները?

Տրանսֆորմատորները ձեռք բերեցին առավելություն ուշադրության մեխանիզմի վրա հիմնված ճարտարապետության շնորհիվ, որը թույլ է տալիս արդյունավետ մշակել տվյալների հաջորդականությունները առանց ռեկուրսիայի կամ կոնվոլյուցիաների:

Հաջողության հիմնական պատճառները՝

• Self-Attention՝ թույլ է տալիս մոդելին միաժամանակ հաշվի առնել ամբողջ մուտքի կոնտեքստը, ոչ միայն տեղական հարևանները, ինչպես RNN կամ CNN-ում:
• Պարալելիզացիա՝ ռեկուրսիվ կապերի բացակայությունը թույլ է տալիս արդյունավետորեն ուսանել մոդելները մեծ տվյալների վրա GPU-ի օգնությամբ:
• Բազմակողմանիություն՝ տրանսֆորմատորները հեշտությամբ ընդլայնվում և հարմարեցվում են տարբեր առաջադրանքների՝ տեքստի մշակումից մինչև պատկերներ:
• Բարելավված որակ՝ ավելի լավ է բռնում երկարաժամկետ կախվածությունները և կոնտեքստը, ինչը հատկապես կարևոր է բնական լեզվի մշակման համար:

Օրինակ՝ BERT մոդելը օգտագործում է տրանսֆորմատոր՝ տեքստի երկկողմանի կոնտեքստային ըմբռնման համար, ինչը զգալիորեն բարձրացրել է բազմաթիվ NLP առաջադրանքների որակը։