Kuo transformatoriai įgijo pranašumą?

Transformatoriai įgijo pranašumą dėmesio mechanizmu pagrįstos architektūros dėka, leidžiančios efektyviai apdoroti duomenų sekas be rekursijos ar konvoliucijų.

Sėkmės pagrindiniai veiksniai:

• Self-Attention: leidžia modeliui vienu metu apsvarstyti viso įvesties kontekstą, o ne tik vietinius kaimynus, kaip RNN ar CNN.
• Paralelizavimas: rekursinių ryšių nebuvimas leidžia efektyviai mokyti modelius dideliuose duomenų rinkiniuose naudojant GPU.
• Lankstumas: transformatoriai lengvai mastelį ir pritaikomi įvairiems uždaviniams — nuo teksto apdorojimo iki vaizdų.
• Pagerinta kokybė: geriau fiksuoja ilgalaikes priklausomybes ir kontekstą, kas ypač svarbu natūralios kalbos apdorojimui.

Pavyzdys: BERT modelis naudoja transformatorių dvipusiam kontekstiniam teksto supratimui, kas žymiai pagerino daugelio NLP užduočių kokybę.