Kuidas said transformers eelise saada?

Transformers saavutas eelise tänu tähelepanu mehhanismile põhinevale arhitektuurile, mis võimaldab tõhusalt töödelda andmesekvencse ilma rekursiooni või konvolutsioonideta.

Edu peamised põhjused:

• Self-Attention: võimaldab mudelil samaaegselt arvestada kogu sisendi konteksti, mitte ainult lokaalseid naabreid, nagu RNN või CNN.
• Paralleelne töötlemine: rekursiivsete ühenduste puudumine võimaldab tõhusalt treenida mudeleid suurte andmekogumite peal GPU abil.
• Paindlikkus: transformerid on hõlpsasti skaleeritavad ja kohandatavad erinevatele ülesannetele — tekstitöötlusest piltideni.
• Paranenud kvaliteet: nad paremini haaravad pikaajalisi sõltuvusi ja konteksti, mis on eriti oluline loomuliku keele töötlemisel.

Näide: BERT mudel kasutab transformerit teksti kahemõõtmelise kontekstuaalse mõistmise jaoks, mis on oluliselt parandanud paljude NLP ülesannete kvaliteeti.