Miben szereztek előnyt a transzformátorok?

A transzformátorok az figyelem mechanizmusán alapuló architektúrának köszönhetően szereztek előnyt, amely lehetővé teszi az adatsorok hatékony feldolgozását rekurzió vagy konvolúciók nélkül.

A siker fő okai:

• Önfigyelem (Self-Attention): lehetővé teszi a modell számára, hogy az egész bemenet kontextusát egyidejűleg figyelembe vegye, nemcsak a helyi szomszédokat, mint az RNN vagy CNN esetében.
• Párhuzamosítás: a rekurzív kapcsolatok hiánya lehetővé teszi a modellek hatékony tanítását nagy adathalmazokon GPU segítségével.
• Rugalmasság: a transzformátorok könnyen skálázhatók és különböző feladatokra adaptálhatók — a szövegfeldolgozástól a képekig.
• Javított minőség: jobban megragadják a hosszú távú függőségeket és a kontextust, ami különösen fontos a természetes nyelvfeldolgozásban.

Példa: a BERT modell transzformert használ a szöveg kétirányú kontextuális megértéséhez, ami jelentősen javította sok NLP feladat minőségét.