Čím získali transformátory výhodu?

Transformátory získali výhodu vďaka architektúre založenej na mechanizme pozornosti, ktorá umožňuje efektívne spracovanie sekvencií dát bez rekurzie alebo konvolúcií.

Kľúčové dôvody úspechu:

• Self-Attention: umožňuje modelu zohľadniť kontext celého vstupu súčasne, nie len lokálne susedov, ako v RNN alebo CNN.
• Paralelizácia: absencia rekurentných spojení umožňuje efektívne trénovanie modelov na veľkých dátach pomocou GPU.
• Flexibilita: transformátory sú ľahko škálovateľné a prispôsobiteľné rôznym úlohám — od spracovania textu po obrázky.
• Zlepšená kvalita: lepšie zachytávajú dlhodobé závislosti a kontext, čo je obzvlášť dôležité pre spracovanie prirodzeného jazyka.

Príklad: model BERT používa transformátor na obojsmerné kontextové porozumenie textu, čo výrazne zvýšilo kvalitu mnohých NLP úloh.