Waarom hebben transformers een voordeel gekregen?

Transformers hebben een voordeel gekregen dankzij een op aandacht gebaseerd architectuur, die het mogelijk maakt om sequenties van gegevens efficiënt te verwerken zonder recursie of convoluties.

Belangrijke redenen voor succes:

• Self-Attention: stelt het model in staat om de context van de hele invoer gelijktijdig te overwegen, in plaats van alleen lokale buren, zoals bij RNN of CNN.
• Parallelisatie: het ontbreken van recursieve verbindingen maakt het mogelijk om modellen efficiënt te trainen op grote datasets met behulp van GPU.
• Flexibiliteit: transformers zijn gemakkelijk schaalbaar en aan te passen aan verschillende taken — van tekstverwerking tot beeldverwerking.
• Verbeterde kwaliteit: ze vangen langetermijnafhankelijkheden en context beter, wat vooral belangrijk is voor natuurlijke taalverwerking.

Voorbeeld: het BERT-model gebruikt een transformer voor een bidirectioneel contextueel begrip van tekst, wat de kwaliteit van veel NLP-taken aanzienlijk heeft verbeterd.