Ako funguje mechanizmus pozornosti v BERT a prečo je efektívnejší ako Word2Vec?

Mechanizmus pozornosti v BERT umožňuje modelu zohľadniť kontext každého slova vo vete tým, že váži dôležitosť všetkých slov vzhľadom na aktuálne. To sa realizuje prostredníctvom self-attention, kde sa pre každé slovo vypočítajú váhy vplyvu ostatných slov, čo poskytuje kontextovo závislé reprezentácie. Na rozdiel od Word2Vec, ktorý vytvára statické vektorové reprezentácie slov bez ohľadu na kontext, BERT zohľadňuje poradie a sémantickú spojitosť slov, čo výrazne zvyšuje kvalitu porozumenia jazyka a efektívnosť v úlohách NLP.