Čo je to pozičné kódovanie v transformátore?

Kódovanie pozície v transformeroch je spôsob, ako pridať informácie o poradí prvkov v sekvencii, pretože samotné transformery nemajú zabudovaný mechanizmus na zohľadnenie pozície tokenov.

Transformér spracováva vstup ako súbor tokenov bez ohľadu na ich poradové umiestnenie, preto sa k vektorom vloženia tokenov pridávajú vektory pozíciového kódovania, ktoré závisia od pozície tokenu v sekvencii.

Najčastejšie používané je sinusové pozíciové kódovanie, pri ktorom sa pre každú pozíciu vypočítavajú hodnoty pomocou sínusov a kosínusov rôznych frekvencií:

• Pre pozíciu pos a rozmer i:
  • PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
  • PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Toto umožňuje modelu rozlišovať pozície a generalizovať na sekvencie rôznych dĺžok.

Týmto spôsobom pozíciové kódovanie poskytuje transforméru informácie o poradí tokenov, ktoré sú nevyhnutné pre pochopenie štruktúry sekvencie.