Mi az a pozíciós kódolás a transzformátorban?

A transzformátorokban a pozíciókódolás egy módja annak, hogy információt adjunk hozzá a szekvencia elemeinek sorrendjéről, mivel a transzformátoroknak nincs beépített mechanizmusuk a tokenek pozíciójának figyelembevételére.

A transzformátor bemenetét tokenek halmazaként kezeli anélkül, hogy figyelembe venné azok sorrendjét, ezért a tokenek beágyazásához pozíciókódolási vektorokat adnak hozzá, amelyek a token pozíciójától függnek a szekvenciában.

A leggyakrabban használt sinuszos pozíciókódolás, ahol minden pozícióhoz különböző frekvenciájú szinuszokat és koszinuszokat számítanak:

• A pos pozíció és az i dimenzió esetén:
  • PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
  • PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Ez lehetővé teszi a modell számára, hogy megkülönböztesse a pozíciókat és általánosítson különböző hosszúságú szekvenciákra.

Így a pozíciókódolás információt ad a transzformátornak a tokenek sorrendjéről, ami szükséges a szekvencia szerkezetének megértéséhez.