Hol találhatók az architekturális pozíciós beágyazások?

A transzformátorok architektúrájában a pozíciós beágyazások általában a modell bemeneti rétegéhez kerülnek hozzáadásra, közvetlenül a bemeneti tokenekhez, mielőtt azokat az önfigyelmi (self-attention) rétegekbe adnánk.

Vagyis, miután a tokeneket vektoralakú reprezentációkká (szóbeágyazások) alakították, hozzáadnak pozíciós beágyazásokat, hogy a modell figyelembe tudja venni a tokenek sorrendjét, mivel a figyelmi mechanizmus önmagában nem érzékeny a pozícióra.

Így a pozíciós beágyazások a modell elején, a bemeneti szinten találhatók, és részei a bemeneti reprezentációnak, amelyet ezután a transzformátor következő rétegei dolgoznak fel.