Kur ir arhitektūras veidā atrod posicijas iekļaušanas?

Pozicionālie ieliktņi transformatoru arhitektūrā parasti tiek pievienoti modeļa ievades slānim, tieši pie ievades tokeniem pirms tos nodod uzmanības slāņiem (self-attention).

Tas nozīmē, ka pēc tam, kad tokeni tiek pārveidoti par vektoru attēlojumiem (vārdu ieliktņiem), tiem tiek pievienoti pozicionālie ieliktņi, lai modelis varētu ņemt vērā tokenu kārtību, jo uzmanības mehānisms pats par sevi nav jutīgs pret pozīciju.

Tādējādi, pozicionālie ieliktņi atrodas modeļa sākumā, ievades līmenī, un ir daļa no ievades attēlojuma, kas pēc tam tiek apstrādāts ar turpmākajiem transformatora slāņiem.