Koja je razlika između apsolutnih i relativnih pozicionih ugradnji?

Apsolutni i relativni pozicioni ugradni su načini kodiranja pozicije tokena u sekvenci za transformator modele.

• Apsolutni pozicioni ugradni dodeljuju svakoj poziciji fiksan vektor, koji zavisi od drugih pozicija. Na primer, pozicija 1 je uvek kodirana jednim vektorom, pozicija 2 drugim. Ovo omogućava modelu da zna tačan položaj tokena.

• Relativni pozicioni ugradni kodiraju relativnu udaljenost između tokena, a ne njihove apsolutne pozicije. Ovo pomaže modelu da bolje uzme u obzir odnose između tokena nezavisno od njihove apsolutne pozicije, što je korisno za generalizaciju na sekvence različitih dužina.

Relativni ugradni često poboljšavaju sposobnost modela da generalizuje i uhvati kontekst, posebno u zadacima gde su odnosi između tokena važniji od njihove fiksne pozicije.