Mis vahe on self-attention ja cross-attention ning milleks igaüks kasutatakse?

Ise-enda tähelepanu — on mehhanism, kus sisendjärjendi elemendid suhtlevad omavahel, et arvutada olulise kaalud. Iga element 'vaatab hoolikalt' kõiki teisi sama järjendi elemente, et mõista, millised neist on praeguse sammu jaoks olulisemad. See on võtmeelement järjestuste töötlemisel transformaators, näiteks keelemudelites.

Rist-tähelepanu — kasutatakse, kui on kaks erinevat järjestust: üks toimib päringuna (query), teine aga võtmete ja väärtustena (key, value). Rist-tähelepanu võimaldab mudelil keskenduda teise järjestuse asjakohastele osadele esimese töötlemisel. Näiteks tõlke- või teksti genereerimise ülesannetes ühendab rist-tähelepanu dekooderi väljundi enkooderi väljundiga.

Kokkuvõte:

• Ise-tähelepanu aitab mudelil arvestada konteksti ühe järjestuse sees.
• Rist-tähelepanu ühendab kaks erinevat järjestust, võimaldades ühel neist arvestada teise infot.

Näide: tõlke jaoks mõeldud transformatoris rakendatakse ise-tähelepanu enkooderi ja dekooderi sees, samas kui rist-tähelepanu toimub nende vahel.