Kāda ir atšķirība starp self-attention un cross-attention, un kam katrs tiek izmantots?

Pašpaudzība — tas ir mehānisms, kurā ievades secības elementi savstarpēji mijiedarbojas, lai aprēķinātu svarīguma svarus. Katrs elements 'uzrauga uzmanīgi' visus citus tajā pašā secībā esošos elementus, lai saprastu, kuri ir svarīgāki pašreizējā solī. Tas ir galvenais komponenta transformatoros secību apstrādei, piemēram, valodas modeļos.

Krustojoša uzmanība — tiek izmantota, kad ir divas dažādas secības: viena kā vaicājums (query), otra kā atslēgas un vērtības (key, value). Krustojoša uzmanība ļauj modelim koncentrēties uz attiecīgajām otrās secības daļām, apstrādājot pirmo. Piemēram, tulkošanas vai teksta ģenerēšanas uzdevumos, krustojoša uzmanība sasaista dekodera izvadi ar enkodera izvadi.

Kopsavilkums:

• Pašpaudzība palīdz modelim ņemt vērā kontekstu vienā secībā.
• Krustojoša uzmanība savieno divas dažādas secības, ļaujot vienai ņemt vērā citas informāciju.

Piemērs: tulkošanas transformatoros, pašpaudzība tiek piemērota iekšā enkodērā un dekodērā, bet krustojoša uzmanība — starp tiem.