Kuo skiriasi self-attention ir cross-attention, ir kam kiekvienas naudojamas?

Savi-atsižvelgimas — tai mechanizmas, kuriame įvesties sekcijos elementai tarpusavyje sąveikauja, kad apskaičiuotų svarbos svorius. Kiekvienas elementas 'atidžiai stebi' visus kitus tos pačios sekcijos elementus, kad suprastų, kurie iš jų yra svarbesni dabartiniame žingsnyje. Tai yra pagrindinis komponentas transformatoriuose sekų apdorojimui, pavyzdžiui, kalbos modeliuose.

Kryžminis dėmesys — naudojamas, kai yra dvi skirtingos sekos: viena kaip užklausa (query), kita kaip raktai ir reikšmės (key, value). Kryžminis dėmesys leidžia modeliui sutelkti dėmesį į atitinkamas antrosios sekos dalis, apdorojant pirmąją. Pavyzdžiui, vertimo ar teksto generavimo užduotyse, kryžminis dėmesys jungia dekoderio išvestį su enkodoriaus išvestimi.

Santrauka:

• Savi-atsižvelgimas padeda modeliui atsižvelgti į kontekstą vienoje sekos dalyje.
• Kryžminis dėmesys jungia dvi skirtingas sekas, leidžiant vienai iš jų atsižvelgti į kitos informaciją.

Pavyzdys: vertimo transformatoriuose, savi-atsižvelgimas taikomas viduje enkoderyje ir dekoderyje, o kryžminis dėmesys — tarp jų.