Mi a különbség a self-attention és a cross-attention között, és mire használják őket?

Önfigyelem — egy mechanizmus, amelyben egy bemeneti szekvencia elemei kölcsönhatásba lépnek egymással a fontossági súlyok kiszámítása érdekében. Minden elem 'figyelmesen néz' a saját szekvenciájának összes többi elemére, hogy megértse, melyek a fontosabbak a jelenlegi lépéshez. Ez egy kulcsfontosságú összetevő a transzformátorokban a szekvenciák feldolgozásához, például nyelvi modellekben.

Kereszt-figyelem — akkor használják, amikor két különböző szekvencia van: az egyik kérésként (query), a másik pedig kulcsokként és értékekként (key, value). A kereszt-figyelem lehetővé teszi a modell számára, hogy a második szekvencia releváns részeire összpontosítson az első feldolgozása során. Például fordítási vagy szöveg generálási feladatokban a kereszt-figyelem összeköti a dekóder kimenetét az enkóder kimenetével.

Összefoglalva:

• Az önfigyelem segít a modellnek figyelembe venni a kontextust egy szekvencián belül.
• A kereszt-figyelem két különböző szekvenciát köt össze, lehetővé téve, hogy az egyik figyelembe vegye a másik információit.

Példa: fordításhoz készült transzformátorban az önfigyelem az enkóder és dekóder belsejében alkalmazott, míg a kereszt-figyelem az enkóder és dekóder között történik.