Aký je rozdiel medzi self-attention a cross-attention a na čo sa každý používa?

Sebapozornosť — je mechanizmus, pri ktorom prvky vstupnej sekvencie navzájom interagujú za účelom výpočtu váh dôležitosti. Každý prvok 'pozorne sleduje' všetky ostatné prvky tej istej sekvencie, aby pochopil, ktoré sú pre aktuálny krok dôležitejšie. Toto je kľúčová súčasť v transformeroch na spracovanie sekvencií, napríklad v jazykových modeloch.

Krížová pozornosť — sa používa, keď existujú dve rôzne sekvencie: jedna slúži ako dopyt (query), a druhá ako kľúče a hodnoty (key, value). Krížová pozornosť umožňuje modelu zamerať sa na relevantné časti druhej sekvencie pri spracovaní prvej. Napríklad v úlohách prekladu alebo generovania textu, krížová pozornosť spája výstup dekodéra s výstupom enkodéra.

Zhrnutie:

• Sebapozornosť pomáha modelu zohľadniť kontext v rámci jednej sekvencie.
• Krížová pozornosť spája dve rôzne sekvencie, umožňujúc jednej z nich zohľadniť informácie z druhej.

Príklad: v transformeri na preklad sa sebapozornosť aplikuje vo vnútri enkodéra a dekodéra, zatiaľ čo krížová pozornosť prebieha medzi enkóderom a dekóderom.