Jaký je rozdíl mezi self-attention a cross-attention a k čemu se každý používá?

Sebepozornost — je mechanismus, při kterém prvky vstupní sekvence vzájemně interagují za účelem výpočtu váhy důležitosti. Každý prvek 'pečlivě sleduje' všechny ostatní prvky téže sekvence, aby pochopil, které jsou pro aktuální krok důležitější. To je klíčová složka v transformátorech pro zpracování sekvencí, například v jazykových modelech.

Křížová pozornost — se používá, když existují dvě různé sekvence: jedna slouží jako dotaz (query), druhá jako klíče a hodnoty (key, value). Křížová pozornost umožňuje modelu zaměřit se na relevantní části druhé sekvence při zpracování první. Například v úlohách překladu nebo generování textu křížová pozornost spojuje výstup dekodéru s výstupem enkodéru.

Shrnutí:

• Sebepozornost pomáhá modelu vzít v úvahu kontext uvnitř jedné sekvence.
• Křížová pozornost spojuje dvě různé sekvence, umožňující jedné vzít v úvahu informace z druhé.

Příklad: v transformátoru pro překlad se sebepozornost aplikuje uvnitř enkodéru a dekodéru, zatímco křížová pozornost probíhá mezi enkodérem a dekodérem.