Jaka jest różnica między self-attention a cross-attention, i do czego każdy z nich służy?

Samouwaga — to mechanizm, w którym elementy wejściowej sekwencji wchodzą ze sobą w interakcję w celu obliczenia wag ważności. Każdy element 'uważa' na wszystkie pozostałe elementy tej samej sekwencji, aby zrozumieć, które z nich są ważniejsze dla bieżącego kroku. Jest to kluczowy składnik transformatorów do przetwarzania sekwencji, na przykład w modelach językowych.

Uwaga krzyżowa — jest używana, gdy istnieją dwie różne sekwencje: jedna działa jako zapytanie (query), a druga jako klucze i wartości (key, value). Uwaga krzyżowa pozwala modelowi skupić się na istotnych częściach drugiej sekwencji podczas przetwarzania pierwszej. Na przykład, w zadaniach tłumaczenia lub generowania tekstu, uwaga krzyżowa łączy wyjście dekodera z wyjściem enkodera.

Podsumowując:

• Samouwaga pomaga modelowi uwzględnić kontekst w obrębie jednej sekwencji.
• Uwaga krzyżowa łączy dwie różne sekwencje, umożliwiając jednej z nich uwzględnienie informacji z drugiej.

Przykład: w transformatorze do tłumaczenia, samouwaga jest stosowana wewnątrz enkodera i dekodera, a uwaga krzyżowa między enkoderem a dekoderem.