Self-attention və cross-attention arasındakı fərq nədir və hər biri nə üçün istifadə olunur?

Öz-özünə diqqət — giriş ardıcıllığının elementlərinin bir-biri ilə qarşılıqlı əlaqədə olduğu mexanizmdir və vaciblik çəkilərini hesablamaq üçün istifadə olunur. Hər bir element eyni ardıcıllığın digər bütün elementlərinə 'diqqətlə baxır' və onların hazırki addım üçün daha vacib olub-olmadığını başa düşməyə çalışır. Bu, ardıcıllıqları emal etmək üçün transformatorların əsas komponentidir, məsələn, dil modellərində.

Kross-diqqət — iki müxtəlif ardıcıllıq olduqda istifadə olunur: biri sorğu (query) kimi, digəri isə açar və dəyər (key, value) kimi. Kross-diqqət modelin ikinci ardıcıllığın müvafiq hissələrinə diqqət yetirməsinə imkan verir, birinci ardıcıllığı emal edərkən. Məsələn, tərcümə və ya mətn yaratma tapşırıqlarında, kross-diqqət dekoderin çıxışını encoderin çıxışı ilə əlaqələndirir.

Xülasə:

• Öz-özünə diqqət modelin eyni ardıcıllıq daxilində konteksti nəzərə almasına kömək edir.
• Kross-diqqət iki müxtəlif ardıcıllığı əlaqələndirir və birinin digərindən məlumat almasına imkan verir.

Nümunə: tərcümə üçün transformatorlarda, öz-özünə diqqət encoder və decoder daxilində tətbiq olunur, kross-diqqət isə encoder və decoder arasında həyata keçirilir.