Koja je razlika između self-attention i cross-attention, i zašto se koristi svaki?

Самоуваћање — механизам у којем елементи улазне секвенце међусобно интерагују ради израчунавања важности. Сваки елемент 'пажљиво посматра' све остале елементе исте секвенце како би разумео који су важнији за тренутни корак. Ово је кључна компонента у трансформерима за обраду секвенци, на пример у моделима језика.

Крос-уваћање — користи се када постоје две различите секвенце: једна као упит (query), а друга као кључеви и вредности (key, value). Крос-уваћање омогућава моделу да се фокусира на релевантне делове друге секвенце током обраде прве. На пример, у задацима превођења или генерисања текста, крос-уваћање повезује излаз декодера са излазом енкодера.

Укратко:

• Самоуваћање помаже моделу да узме у обзир контекст унутар једне секвенце.
• Крос-уваћање повезује две различите секвенце, омогућавајући једној да узме у обзир информације из друге.

Пример: у трансформеру за превођење, самоуваћање се примењује унутар енкодера и декодера, а крос-уваћање између енкодера и декодера.