Каква е разликата между self-attention и cross-attention и за какво се използва всеки?

Самообърнато внимание — това е механизъм, при който елементите на входната последователност взаимодействат помежду си, за да изчислят тежестите на важността. Всеки елемент 'внимателно наблюдава' всички останали елементи от същата последователност, за да разбере кои от тях са по-важни за текущата стъпка. Това е ключов компонент в трансформаторите за обработка на последователности, например в езикови модели.

Кръстосано внимание — се използва, когато има две различни последователности: едната служи като заявка (query), а другата като ключове и стойности (key, value). Кръстосаното внимание позволява на модела да се фокусира върху релевантните части на втората последователност при обработката на първата. Например, при задачи за превод или генериране на текст, кръстосаното внимание свързва изхода на декодера с изхода на енкодера.

Обобщение:

• Самообърнатото внимание помага на модела да вземе предвид контекста вътре в една последователност.
• Кръстосаното внимание свързва две различни последователности, позволявайки на едната да взема предвид информацията от другата.

Пример: в трансформатор за превод, самообърнатото внимание се прилага вътре в енкодера и декодера, а кръстосаното внимание — между енкодера и декодера.