Self-attention жана cross-attention ортосундагы айырма эмнеде жана ар бири эмне үчүн колдонулат?

Өз-өзүнө көңүл буруу — бул механизм, анда кирүү тартибинин элементтери бири-бири менен өз ара аракеттешип, маанилүүлүк салмактарын эсептейт. Ар бир элемент 'эч бир нерсеге көңүл буруп' ошол эле тартиптеги башка бардык элементтерге көз салып, алардын кайсысы азыркы кадам үчүн маанилүү экенин түшүнүүгө аракет кылат. Бул трансформаторлордо тартиптерди иштетүүдө негизги компонент болуп саналат, мисалы, тил моделдеринде.

Кросс-эчки көңүл буруу — эки ар башка тартип болсо, бири суроо (query) катары, экинчиси кілттер жана маанилер (key, value) катары колдонулат. Кросс-эчки көңүл буруу моделге экинчи тартиптин тиешелүү бөлүктөрүнө көңүл бурууга мүмкүндүк берет, биринчи тартипти иштеткенде. Мисалы, котормо же текст түзүү тапшырмаларында, кросс-эчки көңүл буруу декодердин чыгышын энкодердин чыгышына байланыштырат.

Жыйынтык:

• Өз-өзүнө көңүл буруу моделге бир тартиптеги контекстти эске алууга жардам берет.
• Кросс-эчки көңүл буруу эки ар башка тартипти байланыштырып, бирөөнүн башка маалыматтарды эске алуусуна мүмкүндүк берет.

Мисал: котормо үчүн трансформатордо, өз-өзүнө көңүл буруу энкодер жана декодердин ичинде колдонулат, ал эми кросс-эчки көңүл буруу алардын ортосунда жүргүзүлөт.