Трансформаторлордо көңүл буруу векторы эмне көрсөтөт?

Трансформаторлордо көңүл буруу векторы моделдин киргизүү тизмесиндеги ар бир сөзгө (же токенго) кандай күчтүү көңүл буруп жатканын көрсөтөт, белгилүү бир чыгуу токенин иштеп чыгууда. Жөнөкөй айтканда, бул салмактар, ар бир киргизүү элементинин азыркы кадам үчүн маанилүүлүгүн аныктайт.

Мисалы, трансформатордо бир сүйлөмдү которууда, ар бир сөз үчүн көңүл буруу вектору эсептелет, ал кайсы сөздөр киргизүү сүйлөмүндө эң маанилүү экенин көрсөтөт, бул сөздү түзүү үчүн. Бул моделге контекстти жана сөздөр арасындагы көзкарандылыктарды эске алууга мүмкүндүк берет, эгерде алар алыстагы болсо да.

Көңүл буруу вектору — бул сандар топтому (салмактар), көбүнчө softmax менен нормалдаштырылган, анда чоң маанилер тиешелүү киргизүү токенинин маанилүүлүгүн көрсөтөт, азыркы кадам үчүн.

Мисал: эгер модел "river bank" контекстинде "bank" сөзүн которуп жатса, көңүл буруу вектору киргизүүдө "river" жана "bank" сөздөрүн белгилеп, маанисин туура түшүнүүгө жардам берет.