რა სამი მატრიცა გამოიყენება multihead attention-ში?

მულტიჰედ ყურადღებაში გამოიყენება სამი ძირითადი მატრიცა, რომლებიც შედგენილია შესვლის მონაცემებიდან:

1. Query (Q) — შეკითხვის მატრიცა, რომელიც განსაზღვრავს, რომელ შესვლის ელემენტებზე უნდა მიექცეს ყურადღება.
2. Key (K) — გასაღების მატრიცა, რომელიც გამოიყენება შეკითხვებთან შესაბამისობისთვის და მნიშვნელობის განსაზღვრისთვის.
3. Value (V) — მნიშვნელობების მატრიცა, რომელიც შეიცავს ინფორმაციას, რომელიც ყურადღების შედეგში იქნება აგრეგირებული.

ყურადღების პროცესში, ყურადღების წონები გამოითვლება როგორც Q და K შორის სკალარული გამრავლების შედეგი, ნორმალიზდება და გამოიყენება V-ზე, რათა მიიღოს წონით გაერთიანებული მნიშვნელობების ჯამი. მულტიჰედ ყურადღებაში, ეს პროცესი რამდენიმე ჯერ პარალელურად მეორდება სხვადასხვა Q, K და V პროექციებით, რაც საშუალებას აძლევს მოდელს იპოვოს ინფორმაცია სხვადასხვა ასპექტები.