რა არის self-attention და cross-attention შორის განსხვავება და თითოეული რა მიზნით გამოიყენება?

საკუთარი ყურადღება — ეს მექანიზმია, სადაც შესვლის სერიის ელემენტები ურთიერთქმედებენ ერთმანეთთან მნიშვნელობის წონების გამოთვლისთვის. თითოეული ელემენტი 'სიფრთხილით უყურებს' იმავე სერიის სხვა ყველა ელემენტს, რათა გაიგოს, რომელია უფრო მნიშვნელოვანი მიმდინარე ნაბიჯისთვის. ეს არის ძირითადი კომპონენტი ტრანსფორმატორებში სერიის დამუშავებისთვის, მაგალითად, ენის მოდელებში.

შუამავალი ყურადღება — გამოიყენება, როდესაც ორი განსხვავებული სერიაა: ერთი როგორც მოთხოვნა (query), მეორე როგორც გასაღებები და მნიშვნელობები (key, value). შუამავალი ყურადღება საშუალებას აძლევს მოდელს ყურადღება მიაქციოს მეორე სერიის შესაბამის ნაწილებს პირველი სერიის დამუშავებისას. მაგალითად, თარგმნის ან ტექსტის გენერაციის ამოცანებში, შუამავალი ყურადღება აკავშირებს დეკოდერის გამოსავალს ენკოდერის გამოსავალთან.

საჯამო:

• საკუთარი ყურადღება ეხმარება მოდელს გაითვალისწინოს კონტექსტი ერთ სერიის შიგნით.
• შუამავალი ყურადღება აკავშირებს ორ განსხვავებულ სერიას, საშუალებას აძლევს ერთს გაითვალისწინოს მეორის ინფორმაცია.

მაგალითი: თარგმნის ტრანსფორმატორში, საკუთარი ყურადღება გამოიყენება ენკოდერში და დეკოდერში, ხოლო შუამავალი — მათ შორის.