რა აჩვენებს ყურადღების ვექტორი ტრანსფორმატორებში?

ტრანსფორმატორებში ყურადღების ვექტორი აჩვენებს, რამდენად ძლიერად "მოუსმენს" მოდელი თითოეულ სიტყვას (ან ტოკენს) შესვლის სერიაში, როდესაც ის პროცესშია კონკრეტული გამომავალი ტოკენის დამუშავებისას. მარტივად რომ ვთქვათ, ეს არის წონები, რომლებიც განსაზღვრავენ თითოეული შესვლის ელემენტის მნიშვნელობას მიმდინარე ნაბიჯისთვის.

მაგალითად, ტრანსფორმატორში წინადადების თარგმნისას, თითოეულ სიტყვაზე გამოითვლება ყურადღების ვექტორი, რომელიც მიუთითებს, რომელი სიტყვები შესვლის წინადადებაში არიან ყველაზე შესაბამისი ამ სიტყვას შექმნისთვის. ეს საშუალებას აძლევს მოდელს გაითვალისწინოს კონტექსტი და დამოკიდებულებები სიტყვებს შორის, მიუხედავად იმისა, რომ ისინი შორს არიან ერთმანეთისგან.

შესვლის ვექტორი არის რიცხვების (წონების) ნაკრები, რომელიც ჩვეულებრივ ნორმალიზებულია softmax-ით, სადაც დიდი მნიშვნელობები მიუთითებს შესაბამის შესვლის ტოკენის უფრო დიდ მნიშვნელობაზე მიმდინარე ნაბიჯისთვის.

მაგალითად: თუ მოდელი თარგმნის სიტყვას "bank" კონტექსტში "river bank", ყურადღების ვექტორი შეიძლება ხაზგასმით გამოყოს "river" და "bank" სიტყვებს შესვლაში, რათა სწორად გაიგოს მნიშვნელობა.