შესაძლებელია თუ არა ორი განზომილების პოზიციური კოდირების გამოყენება იმ ტრანსფორმერებში, რომლებიც მუშაობენ სურათებთან?

დიახ, ორი განზომილებიანი პოზიციური კოდირება შეიძლება და ხშირად საჭიროა გამოყენება ტრანსფორმატორებში, რომლებიც მუშაობენ სურათებთან. განსხვავებით ტექსტურ მონაცემებს, სადაც პოზიციური კოდირება ჩვეულებრივ ერთმეტრიანია (ტოკენების სერია), სურათებს აქვთ ორი განზომილებიანი სტრუქტურა (სიგანე და სიმაღლე).

ორო განზომილებიანი პოზიციური კოდირება საშუალებას აძლევს მოდელს გაითვალისწინოს პიქსელების ან პაჩების სივრცული კოორდინატები, რაც აუმჯობესებს სურათის სტრუქტურის გაგებას.

მოძრაობის მაგალითი:

• შექმენით ცალკეული პოზიციური ვექტორები X და Y ღერძებისთვის.
• ამ ვექტორების დამატება ან კონკატენაცია, რათა მიიღოთ საბოლოო პოზიციური კოდირება თითოეული პაჩისთვის.

ეს ეხმარება ტრანსფორმატორს გაითვალისწინოს ელემენტების განლაგება ორ განზომილებიან სივრცეში, რაც კრიტიკულია კომპიუტერული ხედვის დავალებებისთვის.