Lze použít dvourozměrné poziční kódování v transformerech pracujících s obrázky?

Ano, dvourozměrné poziční kódování lze a často je třeba používat v transformerech pracujících s obrázky. Na rozdíl od textových dat, kde je poziční kódování obvykle jednorozměrné (sekvence tokenů), mají obrázky dvourozměrnou strukturu (šířka a výška).

Dvourozměrné poziční kódování umožňuje modelu zohlednit prostorové souřadnice pixelů nebo patchů, což zlepšuje porozumění struktuře obrázku.

Příklad přístupu:

• Vytvořit samostatné poziční vektory pro souřadnice na ose X a ose Y.
• Tyto vektory sečíst nebo spojit, aby se získalo konečné poziční kódování pro každý patch.

To pomáhá transformeru zohlednit uspořádání prvků v dvourozměrném prostoru, což je klíčové pro úlohy počítačového vidění.