Czy można używać dwuwymiarowego kodowania pozycyjnego w transformatorach obsługujących obrazy?

Tak, dwuwymiarowe kodowanie pozycyjne można i często trzeba stosować w transformatorach pracujących z obrazami. W przeciwieństwie do danych tekstowych, gdzie kodowanie pozycyjne jest zazwyczaj jednowymiarowe (ciąg tokenów), obrazy mają strukturę dwuwymiarową (szerokość i wysokość).

Dwuwymiarowe kodowanie pozycyjne pozwala modelowi uwzględniać współrzędne przestrzenne pikseli lub fragmentów, co poprawia zrozumienie struktury obrazu.

Przykład podejścia:

• Tworzyć oddzielne wektory pozycyjne dla współrzędnych osi X i osi Y.
• Dodawać lub łączyć te wektory, aby uzyskać końcowe kodowanie pozycyjne dla każdego fragmentu.

To pomaga transformatorowi uwzględniać rozmieszczenie elementów w przestrzeni dwuwymiarowej, co jest kluczowe dla zadań związanych z widzeniem komputerowym.