Что хотят услышать интервьюеры:

Одномерное позиционное кодирование плохо отражает структуру изображения, потому что картинка имеет две пространственные оси, а не одну последовательность. Из-за этого модель теряет информацию о соседстве по высоте и ширине и может хуже обобщать. Для изображений обычно лучше использовать 2D-позиционные признаки или схемы, учитывающие пространственную структуру.

Определение:

Одномерное позиционное кодирование — это способ добавить в модель информацию о порядке элементов в последовательности. Для текста это естественно, потому что токены идут в одном измерении. Для изображений же патчи или пиксели расположены в двумерной сетке, и при разворачивании в одну строку часть пространственных отношений становится неявной.

Пример использования:

Если изображение разбить на патчи и подать их в Transformer как последовательность, можно добавить к каждому патчу одномерный positional encoding по его индексу в этой последовательности. Это работает как базовое решение, но модель будет видеть патч как “элемент №17”, а не как “патч в третьей строке, пятом столбце”.

# Идея: патчи изображения разворачиваются в последовательность,
# и каждому патчу добавляется 1D positional encoding по индексу.

patch_embeddings = image_to_patches(image)  # shape: [num_patches, d_model]
pos_encoding = one_d_positional_encoding(num_patches, d_model)

x = patch_embeddings + pos_encoding
output = transformer_encoder(x)

Пояснение кода:

Код здесь нужен только для иллюстрации идеи.

image_to_patches(image) разбивает изображение на патчи и превращает их в последовательность эмбеддингов.
one_d_positional_encoding(...) создаёт позиционные векторы для индексов 0..N-1.
Складывание patch_embeddings + pos_encoding сообщает модели порядок элементов в последовательности.
Затем Transformer обрабатывает эту последовательность, но пространственные связи исходного изображения уже представлены неявно и довольно грубо.

Ключевые моменты:

Изображение имеет двумерную структуру, а одномерное кодирование учитывает только порядок в развернутой последовательности.
При flattening теряются явные связи “вверх/вниз/влево/вправо”.
Появляется зависимость от способа разворачивания патчей: смена порядка может менять представление сцены.
Одномерное кодирование хуже переносится на изображения другой формы или при изменении размера сетки патчей.
Для CV-задач часто используют 2D positional encoding, относительные позиции или специализированные схемы, учитывающие геометрию изображения.

Какие проблемы могут быть у одномерного позиционного кодирования при работе с изображениями?