Где архитектурно находятся позиционные эмбеддинги?

Позиционные эмбеддинги в архитектуре трансформеров обычно добавляются на входной слой модели, непосредственно к входным токенам перед подачей в слои внимания (self-attention).

То есть, после того как токены преобразованы в векторные представления (эмбеддинги слов), к ним прибавляются позиционные эмбеддинги, чтобы модель могла учитывать порядок токенов, поскольку механизм внимания сам по себе не чувствителен к позиции.

Таким образом, позиционные эмбеддинги находятся в начале модели, на уровне входных данных, и являются частью входного представления, которое затем обрабатывается последующими слоями трансформера.