Memarlıq baxımından mövqeləşdirmə yerləşdirilmələri haradadır?

Transformatorların memarlığında mövqeyə əsaslanan gömmələr adətən modelin giriş qatına əlavə olunur, birbaşa giriş tokenlarına diqqət (self-attention) qatlarına verilənə qədər.

Yəni, tokenlar sözlərin vektor təmsilinə çevrildikdən sonra, modelin tokenların ardıcıllığını nəzərə ala bilməsi üçün mövqeyə əsaslanan gömmələr əlavə olunur, çünki diqqət mexanizmi özü mövqeyə həssas deyil.

Beləliklə, mövqeyə əsaslanan gömmələr modelin başlanğıcında, giriş səviyyəsində yerləşir və giriş təmsiliyyətinin bir hissəsidir, və daha sonra transformatorun növbəti qatları tərəfindən işlənir.