Что такое weight tying между embedding и output projection?

Weight tying — это техника в нейронных сетях, особенно в моделях для обработки естественного языка (например, трансформерах), когда веса слоя embedding (встраивания слов) и слоя output projection (проекция на словарь при генерации текста) разделяются и используют одни и те же параметры.

Идея в том, что матрица весов, которая преобразует входные индексы слов в векторы (embedding), и матрица, которая преобразует внутреннее представление модели обратно в вероятности слов (output projection), по сути, связаны и могут быть одинаковыми. Это уменьшает количество параметров модели и улучшает обобщающую способность.

Пример: если у вас есть embedding-матрица размера (vocab_size × embedding_dim), то слой output projection может использовать транспонированную версию этой же матрицы для вычисления логитов перед softmax.

Это помогает:

• Снизить количество параметров
• Улучшить сходимость и качество модели

В классических трансформерах, таких как GPT, weight tying часто применяется именно между входным embedding и выходным линейным слоем.