Kas ir weight tying starp embedding un output projection?

Svara sasaistīšana ir tehnika neironu tīklos, īpaši dabiskās valodas apstrādes modeļos (piemēram, transformatoros), kur slāņa iemērcēšanas (embedding) un izvades projekcijas (projekcija uz vārdnīcu teksta ģenerēšanas laikā) svari ir atdalīti un izmanto vienus un tos pašus parametrus.

Ideja ir tāda, ka svaru matrica, kas pārveido ievades vārdu indeksus vektoriem (embedding), un matrica, kas pārveido modeļa iekšējo pārstāvību atpakaļ uz vārdu varbūtībām (izvades projekcija), būtībā ir saistītas un var būt vienas un tās pašas. Tas samazina modeļa parametru skaitu un uzlabo vispārējo generalizāciju.

Piemērs: ja jums ir embedding matrica ar izmēru (vocab_size × embedding_dim), izvades projekcijas slānis var izmantot tās pašas matricas transponēto versiju, lai aprēķinātu logitus pirms softmax.

Tas palīdz:

• Samazināt parametru skaitu
• Uzlabot konverģenci un modeļa kvalitāti

Klasiskajos transformatoros, piemēram, GPT, svaru sasaistīšana bieži tiek piemērota starp ievades embedding un izejas lineāro slāni.