Kas yra weight tying tarp embedding ir output projection?

Svorio susiejimas yra technika neuroniniuose tinkluose, ypač natūralios kalbos apdorojimo modeliuose (pavyzdžiui, transformatoriuose), kai sluoksnio įterpimo (embedding) ir išėjimo projekcijos (projekcija į žodyną tekstui generuoti) svoriai yra atskiri ir naudoja tuos pačius parametrus.

Idėja ta, kad svorių matrica, kuri paverčia įvesties žodžių indeksus į vektorius (embedding), ir matrica, kuri paverčia modelio vidinę reprezentaciją atgal į žodžių tikimybes (išėjimo projekcija), iš esmės yra susijusios ir gali būti tokios pačios. Tai sumažina modelio parametrų skaičių ir pagerina bendrąją generalizaciją.

Pavyzdžiui: jei turite embedding matricą dydžio (vocab_size × embedding_dim), išėjimo projekcijos sluoksnis gali naudoti tos pačios matricos transponuotą versiją, kad apskaičiuotų logitus prieš softmax.

Tai padeda:

• Sumažinti parametrų skaičių
• Pagerinti konvergenciją ir modelio kokybę

Klasikiniuose transformatoriuose, kaip GPT, svorių susiejimas dažnai taikomas tarp įvesties embedding ir išėjimo linijinio sluoksnio.