Wat is de weight tying tussen embedding en output projection?

Gewicht tying is een techniek in neurale netwerken, vooral in modellen voor natuurlijke taalverwerking (bijvoorbeeld transformers), waarbij de gewichten van de embeddinglaag (woordembedden) en de outputprojectielaag (projectie op het woordenboek bij tekstgeneratie) gescheiden zijn en dezelfde parameters gebruiken.

Het idee is dat de gewichts matrix, die de invoerwoordindices omzet in vectoren (embedding), en de matrix die de interne representatie van het model weer omzet in woordkansen (outputprojectie), in feite gerelateerd zijn en hetzelfde kunnen zijn. Dit vermindert het aantal modelparameters en verbetert de generalisatiecapaciteit.

Voorbeeld: als je een embeddingmatrix hebt van grootte (vocab_size × embedding_dim), kan de outputprojectielaag dezelfde matrix transponeren gebruiken om de logits vóór softmax te berekenen.

Dit helpt:

• Het aantal parameters te verminderen
• De convergentie en kwaliteit van het model te verbeteren

In klassieke transformers, zoals GPT, wordt weight tying vaak toegepast tussen de invoer-embedding en de uitgaande lineaire laag.