Wat is normverval in embeddings en hoe detecteer je het?

Norm-ineenstorting in embeddings is een situatie waarin de vectorrepresentaties (embeddings) hun diversiteit in lengte (norm) verliezen en convergeren naar zeer vergelijkbare normwaarden. Dit manifesteert zich meestal doordat alle embeddings ongeveer dezelfde lengte hebben, wat hun onderscheidingsvermogen vermindert en de kwaliteit van zoeken of classificatie verslechtert.

Om norm-ineenstorting te detecteren, kan je de verdeling van de normen (lengtes) van de embeddings analyseren. Als de norm van de meeste vectoren sterk geconcentreerd is rond één waarde met weinig dispersie, duidt dit op norm-ineenstorting.

Voorbeeld van een controle in Python met numpy:

import numpy as np

embeddings = np.array([...])  # matrix van embeddings
norms = np.linalg.norm(embeddings, axis=1)
print(f"Gemiddelde norm: {np.mean(norms)}")
print(f"Standaarddeviatie van de norm: {np.std(norms)}")

# Als de std heel klein is, kan er sprake zijn van norm-ineenstorting