Qu'est-ce que l'effondrement de norme dans les embeddings et comment le détecter?

L'effondrement de la norme dans les embeddings est une situation où les représentations vectorielles (embeddings) perdent leur diversité en longueur (norme) et convergent vers des valeurs très proches en norme. Cela se manifeste généralement par le fait que tous les embeddings ont une longueur à peu près identique, ce qui réduit leur différenciation et nuit à la qualité de la recherche ou de la classification.

Pour détecter un effondrement de la norme, on peut analyser la distribution des normes (longueurs) des embeddings. Si la norme de la majorité des vecteurs est fortement concentrée autour d'une valeur avec une faible dispersion, cela indique un effondrement de la norme.

Exemple de vérification en Python avec numpy:

import numpy as np

embeddings = np.array([...])  # matrice d'embeddings
norms = np.linalg.norm(embeddings, axis=1)
print(f"Norme moyenne : {np.mean(norms)}")
print(f"Écart-type de la norme : {np.std(norms)}")

# Si la std est très faible, il pourrait s'agir d'un effondrement de la norme