Cos'è il collasso della norma negli embedding e come rilevarlo?

Il collasso della norma negli embedding è una situazione in cui le rappresentazioni vettoriali (embedding) perdono diversità in lunghezza (norma) e convergono a valori molto vicini in norma. Di solito si manifesta nel fatto che tutti gli embedding hanno circa la stessa lunghezza, riducendo la loro distinguibilità e peggiorando la qualità della ricerca o classificazione.

Per rilevare il collasso della norma, si può analizzare la distribuzione delle norme (lunghezze) degli embedding. Se la norma della maggior parte dei vettori è molto concentrata intorno a un valore con bassa dispersione, ciò indica un collasso della norma.

Esempio di verifica in Python usando numpy:

import numpy as np

embeddings = np.array([...])  # matrice di embedding
norms = np.linalg.norm(embeddings, axis=1)
print(f"Norma media: {np.mean(norms)}")
print(f"Deviazione standard della norma: {np.std(norms)}")

# Se la std è molto piccola, potrebbe essere un collasso della norma