Ce este colapsul de normă în embedding-uri și cum îl detectezi?

Colapsul de normă în încrustări este o situație în care reprezentările vectoriale (încrustările) își pierd diversitatea în lungime (normă) și converg către valori foarte apropiate în normă. De obicei, acest lucru se manifestă prin faptul că toate încrustările au aproximativ aceeași lungime, ceea ce reduce diferențierea lor și afectează calitatea căutării sau clasificării.

Pentru a detecta colapsul de normă, se poate analiza distribuția normelor (lungimilor) încrustărilor. Dacă norma majorității vectorilor este foarte concentrată în jurul unei valori cu dispersie mică, acesta este un semn de colaps de normă.

Exemplu de verificare în Python cu numpy:

import numpy as np

încrustări = np.array([...])  # matricea de încrustări
norme = np.linalg.norm(încrustări, axis=1)
print(f"Norma medie: {np.mean(norme)}")
print(f"Devierea standard a normei: {np.std(norme)}")

# Dacă std este foarte mic, poate fi un colaps de normă