Mi az a norm összeomlás az embeddingekben, és hogyan lehet észlelni?

A normális összeomlása az embeddingekben olyan helyzet, amikor a vektoralakítások (embeddingek) hosszúságának (normájának) változatossága elveszik, és nagyon közel kerülnek egymáshoz normában. Általában ez akkor fordul elő, amikor minden embedding körülbelül ugyanakkora hosszúságú, ami csökkenti azok megkülönböztethetőségét, és rontja a keresés vagy osztályozás minőségét.

A normális összeomlás felismeréséhez elemezheti az embeddingek normáinak (hosszúságának) eloszlását. Ha a legtöbb vektor normája erősen koncentrálódik egy érték körül, kis szórással, akkor ez normális összeomlás jele lehet.

Python és numpy használatával ellenőrzési példa:

import numpy as np

embeddingek = np.array([...])  # embedding mátrix
normok = np.linalg.norm(embeddingek, axis=1)
print(f"Átlagos norma: {np.mean(normok)}")
print(f"Normák szórásának értéke: {np.std(normok)}")

# Ha a std nagyon kicsi, akkor normális összeomlás lehet