Čo je kolaps normy v embeddingoch a ako ho odhaliť?

Kolaps normy v embeddingoch je situácia, keď vektorové reprezentácie (embeddingy) strácajú rozmanitosť v dĺžke (norme) a približujú sa veľmi blízkym hodnotám v norme. Zvyčajne sa to prejavuje tým, že všetky embeddingy majú približne rovnakú dĺžku, čo znižuje ich rozlíšiteľnosť a zhoršuje kvalitu vyhľadávania alebo klasifikácie.

Na detekciu kolapsu normy môžete analyzovať rozloženie nôr (dĺžok) embeddingov. Ak norma väčšiny vektorov je veľmi koncentrovaná okolo jednej hodnoty s malou dispersiou, je to znak kolapsu normy.

Príklad kontroly v Pythone s použitím numpy:

import numpy as np

embeddingy = np.array([...])  # matica embeddingov
normy = np.linalg.norm(embeddingy, axis=1)
print(f"Priemerná norma: {np.mean(normy)}")
print(f"Štandardná odchýlka normy: {np.std(normy)}")

# Ak je std veľmi malé, môže ísť o kolaps normy