Co je to kolaps normy v embeddingách a jak ho odhalit?

Kolaps normy v embeddingách je situace, kdy vektorové reprezentace (embeddingy) ztrácejí rozmanitost v délce (normě) a blíží se velmi podobným hodnotám normy. Obvykle se to projevuje tím, že všechny embeddingy mají přibližně stejnou délku, což snižuje jejich rozlišitelnost a zhoršuje kvalitu vyhledávání nebo klasifikace.

Pro detekci kolapsu normy lze analyzovat rozložení norm (délky) embeddingů. Pokud je norma většiny vektorů silně koncentrovaná kolem jedné hodnoty s malou dispersí, je to známka kolapsu normy.

Příklad kontroly v Pythonu s použitím numpy:

import numpy as np

embeddingy = np.array([...])  # matice embeddingů
normy = np.linalg.norm(embeddingy, axis=1)
print(f"Průměrná norma: {np.mean(normy)}")
print(f"Standardní odchylka normy: {np.std(normy)}")

# Pokud je std velmi malá, může jít o kolaps normy