Czym jest collapse normy w osadzeniach i jak go wykryć?

Zawalenie normy w osadzeniach to sytuacja, gdy reprezentacje wektorowe (osadzenia) tracą różnorodność pod względem długości (normy) i zbliżają się do bardzo podobnych wartości normy. Zazwyczaj objawia się to tym, że wszystkie osadzenia mają mniej więcej tę samą długość, co obniża ich odróżnialność i pogarsza jakość wyszukiwania lub klasyfikacji.

Wykrycie zawalenia normy można przeprowadzić, analizując rozkład norm (długości) osadzeń. Jeśli norma większości wektorów jest silnie skoncentrowana wokół jednej wartości z małą dyspersją, jest to oznaka zawalenia normy.

Przykład sprawdzenia w Pythonie z użyciem numpy:

import numpy as np

embeddings = np.array([...])  # macierz osadzeń
norms = np.linalg.norm(embeddings, axis=1)
print(f"Średnia norma: {np.mean(norms)}")
print(f"Odchylenie standardowe normy: {np.std(norms)}")

# Jeśli std jest bardzo małe, może to oznaczać zawalenie normy