Какво е колапс на норма в embeddings и как да го открием?

Колапс на норма в ембедингите е ситуация, при която векторните представяния (ембедингите) губят разнообразие по дължина (норма) и се сближават към много близки стойности по норма. Обикновено това се проявява, когато всички ембединги имат приблизително еднаква дължина, което намалява тяхната различимост и влошава качеството на търсене или класификация.

За откриване на колапс на норма може да се анализира разпределението на нормите (дължините) на ембедингите. Ако нормата на повечето вектори е силно концентрирана около една стойност с малка дисперсия, това е признак за колапс на норма.

Пример за проверка с Python и numpy:

import numpy as np

embedding = np.array([...])  # матрица на ембедингите
norms = np.linalg.norm(embedding, axis=1)
print(f"Средна норма: {np.mean(norms)}")
print(f"Стандартно отклонение на нормата: {np.std(norms)}")

# Ако std е много малко, може да има колапс на норма