Что такое norm collapse в эмбеддингах и как его обнаружить?

Norm collapse в эмбеддингах — это ситуация, когда векторные представления (эмбеддинги) теряют разнообразие по длине (норме) и сходятся к очень близким по норме значениям. Обычно это проявляется в том, что все эмбеддинги имеют примерно одинаковую длину, что снижает их различимость и ухудшает качество поиска или классификации.

Обнаружить norm collapse можно, проанализировав распределение норм (длин) эмбеддингов. Если норма большинства векторов сильно сконцентрирована вокруг одного значения с малой дисперсией, это признак norm collapse.

Пример проверки на Python с использованием numpy:

import numpy as np

embeddings = np.array([...])  # матрица эмбеддингов
norms = np.linalg.norm(embeddings, axis=1)
print(f"Средняя норма: {np.mean(norms)}")
print(f"Стандартное отклонение нормы: {np.std(norms)}")

# Если std очень мало, возможно norm collapse