Was ist Norm Collapse in Embeddings und wie erkennt man es?

Norm-Kollaps in Einbettungen ist eine Situation, in der die Vektor-Darstellungen (Einbettungen) ihre Vielfalt in der Länge (Norm) verlieren und sich sehr nahe beieinander in der Norm nähern. Dies zeigt sich typischerweise darin, dass alle Einbettungen ungefähr die gleiche Länge haben, was ihre Unterscheidbarkeit verringert und die Qualität der Suche oder Klassifikation verschlechtert.

Um den Norm-Kollaps zu erkennen, kann man die Verteilung der Normen (Längen) der Einbettungen analysieren. Wenn die Norm der meisten Vektoren stark um einen Wert konzentriert ist und eine geringe Streuung aufweist, ist dies ein Anzeichen für einen Norm-Kollaps.

Beispiel für eine Überprüfung in Python mit numpy:

import numpy as np

embeddings = np.array([...])  # Einbettungsmatrix
norms = np.linalg.norm(embeddings, axis=1)
print(f"Durchschnittliche Norm: {np.mean(norms)}")
print(f"Standardabweichung der Norm: {np.std(norms)}")

# Wenn die std sehr klein ist, könnte es sich um einen Norm-Kollaps handeln