Embeddings'te norm çökmesi nedir ve nasıl tespit edilir?

Embedinglerde norm çökmesi, vektör temsillerinin (embedlerin) uzunluk (norm) çeşitliliğini kaybettiği ve çok yakın norm değerlerine yaklaştığı bir durumdur. Genellikle, tüm embedlerin yaklaşık aynı uzunlukta olmasıyla kendini gösterir, bu da ayırt ediciliği azaltır ve arama veya sınıflandırma kalitesini düşürür.

Norm çökmesini tespit etmek için, embedlerin normlarının (uzunluklarının) dağılımını analiz edebilirsiniz. Çoğu vektörün normu, düşük dispersiyonla tek bir değere çok yakınsa, bu norm çökmesine işaret eder.

Python ve numpy kullanarak kontrol örneği:

import numpy as np

embedler = np.array([...])  # embed matrisi
normlar = np.linalg.norm(embedler, axis=1)
print(f"Ortalama norm: {np.mean(normlar)}")
print(f"Norm standart sapması: {np.std(normlar)}")

# Eğer std çok küçükse, norm çökmesi olabilir