Embedding-lərdə norma çökməsi nədir və onu necə aşkar etmək olar?

Embeddinglərdə norma çökməsi, vektor təqdimatlarının (embeddinglərin) uzunluq (norm) müxtəlifliyini itirməsi və çox yaxın norma dəyərlərinə yaxınlaşması vəziyyətidir. Adətən, bu, bütün embeddinglərin təxminən eyni uzunluqda olması ilə özünü göstərir, bu da onların fərqliliyini azaldır və axtarış və ya təsnifat keyfiyyətini pisləşdirir.

Norm çökməsini aşkar etmək üçün, embeddinglərin normlarının (uzunluqlarının) paylanmasını analiz etmək olar. Əgər çoxlu vektorların norması kiçik dispersiya ilə bir dəyər ətrafında sıxlaşmışsa, bu, norma çökməsinin göstəricisidir.

Python və numpy istifadə edərək yoxlama nümunəsi:

import numpy as np

embeddinglər = np.array([...])  # embedding matrisi
normlar = np.linalg.norm(embeddinglər, axis=1)
print(f"Orta norma: {np.mean(normlar)}")
print(f"Normanın standart sapması: {np.std(normlar)}")

# Əgər std çox kiçikdirsə, norma çökməsi ola bilər