Embedding-ებში ნორმის კოლაფსი რა არის და როგორ გამოვავლინოთ?

Embeddinglerde norma чөгүшү — бул ситуация, анда вектордук көрсөтүүлөр (embeddingдер) узундуктун (норма) ар түрдүүлүгүн жоготуп, өтө жакын маанилерге жакындашат. Адатта, бул бардык embeddingдердин болжол менен бирдей узундукта болушу менен көрүнөт, бул алардын айырмалануучулугун төмөндөтөт жана издөө же классификациянын сапатын начарлатат.

Норма чөгүшүн аныктоо үчүн, embeddingдердин нормаларынын (узундуктарынын) таралышын анализдөөгө болот. Эгер көпчүлүк векторлордун нормасы кичинекей дисперсия менен бир мааниге чогулуп калса, бул норма чөгүшүнүн белгиси болот.

Python жана numpy колдонуп текшерүү мисалы:

import numpy as np

embeddingдер = np.array([...])  # embedding матрицасы
нормалар = np.linalg.norm(embeddingдер, axis=1)
print(f"Орточо норма: {np.mean(нормалар)}")
print(f"Стандарттык ката: {np.std(нормалар)}")

# Эгер std өтө кичинекей болсо, бул норма чөгүшү болушу мүмкүн