Embeddinglerde norma çöküshü nə və onu necə aşkar etmeq olar?

Норма чөгүшү embeddingsте — бул ситуация, анда вектордук көрсөтүүлөр (embeddingдер) узундуктун (норманын) ар түрдүүлүгүн жоготуп, өтө жакын нормалуу маанилерге жакындашат. Адатта, бул бардык embeddingдердин болжол менен бирдей узундукта болушу менен көрүнөт, бул алардын айырмалануучулугун төмөндөтөт жана издөө же классификациянын сапатын начарлатат.

Норма чөгүшүн аныктоо үчүн, embeddingдердин нормаларынын (узундуктарынын) таралышын анализдөөгө болот. Эгер көпчүлүк векторлордун нормасы кичинекей дисперсия менен бир мааниге чогулуп калса, бул норма чөгүшүнүн белгиси болот.

Python жана numpy колдонуп текшерүү мисалы:

import numpy as np

embeddingдер = np.array([...])  # embedding матрицасы
нормалар = np.linalg.norm(embeddingдер, axis=1)
print(f"Орточо норма: {np.mean(нормалар)}")
print(f"Стандарттык ката: {np.std(нормалар)}")

# Эгер std өтө кичинекей болсо, бул норма чөгүшү болушу мүмкүн