Šta je kolaps norme u embedding-ima i kako ga otkriti?

Колапс норме у угнездима је ситуација у којој векторске представе (угнездбе) губе разноликост по дужини (норми) и приближавају се веома близким вредностима у норми. Обично се то манифестује тиме што све угнездбе имају приближно исту дужину, што смањује њихову разликовитост и погоршава квалитет претраге или класификације.

За откривање колапса норме може се анализирати расподела норма (дужина) угнездби. Ако је норма већине вектора веома концентрисана око једне вредности са малом дисперзијом, то је знак колапса норме.

Пример провере у Python-у са numpy:

import numpy as np

угнездбе = np.array([...])  # матрица угнездби
норме = np.linalg.norm(угнездбе, axis=1)
print(f"Просечна норма: {np.mean(норме)}")
print(f"Стандардна девијација норме: {np.std(норме)}")

# Ако је std веома мали, могуће је да је у питању колапс норме