Kas yra normos žlugimas embeddinguose ir kaip jį aptikti?

Normos žlugimas įdėjimuose yra situacija, kai vektorinės reprezentacijos (įdėjimai) praranda įvairovę pagal ilgį (normą) ir artėja prie labai artimų normos reikšmių. Paprastai tai pasireiškia tuo, kad visi įdėjimai turi maždaug tą pačią ilgį, tai sumažina jų išskirtinumą ir blogina paieškos ar klasifikacijos kokybę.

Norint aptikti normos žlugimą, galima analizuoti įdėjimų normų (ilgių) pasiskirstymą. Jei daugumos vektorių norma yra labai koncentruota aplink vieną reikšmę su mažu dispersijos lygiu, tai yra normos žlugimo požymis.

Python su numpy pavyzdys patikrinimui:

import numpy as np

įdėjimai = np.array([...])  # įdėjimų matrica
normos = np.linalg.norm(įdėjimai, axis=1)
print(f"Vidutinė norma: {np.mean(normos)}")
print(f"Normos standartinis nuokrypis: {np.std(normos)}")

# Jei std yra labai mažas, gali būti normos žlugimas