Mis on normi kokkuvarisemine embeddingutes ja kuidas seda tuvastada?

Normi kokkuvarisemine embedings on olukord, kus vektorivormid (embedings) kaotavad mitmekesisuse pikkuse (norma) osas ja lähenevad väga lähedastele normiväärtustele. Tavaliselt avaldub see selles, et kõik embedingsid on ligikaudu sama pikkusega, mis vähendab nende eristamisvõimet ja halvendab otsingu või klassifikatsiooni kvaliteeti.

Normi kokkuvarisemise tuvastamiseks saab analüüsida embedingside normide (pikkuste) jaotust. Kui enamik vektoreid omab väga kontsentreeritud normi ühel väärtusel väikese dispersiooniga, on see normi kokkuvarisemise märk.

Näide kontrollimiseks Pythonis numpy abil:

import numpy as np

embedings = np.array([...])  # embedingside maatriks
normid = np.linalg.norm(embedings, axis=1)
print(f"Keskmine norm: {np.mean(normid)}")
print(f"Normide standardhälve: {np.std(normid)}")

# Kui std on väga väike, võib olla tegemist normi kokkuvarisemisega