Kas ir normu sabrukums embeddingos un kā to noteikt?

Normas sabrukums iekārtās ir situācija, kad vektoru reprezentācijas (iekārtas) zaudē daudzveidību garuma (normas) ziņā un tuvojas ļoti tuviem normas vērtībām. Parasti tas izpaužas tajā, ka visas iekārtas ir aptuveni vienāda garuma, kas samazina to atšķirību un pasliktina meklēšanas vai klasifikācijas kvalitāti.

Normas sabrukuma noteikšanai var analizēt iekārtu normu (garumu) sadalījumu. Ja lielākās daļas vektoru norma ir ļoti koncentrēta ap vienu vērtību ar mazu dispersiju, tas ir normas sabrukuma pazīme.

Python ar numpy piemērs pārbaudei:

import numpy as np

iekārtas = np.array([...])  # iekārtu matrica
normas = np.linalg.norm(iekārtas, axis=1)
print(f"Vidējā norma: {np.mean(normas)}")
print(f"Normas standarta novirze: {np.std(normas)}")

# Ja std ir ļoti maz, tas var liecināt par normas sabrukumu