Τι είναι η κατάρρευση κανονικής στα embeddings και πώς την ανιχνεύουμε;

Η κατάρρευση της κανονικής στην ενσωμάτωση είναι μια κατάσταση όπου οι διανυσματικές αναπαραστάσεις (ενσωματώσεις) χάνουν την ποικιλομορφία στο μήκος (κανονική) και συγκλίνουν σε πολύ κοντικές τιμές κανονικής. Συνήθως, αυτό εκδηλώνεται στο ότι όλες οι ενσωματώσεις έχουν περίπου το ίδιο μήκος, κάτι που μειώνει τη διακριτικότητα και επιδεινώνει την ποιότητα αναζήτησης ή ταξινόμησης.

Για να ανιχνεύσετε την κατάρρευση της κανονικής, μπορείτε να αναλύσετε την κατανομή των κανονικών (μηκών) των ενσωματώσεων. Αν η κανονική των περισσότερων διανυσμάτων είναι πολύ συγκεντρωμένη γύρω από μια τιμή με μικρή διασπορά, αυτό αποτελεί ένδειξη κατάρρευσης της κανονικής.

Παράδειγμα ελέγχου σε Python με numpy:

import numpy as np

ενσωματώσεις = np.array([...])  # μήτρα ενσωματώσεων
κανονικές = np.linalg.norm(ενσωματώσεις, axis=1)
print(f"Μέση κανονική: {np.mean(κανονικές)}")
print(f"Τυπική απόκλιση κανονικής: {np.std(κανονικές)}")

# Αν η std είναι πολύ μικρή, μπορεί να υπάρχει κατάρρευση της κανονικής