¿Qué es el colapso de norma en incrustaciones y cómo detectarlo?

El colapso de la norma en las incrustaciones es una situación en la que las representaciones vectoriales (incrustaciones) pierden diversidad en su longitud (norma) y convergen a valores muy cercanos en norma. Por lo general, esto se manifiesta en que todas las incrustaciones tienen aproximadamente la misma longitud, lo que reduce su diferenciabilidad y empeora la calidad de búsqueda o clasificación.

Para detectar el colapso de la norma, se puede analizar la distribución de las normas (longitudes) de las incrustaciones. Si la norma de la mayoría de los vectores está muy concentrada alrededor de un valor con poca dispersión, esto indica un colapso de la norma.

Ejemplo de verificación en Python usando numpy:

import numpy as np

embeddings = np.array([...])  # matriz de incrustaciones
norms = np.linalg.norm(embeddings, axis=1)
print(f"Norma media: {np.mean(norms)}")
print(f"Desviación estándar de la norma: {np.std(norms)}")

# Si la std es muy pequeña, puede ser un colapso de la norma