O que é o colapso de norma em embeddings e como detectá-lo?

O colapso da norma em embeddings é uma situação em que as representações vetoriais (embeddings) perdem diversidade em comprimento (norma) e convergem para valores muito próximos em norma. Geralmente, isso se manifesta pelo fato de que todos os embeddings têm aproximadamente o mesmo comprimento, o que reduz sua diferenciabilidade e prejudica a qualidade da busca ou classificação.

Para detectar o colapso da norma, pode-se analisar a distribuição das normas (comprimentos) dos embeddings. Se a norma da maioria dos vetores estiver muito concentrada em torno de um valor com baixa dispersão, isso indica um colapso da norma.

Exemplo de verificação em Python usando numpy:

import numpy as np

embeddings = np.array([...])  # matriz de embeddings
norms = np.linalg.norm(embeddings, axis=1)
print(f"Norma média: {np.mean(norms)}")
print(f"Desvio padrão da norma: {np.std(norms)}")

# Se o std for muito pequeno, pode ser um colapso da norma