Middle — Senior
Pourquoi la similarité cosinus est-elle souvent préférée à la distance euclidienne pour la recherche sémantique ?
sobes.tech IA
Réponse de l'IA
La similarité cosinus est souvent préférée à la distance euclidienne pour la recherche sémantique, car elle mesure l'angle entre les vecteurs, et non leur distance absolue. Dans les tâches avec des embeddings de mots ou de documents, c'est la direction du vecteur, reflétant le sens, qui est importante, et non la longueur du vecteur, qui peut dépendre de la fréquence ou de l'échelle.
Principales raisons :
- Normalisation par la longueur : La similarité cosinus ne considère que l'angle entre les vecteurs, ignorant leur longueur, ce qui est utile lorsque la longueur du vecteur n'a pas de charge sémantique.
- Résistance à la mise à l'échelle : Si on multiplie un vecteur par une constante, la similarité cosinus ne changera pas, alors que la distance euclidienne changera.
- Reflète mieux la proximité sémantique : En NLP, la direction du vecteur est souvent importante, car elle encode le sens.
Exemple : deux textes peuvent avoir des longueurs différentes (nombre de mots différent), mais un sens similaire — la similarité cosinus montrera une forte similarité, alors que la distance euclidienne peut être grande en raison de la différence de longueur des vecteurs.