Miért előnyösebb a koszinusz hasonlóság, mint az Euklideszi távolság a szemantikus keresésnél?

A koszinus hasonlóság gyakran előnyösebb a euklideszi távolságnál a szemantikus keresésben, mert mérni az irányt a vektorok között, nem pedig azok abszolút távolságát. Szó- vagy dokumentum-beágyazások esetén a vektor iránya, amely a jelentést tükrözi, fontosabb, mint a vektor hossza, amely a gyakoriságtól vagy a skálától függhet.

Fő okok:

• Hosszúság szerinti normalizálás: A koszinus hasonlóság csak a vektorok közötti szöget veszi figyelembe, figyelmen kívül hagyva azok hosszát, ami hasznos, ha a vektor hossza nem hordoz jelentést.
• Skálázás elleni ellenállás: Ha egy vektort egy konstanssal megszorzunk, a koszinus hasonlóság nem változik, míg az euklideszi távolság igen.
• Jobban tükrözi a szemantikus közelséget: NLP-ben gyakran fontos a vektor iránya, mert az a jelentést kódolja.

Példa: két szöveg lehet, hogy különböző hosszúságú (különböző szavak száma), de hasonló jelentésű — a koszinus hasonlóság magas hasonlóságot mutat, míg az euklideszi távolság nagy lehet a vektorok hosszának különbsége miatt.