Как косинусное расстояние помогает измерять семантическую близость векторов?

Косинусное расстояние измеряет угол между двумя векторами в многомерном пространстве, игнорируя их длины. В задачах семантической близости это важно, так как смысл слов или документов часто отражается в направлении вектора, а не в его величине.

Формула косинусного сходства:

[ \cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|} ]

где:

• ( \mathbf{A} \cdot \mathbf{B} ) — скалярное произведение векторов,
• ( |\mathbf{A}|, |\mathbf{B}| ) — их нормы (длины).

Значение косинусного сходства варьируется от -1 до 1, где 1 означает полное совпадение направлений (максимальная семантическая близость), 0 — ортогональность (отсутствие связи), -1 — противоположные направления.

Использование косинусного расстояния (1 - косинусное сходство) позволяет сравнивать тексты, слова или другие объекты, представленные в виде векторов, по их смысловой близости, игнорируя масштаб и длину векторов, что особенно полезно в NLP и рекомендательных системах.