Как измеряется близость между эмбеддингами слов?

Близость между эмбеддингами слов обычно измеряется с помощью метрик сходства или расстояния в векторном пространстве. Наиболее популярные методы:

• Косинусное сходство (Cosine similarity) — измеряет косинус угла между двумя векторами. Значение от -1 до 1, где 1 — полное совпадение направлений. Часто используется, так как нормализует длину векторов.

• Евклидово расстояние (Euclidean distance) — обычное расстояние между точками в пространстве. Чем меньше, тем ближе векторы.

• Манхэттенское расстояние (Manhattan distance) — сумма абсолютных разниц по каждой координате.

Пример вычисления косинусного сходства на Python:

import numpy as np

def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

embedding1 = np.array([0.1, 0.3, 0.5])
embedding2 = np.array([0.2, 0.1, 0.4])

similarity = cosine_similarity(embedding1, embedding2)
print(f"Cosine similarity: {similarity}")

Выбор метрики зависит от задачи, но косинусное сходство — наиболее распространённый и эффективный способ оценки близости эмбеддингов.