Как измерять дистанцию между двумя эмбеддингами?

Для измерения дистанции между двумя эмбеддингами (векторами признаков) часто используют метрики расстояния, которые отражают степень сходства или различия между ними. Основные методы:

• Евклидово расстояние (L2-норма) — классическое расстояние в пространстве: [ d(x, y) = \sqrt{\sum_i (x_i - y_i)^2} ]

• Косинусное сходство — измеряет угол между векторами, часто используется для оценки похожести: [ \text{cosine_similarity}(x, y) = \frac{x \cdot y}{|x| |y|} ] Для дистанции можно использовать 1 - cosine_similarity.

• Манхэттенское расстояние (L1-норма) — сумма абсолютных разностей: [ d(x, y) = \sum_i |x_i - y_i| ]

Выбор метрики зависит от задачи и свойств эмбеддингов. Например, для текстовых эмбеддингов часто используют косинусное сходство, так как важна ориентация вектора, а не длина.

Пример на Python для вычисления косинусного сходства:

import numpy as np

def cosine_distance(a, b):
    return 1 - np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

embedding1 = np.array([0.1, 0.3, 0.5])
embedding2 = np.array([0.2, 0.1, 0.4])

dist = cosine_distance(embedding1, embedding2)
print(f"Cosine distance: {dist}")

Для оптимизации на больших данных применяют приближённые методы поиска ближайших соседей (ANN), которые используют эти метрики.