Что такое multilingual embeddings и как они обучаются (LaBSE)?

Что хотят услышать интервьюеры:

Multilingual embeddings — это общие векторные представления текста на разных языках, где одинаковый смысл оказывается рядом в одном эмбеддинг-пространстве. Для LaBSE важно, что модель учится не просто кодировать текст, а выравнивать семантику между языками. Это позволяет делать кросс-язычный поиск, матчинг и кластеризацию без ручного перевода.

Определение:

Multilingual embeddings — это плотные векторные представления текста, обученные так, чтобы фразы с одинаковым смыслом на разных языках имели близкие эмбеддинги.
Идея в том, чтобы одна и та же семантика в английском, русском, испанском и других языках попадала в общее пространство признаков.

LaBSE (Language-agnostic BERT Sentence Embedding) — это модель для получения sentence embeddings, специально обученная на многих языках. Она оптимизируется так, чтобы параллельные предложения из разных языков были близки по вектору, а нерелевантные — далеки. В результате можно искать смысловые соответствия между языками без перевода текста в промежуточный язык.

Пример использования:

Допустим, есть поисковая система по базе FAQ на английском, а запросы приходят на русском.
Запрос "Как сбросить пароль?" и вопрос "How do I reset my password?" должны давать близкие эмбеддинги, чтобы система нашла правильный ответ.

# Упрощенный пример: считаем эмбеддинги двух фраз и сравниваем косинусное сходство
from sklearn.metrics.pairwise import cosine_similarity

ru_vec = embed("Как сбросить пароль?")          # эмбеддинг на русском
en_vec = embed("How do I reset my password?")   # эмбеддинг на английском
other_vec = embed("Сколько сейчас времени?")

sim1 = cosine_similarity([ru_vec], [en_vec])[0][0]
sim2 = cosine_similarity([ru_vec], [other_vec])[0][0]

print(sim1)  # должен быть выше
print(sim2)  # должен быть ниже

Пояснение кода:

Код нужен, потому что на практике multilingual embeddings обычно используют через сравнение векторов.

1. embed(...) — условная функция, которая преобразует текст в числовой вектор.
2. Для русского и английского запроса считаются эмбеддинги в одном общем пространстве.
3. cosine_similarity измеряет, насколько векторы направлены в одну сторону.
4. Если модель обучена хорошо, семантически эквивалентные фразы на разных языках дают высокий similarity.
5. Нерелевантная фраза должна иметь заметно меньшую близость.

Ключевые моменты:

• Multilingual embeddings решают задачу сравнения смыслов между разными языками в одном векторном пространстве.
• LaBSE обучается на параллельных и/или сопоставленных данных так, чтобы одинаковый смысл сближался независимо от языка.
• Основной сценарий применения — кросс-язычный поиск, QA, дедупликация и семантический матчинг.
• Важна не лексическая схожесть, а семантическая близость.
• Качество таких эмбеддингов обычно оценивают через retrieval-задачи и cross-lingual similarity.
• Практическая польза — можно строить поиск и рекомендации без обязательного перевода всех документов в один язык.