Что хотят услышать интервьюеры:

Размер эмбеддинга выбирают как компромисс между качеством, скоростью и памятью. Обычно начинают с типовых значений, затем проверяют на валидации или через качество поиска/классификации. Слишком маленький размер теряет смысловые различия, слишком большой увеличивает стоимость и риск переобучения.

Определение:

Размер вектора эмбеддинга — это число чисел, которыми представляется объект в непрерывном пространстве признаков. Выбор этого размера зависит от сложности задачи, объёма данных, допустимых задержек и памяти. В практических системах размер подбирают эмпирически: чем богаче семантика и чем больше данных, тем чаще нужен более высокий размер, но после определённого порога выигрыш становится небольшим.

Пример использования:

Для поиска похожих документов можно сравнить несколько размеров: 128, 256 и 768. Если 128 даёт заметно хуже recall@k, а 768 почти не улучшает качество, но сильно увеличивает RAM и время поиска, разумным выбором может быть 256 или 384.

dimensions = [128, 256, 384, 768]

for dim in dimensions:
    embeddings = build_embeddings(texts, dim=dim)
    score = evaluate_retrieval(embeddings, validation_queries)
    print(f"dim={dim}, score={score}")

Пояснение кода:

Код показывает типичный подход к выбору размерности через эксперимент. Сначала задаются несколько кандидатов на размер эмбеддинга, затем для каждого строятся векторы и измеряется метрика качества на валидации. После этого выбирают размер, который даёт лучший баланс между качеством и затратами.

Ключевые моменты:

Размер эмбеддинга подбирают не “по правилу”, а по метрике на целевой задаче.
Меньший размер экономит память, ускоряет inference и поиск.
Больший размер может лучше кодировать смысл, но после определённого порога даёт убывающую отдачу.
Для поиска часто важны не только quality-метрики, но и latency, memory footprint, стоимость индекса.
Хорошая практика — начинать с типовых размеров и сравнивать несколько вариантов на валидации.
Если данных мало, слишком большой эмбеддинг чаще ухудшает обобщение.

Как выбрать размер вектора эмбеддингов?