Что хотят услышать интервьюеры:

Quantized embeddings — это эмбеддинги, сжатые до более компактного численного представления, чтобы быстрее искать и хранить большие векторные индексы. Обычно это делается ради снижения памяти, ускорения ANN-поиска и улучшения latency в проде. При этом важно понимать компромисс между качеством поиска и степенью сжатия.

Определение:

Quantized embeddings — это векторы, значения которых представлены не в полном формате float32/float16, а в сжатом виде, например через int8, uint8 или с помощью более сложных схем вроде product quantization. Идея в том, чтобы приблизить исходный вектор более дешевым по памяти и вычислениям представлением, сохранив достаточно близкие расстояния между объектами для поиска и ранжирования.

На практике quantization используют в системах векторного поиска, где нужно хранить миллионы или миллиарды эмбеддингов. Чем меньше размер вектора в памяти, тем больше данных помещается в RAM и тем быстрее работает индекс.

Пример использования:

Допустим, есть поиск по каталогу товаров с 50 миллионами описаний. Полные эмбеддинги в float32 занимают слишком много памяти, и индекс становится дорогим по инфраструктуре. Тогда embeddings квантуют, чтобы ускорить ANN-поиск и уместить индекс в память.

# Псевдокод: идея quantization для векторного поиска

query_embedding = model.encode("кроссовки для бега")

# исходные векторы каталога заранее квантованы и лежат в векторном индексе
candidates = vector_index.search(query_embedding, top_k=100)

# дальше можно сделать rerank на более точной модели
ranked = reranker.rerank("кроссовки для бега", candidates)

print(ranked[:10])

В проде типичный пайплайн такой: сначала быстрый поиск по квантованному индексу находит кандидатов, затем более точный reranker уточняет финальный порядок.

Пояснение кода:

Код выше показывает не сам алгоритм квантования, а типичное место его применения в поиске.

Пользовательский запрос превращается в embedding.
Система ищет ближайшие вектора не по полному точному сравнению всех объектов, а по сжатому индексу.
Получается небольшой набор кандидатов.
Отдельная модель ранжирует кандидатов точнее, компенсируя возможную потерю качества от quantization.

Если говорить о самом квантовании, то оно обычно происходит заранее при построении индекса: исходные embeddings преобразуются в компактное представление и сохраняются в таком виде.

Ключевые моменты:

Основная цель quantized embeddings — экономия памяти и ускорение поиска.
Используются в больших системах retrieval, где важны latency и стоимость инфраструктуры.
Есть компромисс: чем сильнее сжатие, тем выше риск потери точности nearest neighbor search.
Часто квантование применяют только на этапе retrieval, а качество добирают reranking’ом.
В проде важно измерять не только recall/precision, но и latency, memory footprint и стоимость обслуживания индекса.
Для разных сценариев подходят разные схемы квантования: от простого снижения разрядности до более сложных методов сжатия векторов.

Что такое quantized embeddings и как они применяются в продовом поиске?