Что такое product quantization (PQ) и какие у него потери качества?

Product Quantization (PQ) — это метод сжатия векторных представлений, часто используемый для ускорения поиска по большим наборам данных (например, в системах векторного поиска). Идея PQ заключается в разбиении исходного вектора на несколько подвекторов (продуктов), каждый из которых отдельно квантуется (кодируется) с помощью ограниченного набора центроидов (кластеров).

Это позволяет значительно уменьшить объем памяти, необходимый для хранения векторов, и ускорить вычисление расстояний между ними, так как сравнения сводятся к операциям с индексами центроидов.

Потери качества связаны с аппроксимацией исходных векторов: при квантовании каждый подвектор заменяется ближайшим центроидом, что приводит к ошибке восстановления. Чем меньше число центроидов или чем больше размер подвектора, тем выше ошибка квантования, что может снизить точность поиска или классификации.

Таким образом, PQ — компромисс между скоростью/памятью и точностью, широко применяемый в системах поиска по большим векторным базам.