Was ist OPQ und warum ist es besser als PQ?

OPQ (Optimierte Produktquantisierung) ist eine Verbesserung der klassischen PQ (Produktquantisierung), die für die effiziente Komprimierung und Suche in Vektoren in großen Datenbanken verwendet wird.

Die PQ teilt den Vektor in mehrere Untervektoren auf und quantisiert jeden separat, was die Größe reduziert und die Suche beschleunigt. Allerdings berücksichtigt die PQ keine Korrelationen zwischen den Untervektoren.

OPQ fügt eine vorherige lineare Transformation (Rotation) der ursprünglichen Vektoren vor der Anwendung der PQ hinzu. Dies ermöglicht eine bessere Verteilung der Informationen zwischen den Untervektoren, reduziert den Quantisierungsfehler und erhöht die Suchgenauigkeit.

Auf diese Weise übertrifft OPQ die PQ durch die Optimierung der Aufteilung des Merkmalsraums, was die Qualität der ungefähren Suche in vektorbasierten Datenbanken verbessert.