Qu'est-ce que les embeddings quantifiés et comment sont-ils utilisés dans la recherche de produits ?

Les embeddings quantifiés sont des représentations vectorielles (embeddings) qui ont été compressées par quantification pour réduire leur taille et accélérer les calculs.

La quantification est le processus par lequel les valeurs du vecteur sont converties d'un format de haute précision (par exemple, float32) à un format plus compact (par exemple, int8), avec une perte minimale de qualité.

Dans la recherche en production, les embeddings quantifiés sont utilisés pour:

• Réduire la taille de la mémoire, ce qui permet de stocker plus d'embeddings et d'accélérer le chargement.
• Accélérer les calculs de similarité entre la requête et les documents, car les opérations avec des nombres à faible précision sont plus rapides.
• Réduire les coûts d'infrastructure sans perte significative de qualité de recherche.

Exemple : lors de la recherche par texte, la requête est transformée en embedding, qui est ensuite comparé aux embeddings quantifiés des documents pour trouver rapidement les résultats les plus pertinents.