Ce sunt încorporările cuantizate și cum sunt aplicate în căutarea de produse?

Îmbinările cuantizate sunt reprezentări vectoriale (embeddings) care au fost comprimate folosind cuantizare pentru a reduce dimensiunea și a accelera calculele.

Quantizarea este procesul prin care valorile vectorului sunt convertite dintr-un format de înaltă precizie (de exemplu, float32) într-un format mai compact (de exemplu, int8), cu o pierdere minimă de calitate.

În căutarea de producție, embeddings-urile cuantizate sunt utilizate pentru:

• Reducerea volumului de memorie, ceea ce permite stocarea unui număr mai mare de embeddings și accelerează încărcarea.
• Accelerarea calculelor de similaritate între interogare și documente, deoarece operațiile cu numere cu precizie scăzută se realizează mai rapid.
• Reducerea costurilor infrastructurii fără o pierdere semnificativă a calității căutării.

Exemplu: în căutarea pe text, interogarea este transformată într-un embedding, care apoi este comparat cu embeddings-urile cuantizate ale documentelor pentru a găsi rapid cele mai relevante rezultate.