Czym są kwantowane osadzenia i jak są stosowane w wyszukiwaniu produktów?

Zquantowane osadzenia to reprezentacje wektorowe (embeddings), które zostały skompresowane za pomocą kwantyzacji w celu zmniejszenia rozmiaru i przyspieszenia obliczeń.

Kwantyzacja to proces, w którym wartości wektora są konwertowane z wysokoprecyzyjnego formatu (np. float32) na bardziej kompaktowy (np. int8), z minimalną utratą jakości.

W produkcyjnych wyszukiwaniach zquantowane osadzenia są używane do:

• Zmniejszenia rozmiaru pamięci, co pozwala przechowywać więcej osadzeń i przyspiesza ładowanie.
• Przyspieszenia obliczeń podobieństwa między zapytaniem a dokumentami, ponieważ operacje na liczbach o niskiej precyzji są szybsze.
• Obniżenia kosztów infrastruktury bez znacznej utraty jakości wyszukiwania.

Przykład: przy wyszukiwaniu tekstowym, zapytanie jest przekształcane w embedding, który następnie jest porównywany z zquantowanymi osadzeniami dokumentów, aby szybko znaleźć najbardziej relewantne wyniki.