Čo sú kvantizované vloženia a ako sa používajú pri vyhľadávaní produktov?

Kvantisované vložky sú vektorové reprezentácie (vloženia), ktoré boli stlačené pomocou kvantizácie na zníženie veľkosti a zrýchlenie výpočtov.

Kvantizácia je proces, pri ktorom sa hodnoty vektora prevádzajú z formátu s vysokou presnosťou (napríklad float32) na kompaktnejší formát (napríklad int8), s minimálnou stratou kvality.

V produkčnom vyhľadávaní sa kvantisované vložky používajú na:

• Zníženie objemu pamäte, čo umožňuje uložiť viac vložení a zrýchliť načítanie.
• Zrýchlenie výpočtov podobnosti medzi dopytom a dokumentmi, pretože operácie s nízkopresnými číslami sa vykonávajú rýchlejšie.
• Zníženie nákladov na infraštruktúru bez významnej straty kvality vyhľadávania.

Príklad: pri vyhľadávaní podľa textu sa dopyt premení na vloženie, ktoré sa následne porovnáva s kvantisovanými vložkami dokumentov na rýchle nájdenie najrelevantnejších výsledkov.