Какви са квантованите вграждания и как се прилагат в търсенето на продукти?

Квантизираните вграждания са векторни представяния (вграждания), които са били компресирани чрез квантизация за намаляване на размера и ускоряване на изчисленията.

Квантизацията е процесът, при който стойностите на вектора се преобразуват от формат с висока точност (например, float32) в по-компактен формат (например, int8), с минимална загуба на качество.

В производственото търсене, квантизираните вграждания се използват за:

• Намаляване на обема на паметта, което позволява съхраняване на повече вграждания и ускорява зареждането.
• Ускоряване на изчисленията за сходство между заявката и документите, тъй като операциите с нискоразрядни числа се изпълняват по-бързо.
• Намаляване на разходите за инфраструктура без значителна загуба на качество на търсенето.

Пример: при търсене по текст, заявката се преобразува в вграждане, което след това се сравнява с квантизираните вграждания на документите, за бързо намиране на най-релевантните резултати.