Šta su kvantizovani ugradni i kako se primenjuju u pretraživanju proizvoda?

Kvantisane ugrađene su vektorske reprezentacije (ugrađivanja) koje su kompresovane pomoću kvantizacije radi smanjenja veličine i ubrzanja računanja.

Kvantizacija je proces u kojem se vrednosti vektora pretvaraju iz formata visoke preciznosti (npr. float32) u kompaktniiji format (npr. int8), uz minimalni gubitak kvaliteta.

U proizvodnom pretraživanju, kvantizovane ugrađene se koriste za:

• Smanjenje zapremine memorije, što omogućava skladištenje više ugrađivanja i ubrzava učitavanje.
• Ubrzanje računanja sličnosti između upita i dokumenata, jer operacije sa niskopreciznim brojevima brže se izvršavaju.
• Smanjenje troškova infrastrukture bez značajnog gubitka kvaliteta pretraživanja.

Primer: pri pretraživanju po tekstu, upit se pretvara u ugrađivanje, koje se zatim upoređuje sa kvantizovanim ugrađivanjem dokumenata radi brzog pronalaženja najrelevantnijih rezultata.