Cosa sono gli embedding quantizzati e come vengono applicati nella ricerca di prodotti?

Gli embedding quantizzati sono rappresentazioni vettoriali (embeddings) che sono state compresse tramite quantizzazione per ridurne la dimensione e accelerare i calcoli.

La quantizzazione è il processo mediante il quale i valori del vettore vengono convertiti da un formato ad alta precisione (ad esempio, float32) a uno più compatto (ad esempio, int8), con una perdita minima di qualità.

Nella ricerca di produzione, gli embedding quantizzati vengono utilizzati per:

• Ridurre la quantità di memoria, consentendo di memorizzare più embedding e accelerare il caricamento.
• Accelerare i calcoli di somiglianza tra la query e i documenti, poiché le operazioni con numeri a bassa precisione sono più veloci.
• Ridurre i costi dell'infrastruttura senza una perdita significativa di qualità della ricerca.

Esempio: nella ricerca testuale, la query viene trasformata in un embedding, che viene poi confrontato con gli embedding quantizzati dei documenti per trovare rapidamente i risultati più rilevanti.