Was sind quantisierte Einbettungen und wie werden sie in der Produktsuche eingesetzt?

Quantisierte Einbettungen sind Vektor-Darstellungen (Embeddings), die durch Quantisierung komprimiert wurden, um die Größe zu reduzieren und die Berechnungen zu beschleunigen.

Quantisierung ist der Prozess, bei dem die Werte des Vektors von einem hochpräzisen Format (z.B. float32) in ein kompakteres Format (z.B. int8) umgewandelt werden, mit minimalem Qualitätsverlust.

In der Produktionssuche werden quantisierte Einbettungen verwendet, um:

• Den Speicherplatz zu reduzieren, was mehr Embeddings speichert und das Laden beschleunigt.
• Die Ähnlichkeitsberechnungen zwischen Anfrage und Dokumenten zu beschleunigen, da Operationen mit niedrigpräzisen Zahlen schneller ausgeführt werden.
• Die Infrastrukturkosten zu senken, ohne die Suchqualität wesentlich zu beeinträchtigen.

Beispiel: Bei der Textsuche wird die Anfrage in ein Embedding umgewandelt, das dann mit den quantisierten Embeddings der Dokumente verglichen wird, um schnell die relevantesten Ergebnisse zu finden.