Quantized embeddings nedir ve ürün aramada nasıl kullanılır?

Kuantize edilmiş gömme (embeddings), boyutunu küçültmek ve hesaplamaları hızlandırmak için kuantizasyon kullanılarak sıkıştırılmış vektör temsilleridir.

Kuantizasyon, vektör değerlerinin yüksek hassasiyetli bir formattan (örneğin, float32) daha kompakt bir formata (örneğin, int8) dönüştürülmesi sürecidir ve bu süreçte kalite kaybı en aza indirilir.

Üretim aramasında, kuantize edilmiş gömmeler şunlar için kullanılır:

• Hafıza hacmini azaltmak, bu da daha fazla gömme saklamaya ve yüklemeyi hızlandırmaya olanak tanır.
• Benzerlik hesaplamalarını hızlandırmak için, çünkü düşük bit derinliğine sahip sayılarla yapılan işlemler daha hızlı gerçekleştirilir.
• Altyapı maliyetlerini düşürmek, arama kalitesinde önemli bir kayıp olmadan.

Örnek: Metin aramasında, sorgu gömme haline dönüştürülür ve daha sonra belgelerin kuantize edilmiş gömmeleriyle karşılaştırılır, böylece en uygun sonuçlar hızlıca bulunur.