O que são embeddings quantizados e como eles são aplicados na pesquisa de produtos?

Embeddings quantizados são representações vetoriais (embeddings) que foram comprimidas usando quantização para reduzir o tamanho e acelerar os cálculos.

A quantização é o processo pelo qual os valores do vetor são convertidos de um formato de alta precisão (por exemplo, float32) para um mais compacto (por exemplo, int8), com perda mínima de qualidade.

Na busca de produção, os embeddings quantizados são usados para:

• Reduzir o volume de memória, permitindo armazenar mais embeddings e acelerar o carregamento.
• Acelerar os cálculos de similaridade entre a consulta e os documentos, pois operações com números de baixa precisão são mais rápidas.
• Reduzir os custos de infraestrutura sem perda significativa na qualidade da busca.

Exemplo: na busca por texto, a consulta é transformada em um embedding, que é então comparado com os embeddings quantizados dos documentos para encontrar rapidamente os resultados mais relevantes.