¿Qué son las incrustaciones cuantizadas y cómo se aplican en la búsqueda de productos?

Las incrustaciones cuantizadas son representaciones vectoriales (embeddings) que han sido comprimidas mediante cuantización para reducir su tamaño y acelerar los cálculos.

La cuantización es el proceso mediante el cual los valores del vector se convierten de un formato de alta precisión (por ejemplo, float32) a uno más compacto (por ejemplo, int8), con una pérdida mínima de calidad.

En la búsqueda de producción, las incrustaciones cuantizadas se utilizan para:

• Reducir el volumen de memoria, lo que permite almacenar más embeddings y acelera la carga.
• Acelerar los cálculos de similitud entre la consulta y los documentos, ya que las operaciones con números de baja precisión se realizan más rápidamente.
• Reducir los costos de infraestructura sin una pérdida significativa en la calidad de la búsqueda.

Ejemplo: en la búsqueda por texto, la consulta se transforma en un embedding, que luego se compara con las incrustaciones cuantizadas de los documentos para encontrar rápidamente los resultados más relevantes.