¿Qué es HNSWlib y dónde se utiliza?

HNSWlib es una biblioteca para la búsqueda rápida de vecinos más cercanos (Búsqueda Aproximada de Vecinos Más Cercanos) en espacios vectoriales de alta dimensión. Implementa el algoritmo de gráficos Small World Navegables Jerárquicos (HNSW), que construye un grafo multinivel para una búsqueda eficiente de objetos similares.

Aplicaciones principales de HNSWlib:

• Búsqueda de imágenes, audios o textos similares, representados en forma de vectores.
• Sistemas de recomendación.
• Procesamiento de lenguaje natural (por ejemplo, búsqueda por embeddings de palabras o frases).

Ejemplo de uso en Python:

import hnswlib
import numpy as np

# Crear un índice para 10000 vectores de dimensión 128
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Añadir datos
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Buscar los 5 vecinos más cercanos para un nuevo vector
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib es valorada por su alta velocidad y precisión en búsquedas en grandes conjuntos de datos.