O que é HNSWlib e onde ela é usada?

HNSWlib é uma biblioteca para busca rápida de vizinhos mais próximos (Busca Aproximada de Vizinhos Mais Próximos) em espaços vetoriais de alta dimensão. Ela implementa o algoritmo de gráficos Small World Hierárquicos Navegáveis (HNSW), que constrói um grafo multinível para uma busca eficiente de objetos semelhantes.

Principais aplicações do HNSWlib:

• Busca de imagens, áudios ou textos semelhantes, representados como vetores.
• Sistemas de recomendação.
• Processamento de linguagem natural (por exemplo, busca por embeddings de palavras ou frases).

Exemplo de uso em Python:

import hnswlib
import numpy as np

# Criar um índice para 10000 vetores de dimensão 128
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Adicionar dados
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Buscar os 5 vizinhos mais próximos para um novo vetor
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib é valorizada por sua alta velocidade e precisão na busca em grandes conjuntos de dados.