Ce este HNSWlib și unde este utilizat?

HNSWlib este o bibliotecă pentru căutarea rapidă a vecinilor cei mai apropiați (Căutare Aproximativă a Vecinilor cei Mai Apropiati) în spații vectoriale de înaltă dimensiune. Aceasta implementează algoritmul de grafuri Small World Navigabile Ierarhice (HNSW), care construiește un graf multilayer pentru o căutare eficientă a obiectelor similare.

Principalele aplicații ale HNSWlib:

• Căutarea de imagini, audio sau texte similare, reprezentate sub formă de vectori.
• Sisteme de recomandare.
• Procesarea limbajului natural (de exemplu, căutarea pe baza de embedding-uri ale cuvintelor sau propozițiilor).

Exemplu de utilizare în Python:

import hnswlib
import numpy as np

# Crearea unui index pentru 10.000 de vectori cu dimensiunea 128
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Adăugarea datelor
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Căutarea celor 5 vecini cei mai apropiați pentru un nou vector
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib este apreciată pentru viteza și precizia sa în căutările pe seturi mari de date.