Kas ir HNSWlib un kur to izmanto?

HNSWlib ir bibliotēka ātrai tuvāko kaimiņu meklēšanai (Aptuvenā tuvāko kaimiņu meklēšana) augstas dimensijas vektoru telpās. Tā īsteno Hierarchical Navigable Small World grafu (HNSW) algoritmu, kas veido daudzslāņu grafu efektīvai līdzīgu objektu meklēšanai.

HNSWlib galvenās pielietošanas jomas:

• Līdzīgu attēlu, audio vai tekstu meklēšana, kas attēloti kā vektori.
• Ieteikumu sistēmas.
• Dabas valodu apstrāde (piemēram, meklēšana, izmantojot vārdu vai teikumu iekļaušanas).

Python piemērs:

import hnswlib
import numpy as np

# Izveidojiet indeksu 10 000 vektoriem ar 128 dimensijām
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Pievienot datus
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Meklēt 5 tuvākos kaimiņus jaunam vektoram
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib ir novērtēts par savu augsto ātrumu un precizitāti lielu datu kopu meklēšanā.