Kas yra HNSWlib ir kur jis naudojamas?

HNSWlib yra biblioteka greitam artimiausių kaimynų (Approximate Nearest Neighbor Search) paieškai aukštos dimensijos vektorių erdvėse. Ji įgyvendina Hierarchical Navigable Small World grafų (HNSW) algoritmą, kuris kuria daugiasluoksnį grafiką efektyviam panašių objektų paieškai.

Pagrindinės HNSWlib taikymo sritys:

• Panašių vaizdų, garso ar tekstų paieška, pateiktų kaip vektoriai.
• Rekomendacijų sistemos.
• Natūralios kalbos apdorojimas (pavyzdžiui, žodžių ar sakinių įterpimų paieška).

Python pavyzdys:

import hnswlib
import numpy as np

# Sukurkite indeksą 10 000 vektorių, 128 dimensijų
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Pridėti duomenis
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Surasti 5 artimiausius kaimynus naujam vektorui
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib vertinamas dėl savo didelio greičio ir tikslumo dideliuose duomenų rinkiniuose.