RAG və vektor verilənlər bazalarının qurulmasında hansı kitabxanalar və alətlər istifadə olunur?

Retrieval-Augmented Generation (RAG) qurmaq və vektor bazaları ilə işləmək üçün tez-tez aşağıdakı kitabxanalar və alətlər istifadə olunur:

• FAISS (Facebook AI Similarity Search) — böyük kolleksiyalarda vektorlar üzrə səmərəli axtarış üçün kitabxana.
• Annoy (Approximate Nearest Neighbors Oh Yeah) — ən yaxın qonşuları sürətli tapmaq üçün kitabxana.
• Pinecone — bulud əsaslı vektor bazası və miqyaslı axtarış üçün API.
• Weaviate — semantik axtarış dəstəyi və ML modelləri ilə inteqrasiya edən vektor bazası.
• Milvus — açıq mənbəli vektor bazası və miqyaslı axtarış üçün.
• LangChain — LLM ilə tətbiqlər yaratmaq üçün framework, vektor bazaları və RAG ilə inteqrasiyanı dəstəkləyir.
• OpenAI Embeddings API və ya digər modellər mətnin vektor təqdimatlarını yaratmaq üçün.

FAISS istifadə edərək yaxın vektorların axtarışı nümunəsi:

import faiss
import numpy as np

# 128 ölçülü vektorlar üçün indeks yaradın
index = faiss.IndexFlatL2(128)

# Vektorları əlavə edin
vectors = np.random.random((1000, 128)).astype('float32')
index.add(vectors)

# Sorğu üçün 5 ən yaxın qonşu axtarın
query = np.random.random((1, 128)).astype('float32')
D, I = index.search(query, 5)
print("Yaxın vektorların indeksləri:", I)