RAG-da ən çox soruşulan sorğuları necə keşikdə saxlamaq olar?

Retrieval-Augmented Generation (RAG) daxilində, tez-tez verilən sorğuların keşlənməsi, vektor bazası və generativ model üzərində gecikməni və yükü azaltmağa kömək edir. Əsas yanaşmalar:

• Axtarış nəticələrinin keşlənməsi: tez-tez təkrarlanan sorğular üçün vektor bazasında axtarış nəticələrini saxlayın. Yenidən sorğu verildikdə, saxlanılan sənədləri yenidən axtarış etmədən qaytarın.

• Yaradılmış cavabların keşlənməsi: əgər sorğu və kontekst uyğun gəlirsə, əvvəlki yaradılmış cavabı qaytarmaq olar.

• TTL (time-to-live) istifadə etmək: keşin köhnəlməməsi üçün, saxlanılan məlumatlar üçün ömrü təyin edin.

• Sorğuların hash-lənməsi: sorğunun hash-ə əsaslanan açar ilə cache-də sürətli axtarış üçün.

Python-də sadə bir lüğət ilə nümunə:

cache = {}

def get_rag_response(query):
    key = hash(query)
    if key in cache:
        return cache[key]
    docs = vector_db.search(query)
    answer = generator.generate(docs, query)
    cache[key] = answer
    return answer