Cum se cachează cele mai frecvente interogări în RAG?

În Generarea Aumentată prin Recuperare (RAG), cache-ul pentru întrebările frecvente ajută la reducerea întârzierilor și a încărcării pe baza de date vectorială și pe modelul generativ. Abordările principale:

• Cache-ul rezultatelor căutării: stocați rezultatele căutării în baza vectorială pentru întrebările care se repetă frecvent. La o nouă întrebare, returnați documentele salvate fără a efectua o nouă căutare.

• Cache-ul răspunsurilor generate: dacă întrebarea și contextul coincid, puteți returna un răspuns generat anterior.

• Utilizarea TTL (time-to-live): pentru ca cache-ul să nu devină învechit, setați o durată de viață pentru datele cache-uite.

• Hashing-ul întrebărilor: pentru o căutare rapidă în cache pe baza unei chei bazate pe hash-ul întrebării.

Exemplu în Python cu un dicționar simplu pentru cache:

cache = {}

def get_rag_response(query):
    key = hash(query)
    if key in cache:
        return cache[key]
    docs = vector_db.search(query)
    answer = generator.generate(docs, query)
    cache[key] = answer
    return answer