Jak buforować najczęstsze zapytania w RAG?

W Generacji Wzmacnianej Wyszukiwaniem (RAG), buforowanie często zadawanych zapytań pomaga zmniejszyć opóźnienia i obciążenie bazy danych wektorowych oraz modelu generatywnego. Główne podejścia:

• Buforowanie wyników wyszukiwania: zapisywanie wyników wyszukiwania w bazie wektorowej dla często powtarzających się zapytań. Przy ponownym zapytaniu zwracać zapisane dokumenty bez ponownego wyszukiwania.

• Buforowanie wygenerowanych odpowiedzi: jeśli zapytanie i kontekst się zgadzają, można zwrócić wcześniej wygenerowaną odpowiedź.

• Użycie TTL (time-to-live): aby cache nie stał się nieaktualny, ustawić czas życia dla zapisanych danych.

• Hashowanie zapytań: dla szybkiego wyszukiwania w cache na podstawie klucza opartego na haszu zapytania.

Przykład w Pythonie z prostym słownikiem jako cache:

cache = {}

def get_rag_response(query):
    key = hash(query)
    if key in cache:
        return cache[key]
    docs = vector_db.search(query)
    answer = generator.generate(docs, query)
    cache[key] = answer
    return answer