Как да кеширате най-често срещаните заявки в RAG?

В Retrieval-Augmented Generation (RAG) кеширането на често задавани въпроси помага за намаляване на закъсненията и натоварването върху векторната база данни и генеративния модел. Основните подходи:

• Кеширане на резултатите от търсенето: запазвайте резултатите от търсенето във векторната база за често повтарящи се заявки. При повторно запитване, връщайте запазените документи без ново търсене.

• Кеширане на генерираните отговори: ако заявката и контекстът съвпадат, може да върнете по-рано генериран отговор.

• Използване на TTL (time-to-live): за да не остарява кешът, задайте време на живот за запазените данни.

• Хеширане на заявки: за бързо търсене в кеша по ключ, базиран на хеша на заявката.

Пример на Python с прост речник за кеш:

cache = {}

def get_rag_response(query):
    key = hash(query)
    if key in cache:
        return cache[key]
    docs = vector_db.search(query)
    answer = generator.generate(docs, query)
    cache[key] = answer
    return answer