Ինչպես պահել ամենատարածված հարցումները RAG-ում?

Retrieval-Augmented Generation (RAG) համակարգում հաճախ տրվող հարցերի կեշավորումը օգնում է նվազեցնել ուշացմանը և բեռը վեկտորային տվյալների բազայի և գեներատիվ մոդելի վրա: Հիմնական մոտեցումները՝

• Որոնման արդյունքների կեշավորում: պահեք որոնման արդյունքները վեկտորային բազայում հաճախ կրկնվող հարցերի համար: Երբ հարցը կրկնվում է, վերադարձրեք պահված փաստաթղթերը առանց նոր որոնման:

• Գեներացված պատասխանների կեշավորում: եթե հարցը և կոնտեքստը համընկնում են, կարող եք վերադարձնել նախապես գեներացված պատասխան:

• TTL (time-to-live) օգտագործում: որպեսզի կեշը չամրապնդվի, սահմանեք կյանքի ժամանակը պահվող տվյալների համար:

• Հեշավորում հարցերի: արագ որոնում կեշում՝ հիմնված հարցի հեշի վրա:

Python-ում պարզ բառարանով օրինակ՝

cache = {}

def get_rag_response(query):
    key = hash(query)
    if key in cache:
        return cache[key]
    docs = vector_db.search(query)
    answer = generator.generate(docs, query)
    cache[key] = answer
    return answer