Hogyan épül fel a RAG architektúra?

A RAG (Retrieval-Augmented Generation) architektúra két kulcsfontosságú összetevőt ötvöz: egy keresőrendszert (retrieval) és egy generatív modellt (generation).

1. A keresőkomponens felelős a releváns információk kinyeréséért egy nagy adat- vagy tudásbázisból. Általában ez egy vektoralapú keresés dokumentumbeágyazások alapján, amely gyorsan megtalálja a legmegfelelőbb szövegrészeket.

2. A generatív modell (például egy transzformer) megkapja az eredeti kérdést és a megtalált dokumentumokat, majd a retrieved adatok kontextusát figyelembe véve generál választ.

Így a RAG javítja a válaszok minőségét azzal, hogy ötvözi a tudásbázisban való keresés és a szöveg generálásának előnyeit, ami különösen hasznos nagy mennyiségű információval való munkában és a modell korlátozott memóriájával.

Egyszerűsített séma példája:

Felhasználói kérdés -> Releváns dokumentumok keresése -> Generatív modell (bemenet: kérdés + dokumentumok) -> Válasz