Cum este structurată arhitectura RAG?

Arhitectura RAG (Retrieval-Augmented Generation) combină două componente cheie: un sistem de căutare (retrieval) și un model generativ (generation).

1. Componenta de căutare se ocupă de extragerea informațiilor relevante dintr-un corp mare de date sau dintr-o bază de cunoștințe. De obicei, este vorba despre o căutare vectorială bazată pe încorporări ale documentelor, care permite găsirea rapidă a celor mai potrivite fragmente de text.

2. Modelul generativ (de exemplu, un transformator) primește solicitarea inițială și documentele găsite, apoi generează un răspuns ținând cont de contextul datelor recuperate.

Astfel, RAG îmbunătățește calitatea răspunsurilor combinând avantajele căutării în baza de cunoștințe și ale generării de text, ceea ce este deosebit de util atunci când se lucrează cu volume mari de informații și memorie limitată a modelului.

Exemplu de schemă simplificată:

Solicitarea utilizatorului -> Căutarea documentelor relevante -> Model generativ (intrare: solicitare + documente) -> Răspuns