Kako je organizovana RAG arhitektura?

Архитектура RAG (Retrieval-Augmented Generation) комбинује два кључна компонента: систем претраге (retrieval) и генеративни модел (generation).

1. Компонента претраге одговорна је за извлачење релевантних информација из великог корпуса података или базе знања. Обично је то векторска претрага заснована на уметцима докумената, што омогућава брзо проналажење најприкладнијих делова текста.

2. Генеративни модел (нпр. трансформер) добија почетни упит и пронађене документе, након чега генерише одговор узимајући у обзир контекст извуђених података.

На овај начин, RAG побољшава квалитет одговора комбинујући предности претраге у бази знања и генерисања текста, што је посебно корисно при раду са великим количинама информација и ограниченом меморијом модела.

Пример поједностављеног шема:

Кориснички упит -> Претрага релевантних докумената -> Генеративни модел (унутра: упит + документи) -> Одговор