Jak zpracovávat tabulky a obrázky v dokumentech pro RAG?

V úlohách Retrieval-Augmented Generation (RAG) vyžaduje spracovanie tabuliek a obrázkov v dokumentoch špeciálne prístupy, pretože LLM zvyčajne pracujú s textom.

Pre tabuľky:

• Tabuľky je možné previesť do textového formátu, napríklad CSV alebo Markdown, pričom sa zachová štruktúra riadkov a stĺpcov.
• Môžu sa použiť špecializované parsery na extrakciu kľúčových údajov a ich prezentáciu v vhodnom formáte pre model.
• V prípade potreby je možné zvýrazniť nadpisy a kľúčové bunky na lepšie pochopenie kontextu.

Pre obrázky:

• Extrakcia textu z obrázkov pomocou OCR (optické rozpoznávanie znakov) na získanie textových informácií.
• Pre zložité obrázky (grafy, diagramy) je možné použiť špecializované modely na analýzu a konverziu na štruktúrované údaje.
• V niektorých prípadoch sú obrázky zakódované do vektorových reprezentácií (embeddings) a používajú sa spolu s textovými embeddings na vyhľadávanie a generovanie.

Takto sa pred odovzdaním údajov do systému RAG tabuľky a obrázky transformujú na textové alebo vektorové reprezentácie, ktoré je možné efektívne indexovať a použiť na generovanie odpovedí.