Kuidas töödelda tabeleid ja pilte dokumentides RAG jaoks?

Retrieval-Augmented Generation (RAG) ülesannetes nõuab dokumentides olevate tabelite ja piltide töötlemine erilisi lähenemisviise, kuna LLM-id töötavad tavaliselt tekstiga.

Tabelite jaoks:

• Tabeleid saab teisendada tekstivormingusse, näiteks CSV või Markdown, säilitades ridade ja veergude struktuuri.
• Spetsialiseeritud parserid võivad olla kasutusel võtmeandmete väljavõtmiseks ja nende esitamiseks sobivas vormingus mudelile.
• Vajadusel võib esile tõsta pealkirju ja võtmeridu, et parandada konteksti mõistmist.

Piltide jaoks:

• Teksti väljavõtmine piltidelt OCR-i (optiline märgituvastus) abil, et saada tekstiline teave.
• Keerukamate piltide (graafikud, diagrammid) puhul võib kasutada spetsialiseeritud mudeleid analüüsiks ja struktureeritud andmeteks teisendamiseks.
• Mõnel juhul kodeeritakse pildid vektoriallikatesse (embeddings) ja kasutatakse koos tekstiliste embeddings-idega otsinguks ja genereerimiseks.

Seega, enne andmete sisestamist RAG-süsteemi, teisendatakse tabelite ja piltide andmed tekstilistesse või vektoriallikatesse, mida saab tõhusalt indekseerida ja kasutada vastuste genereerimiseks.