Kā apstrādāt tabulas un attēlus dokumentos RAG?

Retrieval-Augmented Generation (RAG) uzdevumos ietvaros dokumentos ar tabulu un attēlu apstrāde prasa īpašus pieejas, jo LLM parasti strādā ar tekstu.

Tabulām:

• Tabulas var pārvērst tekstu, piemēram, CSV vai Markdown formātā, saglabājot rindu un kolonnu struktūru.
• Var izmantot specializētus parserus, lai izvilktu galvenos datus un attēlotu tos piemērotā modelim formātā.
• Ja nepieciešams, virsraksti un galvenās šūnas var izcelt, lai uzlabotu konteksta izpratni.

Attēliem:

• Teksta izvilkšana no attēliem ar OCR (optisko rakstzīmju atpazīšanu), lai iegūtu tekstuālo informāciju.
• Sarežģītākiem attēliem (grafikiem, diagrammām) var izmantot specializētus modeļus analīzei un strukturētu datu konvertēšanai.
• Dažos gadījumos attēli tiek kodēti vektoru reprezentācijās (embeddings) un tiek izmantoti kopā ar tekstuālajiem embeddings, meklēšanai un ģenerēšanai.

Tādējādi, pirms ievadīt datus RAG sistēmā, tabulu un attēlu dati tiek pārveidoti tekstuālās vai vektoru reprezentācijās, kuras var efektīvi indeksēt un izmantot atbilžu ģenerēšanai.