Kako obraditi tabele i slike u dokumentima za RAG?

U zadacima Retrieval-Augmented Generation (RAG), obrada tabela i slika u dokumentima zahteva posebne pristupe, jer LLM-ovi obično rade s tekstom.

Za tabele:

• Tabele se mogu pretvoriti u tekstualni format, na primer CSV ili Markdown, zadržavajući strukturu redova i kolona.
• Mogu se koristiti specijalizovani parseri za izvlačenje ključnih podataka i njihovo predstavljanje u prikladnom formatu za model.
• Po potrebi, naslovi i ključne ćelije mogu biti istaknuti radi boljeg razumevanja konteksta.

Za slike:

• Ekstrakcija teksta iz slika pomoću OCR (optičko prepoznavanje karaktera) za dobijanje tekstualnih informacija.
• Za složenije slike (grafikoni, dijagrami), mogu se koristiti specijalizovani modeli za analizu i pretvaranje u strukturirane podatke.
• U nekim slučajevima, slike se kodiraju u vektorske prikaze (embeddings) i koriste zajedno s tekstualnim embeddingsima za pretraživanje i generisanje.

Na ovaj način, pre unošenja podataka u RAG sistem, podaci iz tabela i slika se pretvaraju u tekstualne ili vektorske prikaze, koji se mogu efikasno indeksirati i koristiti za generisanje odgovora.