RAG için belgelerde tablolar ve resimler nasıl işlenir?

Retrieval-Augmented Generation (RAG) görevlerinde, belgelerdeki tablolar ve görüntülerin işlenmesi özel yaklaşımlar gerektirir, çünkü LLM'ler genellikle metinle çalışır.

Tablolar için:

• Tablolar, satır ve sütun yapısını koruyarak CSV veya Markdown gibi metin formatlarına dönüştürülebilir.
• Anahtar verileri çıkarmak ve modeli uygun biçimde sunmak için özel ayrıştırıcılar kullanılabilir.
• Gerekirse, bağlamı daha iyi anlamak için başlıklar ve anahtar hücreler vurgulanabilir.

Görüntüler için:

• OCR (Optik Karakter Tanıma) kullanılarak görüntülerden metin çıkarma, böylece metin bilgisi elde edilir.
• Karmaşık görüntüler (grafikler, diyagramlar) için, analiz ve yapılandırılmış verilere dönüştürme amacıyla özel modeller kullanılabilir.
• Bazı durumlarda, görüntüler vektör temsillerine (embeddings) kodlanır ve metin gömme ile birlikte kullanılır, böylece arama ve üretim yapılır.

Bu şekilde, RAG sistemine veri girmeden önce, tablolar ve görüntüler metin veya vektör temsillerine dönüştürülür, bu da etkili bir şekilde indekslenip yanıtların üretilmesinde kullanılabilir.