RAG üçün sənədlərdə cədvəllər və şəkillər necə işlənir?

Retrieval-Augmented Generation (RAG) tapşırıqlarında, sənədlərdəki cədvəllər və şəkillərin emalı xüsusi yanaşmalar tələb edir, çünki LLM-lər adətən mətnlə işləyir.

Cədvəllər üçün:

• Cədvəllər, sətir və sütun quruluşunu qoruyaraq CSV və ya Markdown kimi mətn formatına çevrilə bilər.
• Əsas məlumatları çıxarmaq və onları model üçün uyğun formata təqdim etmək üçün ixtisaslaşdırılmış parserlərdən istifadə edilə bilər.
• Əgər ehtiyac varsa, başlıqları və əsas hüceyrələri vurğulamaq konteksti daha yaxşı anlamağa kömək edə bilər.

Şəkillər üçün:

• OCR (optik simvol tanıma) vasitəsilə şəkillərdən mətn çıxarma, bu da mətn məlumatlarını əldə etməyə imkan verir.
• Çətin şəkillər (qrafiklər, diaqramlar) üçün, analiz və strukturlaşdırılmış məlumatlara çevirmək üçün ixtisaslaşdırılmış modellər istifadə oluna bilər.
• Bəzi hallarda, şəkillər vektor təqdimatlara (embeddings) kodlanır və axtarış və nəsil üçün mətn embeddingləri ilə birlikdə istifadə olunur.

Beləliklə, RAG sisteminə məlumat daxil edilmədən əvvəl, cədvəllər və şəkillər mətn və ya vektor təqdimatlara çevrilir, ki, bu da səmərəli indeksləşdirmə və cavabların yaradılmasında istifadə oluna bilər.