DocVQA nədir və orada hansı modellər məşhurdur?

DocVQA (Sənəd Görüntülü Suallar və Cavablar) kompüter görmə və təbii dil işləmə sahəsində bir vəzifədir və sistem sənədlərin məzmununa əsaslanan suallara cavab verir (məsələn, skan edilmiş səhifələr, formalar, cədvəllər).

DocVQA-nın əsas çətinliyi mətnin anlaşılması, sənədin vizual quruluşu və sualın kontekstinin birləşdirilməsidir.

Populyar modellərə aşağıdakılar daxildir:

• LayoutLM və LayoutLMv2 — sənədin quruluşunu daha yaxşı başa düşmək üçün mətn məlumatları, mövqe məlumatları və vizual xüsusiyyətləri birləşdirən modellər.

• Donut (Sənəd Anlama Transformeri) — sənəd şəkilləri ilə birbaşa işləyən, əvvəlcədən OCR tələb etməyən çox modallı model.

• TAP (Mətn-şüurlu əvvəlcədən təlim) — cavabların keyfiyyətini artırmaq üçün mətn və vizual xüsusiyyətləri nəzərə alan modellər.

Bu modellər adətən böyük sənəd məlumat dəstləri üzərində təlim keçmiş transformerlərdən istifadə edir və bu, DocVQA vəzifələrinin effektiv həllini təmin edir.