Kas yra OCR-be pagrįsta dokumentų supratimas (Donut, Pix2Struct)?

OCR-neįgalus dokumentų supratimas yra požiūris į informaciją iš dokumentų be tradicinio optinio simbolių atpažinimo (OCR). Vietoj to, modeliai tiesiogiai apdoroja dokumentų vaizdus, naudodami giluminio mokymosi ir daugiašalių architektūrų metodus.

Tokių modelių pavyzdžiai:

• Donut (Dokumentų supratimo transformatorius) — modelis, kuris priima kaip įvestį dokumento vaizdą ir generuoja struktūruotą teksto išvestį, mokomas naudodamas vaizdas-teksto poras be išankstinio OCR.

• Pix2Struct — daugiašalių modelis, kuris paverčia pikselinius duomenis (vaizdus) į struktūruotas reprezentacijas, galintis dirbti su įvairių tipų dokumentais.

OCR-neįgalaus požiūrio privalumai:

• Vengia klaidų, susijusių su simbolių atpažinimu.
• Leidžia atsižvelgti į vizualų kontekstą ir dokumento struktūrą.
• Universalus skirtingoms kalboms ir šriftams.

Taigi, OCR-neįgalaus dokumentų supratimo yra šiuolaikinė tendencija kompiuterinio matymo ir NLP srityse, kuri sujungia vizualinę ir tekstinę informaciją, siekiant tikslesnio dokumentų supratimo.