DocVQA чист ва кадом моделҳо дар он ҷо маъмуланд?

DocVQA (Ҷавобгӯии визуалӣ ба саволҳо дар бораи ҳуҷҷатҳо) як вазифа дар соҳаи дидани компютерӣ ва коркарди забони табиӣ мебошад, ки дар он система ба саволҳое, ки асос ёфтаанд ба мазмуни ҳуҷҷатҳо (масалан, саҳифаҳои сканшуда, формҳо, ҷадвалҳо), ҷавоб медиҳад.

Масъалаи асосии DocVQA дар он аст, ки бояд фаҳмиши матн, сохтори визуалии ҳуҷҷат ва контексти саволро якҷоя кард.

Моделҳои маъмул барои DocVQA дохил мешаванд:

• LayoutLM ва LayoutLMv2 — моделҳое, ки иттилооти матнӣ, маълумоти ҷойгиршавӣ ва хусусиятҳои визуалии ҳуҷҷатро барои фаҳмиши беҳтари сохтор муттаҳид мекунанд.

• Donut (Transformer барои фаҳмиши ҳуҷҷатҳо) — модел мултимодалӣ, ки мустақиман бо тасвирҳои ҳуҷҷатҳо кор мекунад, бе ниёз ба OCR пешакӣ.

• TAP (Пре-тренинг бо эҳсоси матн) — моделҳое, ки матн ва хусусиятҳои визуалиро ба назар мегиранд, барои беҳтар кардани сифати ҷавобҳо.

Ин моделҳо одатан трансформерҳои омӯзонида шудаанд, ки дар маҷмӯъ бо маҷмӯаҳои бузурги маълумоти ҳуҷҷатҳо бо саволҳо ва ҷавобҳои Annotated, кор мекунанд, ки имкон медиҳад вазифаҳои DocVQA самаранок ҳал шаванд.