¿Qué es DocVQA y qué modelos son populares allí?

DocVQA (Respuesta Visual a Preguntas de Documentos) es una tarea en el campo de la visión por computadora y procesamiento del lenguaje natural, donde el sistema responde a preguntas basadas en el contenido de documentos (por ejemplo, páginas escaneadas, formularios, tablas).

La principal dificultad de DocVQA radica en combinar la comprensión del texto, la estructura visual del documento y el contexto de la pregunta.

Los modelos populares para DocVQA incluyen:

• LayoutLM y LayoutLMv2 — modelos que combinan información textual, datos posicionales y características visuales del documento para una mejor comprensión de la estructura.

• Donut (Document Understanding Transformer) — un modelo multimodal que trabaja directamente con imágenes de documentos, sin necesidad de OCR previo.

• TAP (Text-Aware Pretraining) — modelos que consideran el texto y las características visuales para mejorar la calidad de las respuestas.

Estos modelos suelen usar transformadores entrenados en grandes conjuntos de datos de documentos con preguntas y respuestas anotadas, lo que permite resolver eficazmente tareas de DocVQA.