Qu'est-ce que DocVQA et quels modèles y sont populaires?

DocVQA (Réponse Visuelle aux Questions sur les Documents) est une tâche dans le domaine de la vision par ordinateur et du traitement du langage naturel, où le système répond à des questions basées sur le contenu des documents (par exemple, pages scannées, formulaires, tableaux).

La principale difficulté de DocVQA réside dans la combinaison de la compréhension du texte, de la structure visuelle du document et du contexte de la question.

Les modèles populaires pour DocVQA incluent :

• LayoutLM et LayoutLMv2 — modèles qui combinent l'information textuelle, les données positionnelles et les caractéristiques visuelles du document pour une meilleure compréhension de la structure.

• Donut (Transformer de compréhension de documents) — un modèle multimodal qui travaille directement avec les images de documents, sans nécessiter d'OCR préalable.

• TAP (Pré-entraînement sensible au texte) — modèles qui prennent en compte le texte et les caractéristiques visuelles pour améliorer la qualité des réponses.

Ces modèles utilisent généralement des transformateurs entraînés sur de grands ensembles de données de documents avec des questions et réponses annotées, permettant de résoudre efficacement les tâches de DocVQA.