Qu'est-ce que la compréhension de documents sans OCR (Donut, Pix2Struct) ?

La compréhension de documents sans OCR est une approche pour extraire des informations des documents sans utiliser la reconnaissance optique de caractères (OCR) traditionnelle. Au lieu de cela, les modèles traitent directement les images des documents, en utilisant des méthodes d'apprentissage profond et des architectures multimodales.

Exemples de ces modèles :

• Donut (Transformateur de compréhension de documents) — un modèle qui prend en entrée une image de document et génère une sortie de texte structurée, en s'entraînant sur des paires image-texte sans nécessiter d'OCR préalable.

• Pix2Struct — un modèle multimodal qui convertit les données pixelisées (images) en représentations structurées, capable de travailler avec différents types de documents.

Avantages de l'approche sans OCR :

• Évite les erreurs liées à la reconnaissance de caractères.
• Permet de prendre en compte le contexte visuel et la structure du document.
• Universalité pour différentes langues et polices.

Ainsi, la compréhension de documents sans OCR est une tendance moderne en vision par ordinateur et NLP, qui combine des informations visuelles et textuelles pour une compréhension plus précise des documents.