O que é compreensão de documentos sem OCR (Donut, Pix2Struct)?

A compreensão de documentos sem OCR é uma abordagem para extrair informações de documentos sem usar o reconhecimento óptico de caracteres (OCR) tradicional. Em vez disso, os modelos processam diretamente as imagens dos documentos, usando métodos de aprendizagem profunda e arquiteturas multimodais.

Exemplos desses modelos:

• Donut (Transformador de compreensão de documentos) — um modelo que aceita uma imagem de documento como entrada e gera uma saída de texto estruturado, treinando em pares de imagem e texto sem necessidade de OCR prévio.

• Pix2Struct — um modelo multimodal que converte dados de pixels (imagens) em representações estruturadas, capaz de trabalhar com diferentes tipos de documentos.

Vantagens da abordagem sem OCR:

• Evita erros relacionados ao reconhecimento de caracteres.
• Permite considerar o contexto visual e a estrutura do documento.
• Universalidade para diferentes idiomas e fontes.

Assim, a compreensão de documentos sem OCR é uma tendência moderna em visão computacional e PLN, que combina informações visuais e textuais para uma compreensão mais precisa dos documentos.