¿Qué es la comprensión de documentos sin OCR (Donut, Pix2Struct)?

La comprensión de documentos sin OCR es un enfoque para extraer información de documentos sin utilizar el reconocimiento óptico de caracteres (OCR) tradicional. En su lugar, los modelos procesan directamente las imágenes de los documentos, utilizando métodos de aprendizaje profundo y arquitecturas multimodales.

Ejemplos de estos modelos:

• Donut (Transformador de comprensión de documentos) — un modelo que toma una imagen del documento como entrada y genera una salida de texto estructurado, entrenándose en pares de imagen y texto sin necesidad de OCR previo.

• Pix2Struct — un modelo multimodal que convierte datos de píxeles (imágenes) en representaciones estructuradas, capaz de trabajar con diferentes tipos de documentos.

Ventajas del enfoque sin OCR:

• Evita errores relacionados con el reconocimiento de caracteres.
• Permite tener en cuenta el contexto visual y la estructura del documento.
• Universalidad para diferentes idiomas y fuentes.

Por lo tanto, la comprensión de documentos sin OCR es una tendencia moderna en visión por computadora y PLN, que combina información visual y textual para una comprensión más precisa de los documentos.