Was ist OCR-freies Dokumentenverständnis (Donut, Pix2Struct)?

OCR-freie Dokumentenverständnis ist ein Ansatz zur Extraktion von Informationen aus Dokumenten ohne die Verwendung der traditionellen optischen Zeichenerkennung (OCR). Stattdessen verarbeiten Modelle direkt die Bilder der Dokumente, unter Verwendung von Deep-Learning-Methoden und multimodalen Architekturen.

Beispiele für solche Modelle:

• Donut (Document understanding transformer) — ein Modell, das ein Dokumentenbild als Eingabe nimmt und eine strukturierte Textausgabe generiert, trainiert auf Bild-Text-Paaren ohne vorheriges OCR.

• Pix2Struct — ein multimodales Modell, das Pixeldaten (Bilder) in strukturierte Darstellungen umwandelt und mit verschiedenen Dokumenttypen arbeiten kann.

Vorteile des OCR-freien Ansatzes:

• Vermeidet Fehler, die mit der Zeichenerkennung verbunden sind.
• Ermöglicht die Berücksichtigung des visuellen Kontexts und der Dokumentenstruktur.
• Vielseitigkeit für verschiedene Sprachen und Schriftarten.

Daher ist OCR-freies Dokumentenverständnis ein moderner Trend in der Computer Vision und NLP, der visuelle und textuelle Informationen kombiniert, um Dokumente genauer zu verstehen.