Datenextraktion aus Dokumenten – How To I

Klicken Sie auf HOME > Projects > Add Project + um ein neues Projekt zu erstellen. Benennen Sie Ihr Projekt. In unserem Beispiel heißt es “Quittungen”. Speichern Sie das Projekt über “Save”. Zusätzliche Nutzer können Sie zu Ihrem Projekt über HOME > Project Invitations > Add+ einladen.

Klicken Sie auf HOME > Labels > Add Label + um ein Label zu erstellen. Benennen Sie Ihr Label. In unserem Beispiel heißt es “Bruttobetrag”. Fügen Sie es über den Reiter Ihrem Projekt hinzu (Hier: “Quittungen”) und klicken Sie auf “Save”. 

Klicken Sie auf HOME > Templates um zu den Templates zu gelangen. Klicken Sie dort auf das Template, welches den Namen Ihres Projektes hat (Hier: “Quittungen”). Fügen Sie das erstellte Label dem Template hinzu, indem Sie es anhand der Pfeilknöpfe von “available Labels” zu “chosen Labels” hinzufügen. Speichern Sie über “Save”. Wie Sie Templates nutzen können, um komplexe Dokumente auszulesen, erfahren Sie im nächsten Tutorial.

Klicken Sie auf DOCUMENTS. Über Drag&Drop oder das Browserfenster können Sie hier Ihre lokalen Dateien hochladen. Klicken Sie auf den Reload-Button um die Seite nach dem Upload neu zu laden. Nun beginnt der OCR-Prozess. Je nach Dateigröße kann dies einen Moment dauern. Wir laden nun 9 Quittungen (5 Trainings- und 4 Testdokumente) hoch.

Sobald der OCR-Prozess beendet ist, können Sie über “Smartview” zu Ihrem Dokument gelangen. Die OCR wird die Informationen in Ihrem Dokument in Entitäten eingeteilt haben. „Entitäten“ sind einzelne Wörter oder Informationen, die mit gestrichelten Linien umrahmt sind. Wenn Sie darauf klicken, färbt sich deren Hintergrund grün. „Annotationen“ sind relevante Informationen in einem Dokument, die abgerufen oder verwendet werden sollen. Sie sind Entitäten, denen ein Label zugeordnet wurde, was entweder manuell durch einen Menschen oder automatisch durch die KI geschieht. Nutzen Sie unser Lasso, sofern Sie mehrere Entitäten einem Label zuweisen möchten. Halten Sie dafür den Mauszeiger gedrückt und ziehen Sie das dann erscheinenden rote Lasso über die Entitäten, die Sie markieren möchten.
Klicken Sie auf eine Entität die Sie markieren wollen (Hier z. B. “48,60”). Auf der rechten Seite in der Annotationsleiste sehen Sie, dass der Inhalt der Entität per OCR gelesen wird. Klicken Sie auf “Save”, um der Entität das erstellte Label zuzuteilen (Hier: “Bruttobetrag”) und es damit in eine Annotation umzuwandeln.

In einem komplizierteren Projekt müssten Sie nun auswählen, um welche Art von Template es sich handelt und in welcher Sektion des Dokuments es sich befindet. Dafür ist der obere Reiter gedacht. In diesem Tutorial werden allerdings nur die Grundlagen behandelt, weswegen Sie hier nur ein Label zur Auswahl haben.

Wiederholen Sie den Schritt 4 für alle hochgeladenen Dokumente. Nutzen Sie die Pfeile, um zwischen den Dokumenten zu wechseln.

Nachdem alle Dokumente gelabelt wurden, kann man diese nun in Trainings- und Testdaten aufteilen. 

Der Trainingsdatensatz enthält manuell gelabelte Dokumente, auf deren Basis die KI erlernt, wie es Dokumente selbst zu labeln hat. Der Testdatensatz enthält ebenso manuell gelabelte Dokumente. Hierbei versucht die KI diese auf Basis des anhand des Trainingsdatensatzes erlernten Wissens zu labeln. Im Nachhinein werden dann die von der KI erstellten Annotationen mit denen die von Menschen erstellt wurden, verglichen und statistisch ausgewertet. 

In der Dokumentenansicht können Sie nun links neben den Dateinamen jeweils die Box mit einem Häkchen, versehen um die Dokumente auszuwählen. In unserem Beispiel markieren wir 5 Dokumente und wählen unten im Action-Reiter die Aktion “Add to training data set” aus und klicken auf “Go”. Danach wählen wir die übrigen 4 Dokumente aus und wiederholen den Schritt jedoch mit der Aktion “Add to test data set”. 

Klicken Sie HOME > Projects. Suchen Sie Ihr Projekt und markieren Sie es mit einem Häkchen. Wählen Sie im Action-Reiter “Retrain AI-Model” und klicken Sie auf Go. Ein Banner mit der Aufschrift “AI model re-training was started. This may take up to 24 hours.” erscheint. In einem kleinen Projekt wie dem vorliegenden Beispielprojekt sollte es schon nach wenigen Minuten trainiert sein. 

Um zu überprüfen, ob das neu trainierte KI-Modell fertig ist, klicken Sie auf HOME > AI models. Dort wird dieses inklusive der quantitativen Evaluation auf Basis der Testdaten aufgelistet.

Laden Sie wie in Schritt 3 beschrieben ein neues Dokument hoch. Klicken Sie auf “Smartview”, nachdem es den OCR-Prozess durchlaufen hat. Hier können Sie die von der KI produzierten Annotationen überarbeiten. Bestätigen Sie korrekte Vorschläge, indem Sie auf den grünen Haken klicken und lehnen Sie die Inkorrekten ab, indem Sie dies mit dem roten “X” löschen. Fügen Sie außerdem noch fehlende Annotationen hinzu. 

Dieses Dokument können Sie nun wie in Schritt 5 zum Trainingsdatensatz hinzufügen, um diesen zu vergrößern und somit das KI-Modell zu verbessern oder Sie können die Informationen exportieren. Sollten Sie keine oder sehr schlechte Ergebnisse erhalten, überprüfen Sie, ob Sie in Schritt 4-6 alles richtig gemacht haben oder erhöhen Sie die Anzahl Ihrer Trainingsdokumente.

Wählen Sie per Häkchen die Dokumente aus, deren Daten Sie herunterladen möchten. Wenn Sie hier mehrere Dokumente auswählen, werden diese in einer CSV Datei zusammengefasst. Wählen Sie im Action-Reiter die Aktion “get human revised data as a csv file” und klicken Sie auf “go”. Der Download der CSV Datei sollte automatisch starten. CSV Dateien können Sie mit Tabellenprogrammen wie Microsoft Excel, Google Sheets etc verwenden.