Wald von oben

Datenextraktion aus Dokumenten – How To I

Team Konfuzio

So starten Sie Ihr Projekt mit Konfuzio

Um die Grundlagen der Konfuzio-Plattform kennenzulernen, empfehlen wir Ihnen dieses Tutorial, in dem Sie lernen, wie Sie in nur wenigen Minuten mit nur 5 Dokumenten Ihre eigene KI trainieren können. Hierzu können Sie das folgende Video ansehen oder der Schritt-für-Schritt-Anleitung darunter folgen.



Dokumenten KI Schritt-für-Schritt-Anleitung

  1. Neues Projekt erstellen

    Klicken Sie auf HOME > Projects > Add Project + um ein neues Projekt zu erstellen. Benennen Sie Ihr Projekt. In unserem Beispiel heißt es “Quittungen”. Speichern Sie das Projekt über “Save”. Zusätzliche Nutzer können Sie zu Ihrem Projekt über HOME > Project Invitations > Add+ einladen.

  2. Erstellung eines Labels

    Klicken Sie auf HOME > Labels > Add Label + um ein Label zu erstellen. Benennen Sie Ihr Label. In unserem Beispiel heißt es “Bruttobetrag”. Fügen Sie es über den Reiter Ihrem Projekt hinzu (Hier: “Quittungen”) und klicken Sie auf “Save”. 

    Klicken Sie auf HOME > Templates um zu den Templates zu gelangen. Klicken Sie dort auf das Template, welches den Namen Ihres Projektes hat (Hier: “Quittungen”). Fügen Sie das erstellte Label dem Template hinzu, indem Sie es anhand der Pfeilknöpfe von “available Labels” zu “chosen Labels” hinzufügen. Speichern Sie über “Save”. Wie Sie Templates nutzen können, um komplexe Dokumente auszulesen, erfahren Sie im nächsten Tutorial.

  3. Upload der Dokumente

    Klicken Sie auf DOCUMENTS. Über Drag&Drop oder das Browserfenster können Sie hier Ihre lokalen Dateien hochladen. Klicken Sie auf den Reload-Button um die Seite nach dem Upload neu zu laden. Nun beginnt der OCR-Prozess. Je nach Dateigröße kann dies einen Moment dauern. Wir laden nun 9 Quittungen (5 Trainings- und 4 Testdokumente) hoch.

  4. Labelling

    Sobald der OCR-Prozess beendet ist, können Sie über “Smartview” zu Ihrem Dokument gelangen. Die OCR wird die Informationen in Ihrem Dokument in Entitäten eingeteilt haben. „Entitäten“ sind einzelne Wörter oder Informationen, die mit gestrichelten Linien umrahmt sind. Wenn Sie darauf klicken, färbt sich deren Hintergrund grün. „Annotationen“ sind relevante Informationen in einem Dokument, die abgerufen oder verwendet werden sollen. Sie sind Entitäten, denen ein Label zugeordnet wurde, was entweder manuell durch einen Menschen oder automatisch durch die KI geschieht. Nutzen Sie unser Lasso, sofern Sie mehrere Entitäten einem Label zuweisen möchten. Halten Sie dafür den Mauszeiger gedrückt und ziehen Sie das dann erscheinenden rote Lasso über die Entitäten, die Sie markieren möchten.
    Klicken Sie auf eine Entität die Sie markieren wollen (Hier z. B. “48,60”). Auf der rechten Seite in der Annotationsleiste sehen Sie, dass der Inhalt der Entität per OCR gelesen wird. Klicken Sie auf “Save”, um der Entität das erstellte Label zuzuteilen (Hier: “Bruttobetrag”) und es damit in eine Annotation umzuwandeln.

    In einem komplizierteren Projekt müssten Sie nun auswählen, um welche Art von Template es sich handelt und in welcher Sektion des Dokuments es sich befindet. Dafür ist der obere Reiter gedacht. In diesem Tutorial werden allerdings nur die Grundlagen behandelt, weswegen Sie hier nur ein Label zur Auswahl haben.

    Wiederholen Sie den Schritt 4 für alle hochgeladenen Dokumente. Nutzen Sie die Pfeile, um zwischen den Dokumenten zu wechseln.

  5. Aufteilung in Trainings- und Testdaten

    Nachdem alle Dokumente gelabelt wurden, kann man diese nun in Trainings- und Testdaten aufteilen. 

    Der Trainingsdatensatz enthält manuell gelabelte Dokumente, auf deren Basis die KI erlernt, wie es Dokumente selbst zu labeln hat. Der Testdatensatz enthält ebenso manuell gelabelte Dokumente. Hierbei versucht die KI diese auf Basis des anhand des Trainingsdatensatzes erlernten Wissens zu labeln. Im Nachhinein werden dann die von der KI erstellten Annotationen mit denen die von Menschen erstellt wurden, verglichen und statistisch ausgewertet. 

    In der Dokumentenansicht können Sie nun links neben den Dateinamen jeweils die Box mit einem Häkchen, versehen um die Dokumente auszuwählen. In unserem Beispiel markieren wir 5 Dokumente und wählen unten im Action-Reiter die Aktion “Add to training data set” aus und klicken auf “Go”. Danach wählen wir die übrigen 4 Dokumente aus und wiederholen den Schritt jedoch mit der Aktion “Add to test data set”. 

  6. Retraining beginnen und Ergebnisse auswerten

    Klicken Sie HOME > Projects. Suchen Sie Ihr Projekt und markieren Sie es mit einem Häkchen. Wählen Sie im Action-Reiter “Retrain AI-Model” und klicken Sie auf Go. Ein Banner mit der Aufschrift “AI model re-training was started. This may take up to 24 hours.” erscheint. In einem kleinen Projekt wie dem vorliegenden Beispielprojekt sollte es schon nach wenigen Minuten trainiert sein. 

    Um zu überprüfen, ob das neu trainierte KI-Modell fertig ist, klicken Sie auf HOME > AI models. Dort wird dieses inklusive der quantitativen Evaluation auf Basis der Testdaten aufgelistet.

  7. Feedback geben

    Laden Sie wie in Schritt 3 beschrieben ein neues Dokument hoch. Klicken Sie auf “Smartview”, nachdem es den OCR-Prozess durchlaufen hat. Hier können Sie die von der KI produzierten Annotationen überarbeiten. Bestätigen Sie korrekte Vorschläge, indem Sie auf den grünen Haken klicken und lehnen Sie die Inkorrekten ab, indem Sie dies mit dem roten “X” löschen. Fügen Sie außerdem noch fehlende Annotationen hinzu. 

    Dieses Dokument können Sie nun wie in Schritt 5 zum Trainingsdatensatz hinzufügen, um diesen zu vergrößern und somit das KI-Modell zu verbessern oder Sie können die Informationen exportieren. Sollten Sie keine oder sehr schlechte Ergebnisse erhalten, überprüfen Sie, ob Sie in Schritt 4-6 alles richtig gemacht haben oder erhöhen Sie die Anzahl Ihrer Trainingsdokumente.

  8. Exportieren Sie Ihre Ergebnisse

    Wählen Sie per Häkchen die Dokumente aus, deren Daten Sie herunterladen möchten. Wenn Sie hier mehrere Dokumente auswählen, werden diese in einer CSV Datei zusammengefasst. Wählen Sie im Action-Reiter die Aktion “get human revised data as a csv file” und klicken Sie auf “go”. Der Download der CSV Datei sollte automatisch starten. CSV Dateien können Sie mit Tabellenprogrammen wie Microsoft Excel, Google Sheets etc verwenden.


Noch Fragen? Wir arbeiten stetig daran, unsere Anleitungen zu verbessern, damit Sie möglichst schnell und einfach Konfuzio nutzen können. Bitte lassen Sie uns wissen, wenn Fragen offen geblieben sind, damit wir Ihnen die bestmögliche Lösung anbieten können. Danke!

Foto von Brandon Montrone von Pexels

Weitere Artikel

Astloch in einem Baumstamm

Datenextraktion aus Dokumenten – How To III

Einheitliche Trainingsdaten: Theorie und Praxis Nachdem Sie die Grundlagen in Anleitung 1 und Sektionen in Anleitung 2 kennengelernt haben, sollten…

Zum Artikel
Verschiedene Gewürze auf Löffel

Klassifikation von Dokumenten mit KI für Ihre Dokumentenverwaltung

Dokumentenverwaltung online implementieren In diesem Tutorial geht es um die Klassifikation von Dokumenten mit KI. Hierbei geht es im Gegensatz…

Zum Artikel
Baumstämme gestapelt

Datenextraktion aus Dokumenten – How To II

So optimieren Sie Ihr Projekt durch die Nutzung von Templates Nachdem Sie in der ersten Anleitung die Grundlagen kennenlernen konnten,…

Zum Artikel

    Suchen Sie nach weiteren Informationen?

    Gerne können Sie uns auch eine E-Mail an [email protected] senden, uns telefonisch unter +49 6441 8994005 kontaktieren oder direkt ein Meeting buchen.
    Arrow-up