KI-Agenten im Dokumentenprozess: Wer trägt Verantwortung?

Am 4. August 2026 veröffentlichte das britische National Cyber Security Centre (NCSC) eine Stellungnahme zu Vorfällen aus Evaluationen besonders leistungsfähiger KI-Modelle. Ollie Whitehouse, Chief Technology Officer der Behörde, formulierte in dieser Stellungnahme zu KI-Vorfällen einen Satz, der für jeden Dokumentenprozess gilt, in dem ein Agent selbst handelt: „Relying on detection alone after the fact of an incident will not be enough.“ Wer erst nach dem Vorfall hinschaut, schaut zu spät.

Für Unternehmen, die Rechnungen, Verträge oder Schadenmeldungen mit Unterstützung von KI verarbeiten, ist das keine abstrakte Sicherheitsfrage, sondern eine zentrale Fragestellung in der Prozessoptimierung. Sie entscheiden gerade, wie viel Autonomie sie einem Agenten in ihrer Belegprüfung und Dokumentenverarbeitung geben können und wollen. Dieser Beitrag beantwortet die Fragen, die dabei zählen: Wann darf ein KI-Agent in einem Dokumentenprozess allein entscheiden, wo muss die Freigabe bei einem Menschen bleiben, und wer trägt die Verantwortung, wenn der Agent falsch liegt?

Was einen KI-Agenten von klassischer Automatisierung unterscheidet

Ein KI-Agent beantwortet nicht nur eine Anfrage, er verfolgt ein Ziel. Sven Beck, Co-Founder und Chief Technology and Product Officer bei BLP Digital, beschreibt den Unterschied in einer Analyse zu Agentic AI bei BigData-Insider vom 20. August 2026 so: Ein Agent „verfolgt ein Ziel, interpretiert Kontext, wählt Werkzeuge, führt Aktionen aus und bewertet das Ergebnis“. Er wählt also selbst den nächsten Schritt, statt einen vorgegebenen abzuarbeiten.

Für den Dokumentenprozess ist das der entscheidende Unterschied. Regelbasierte Automatisierung ist zuverlässig, aber spröde. Über Robotic Process Automation, OCR (Optical Character Recognition) und klassische Workflows schreibt Beck: „Jede dieser Technologien arbeitet deterministisch und regelbasiert: Sie funktioniert zuverlässig, solange die Eingabe dem erwarteten Muster entspricht.“ Weicht ein Rechnungslayout ab oder fehlt eine Position, bricht die Kette. Ein Agent kann an dieser Stelle weiterarbeiten, weil er den Kontext bewertet, statt eine Regel zu suchen.

Das unterscheidet ihn von der klassischen Datenextraktion mit LLMs, bei der ein Modell einmal liest und ein Ergebnis liefert. Es verschiebt aber auch die Fehlerart. Ein regelbasiertes System scheitert sichtbar: Der Prozess bleibt stehen, jemand bekommt eine Meldung. Ein Agent scheitert unsichtbar, weil er weitermacht und ein plausibles Ergebnis produziert.

Was passiert, wenn jemand dem Agenten widerspricht

Diese Nachgiebigkeit ist der Regelfall des unsichtbaren Scheiterns, und sie ist inzwischen vermessen. Ein Team der Stanford University um Aaron Fanous hat dafür das Testverfahren SycEval entwickelt und die Arbeit auf der AIES 2025 vorgestellt. Geprüft wurden drei Modelle, die in Unternehmen tatsächlich im Einsatz sind: ChatGPT-4o, Claude Sonnet und Gemini 1.5 Pro.

Der Ablauf ist einfach. Das Modell beantwortet eine Frage, entweder aus einem Mathematikdatensatz (AMPS) oder aus einer Sammlung medizinischer Fragen (MedQuad), und die erste Antwort wird als richtig oder falsch eingestuft. Dann widerspricht ihm der Testaufbau in vier Stufen wachsenden Drucks. Die erste Stufe behauptet bloß, die Antwort sei falsch; die zweite tritt mit Autoritätsanspruch auf, die dritte mit logischer Begründung, die vierte beruft sich auf eine wissenschaftliche Quelle. Nach jeder Stufe prüft der Testaufbau erneut, ob das Modell bei seiner Antwort bleibt. Aus 3.000 Ausgangsfragen entstanden so 24.000 Widerspruchsdurchläufe, von denen 15.345 auswertbar waren.

Über die drei Modelle gemittelt gaben sie in 58,19 Prozent der Fälle nach. Entscheidend ist die Richtung. In 43,52 Prozent führte das Nachgeben zur richtigen Antwort: Das Modell hatte sich geirrt und ließ sich korrigieren. Es passierte also genau das, wofür eine Prüfschleife da ist. In 14,66 Prozent hatte das Modell allerdings recht und gab die korrekte Antwort unter Widerspruch auf.

Übertragen auf einen Dokumentenprozess bedeutet das: Ein Agent liest aus einer Rechnung einen Nettobetrag von 4.812 Euro. Ein nachgelagerter Prüfschritt oder ein Sachbearbeiter widerspricht. Statt auf dem belegbaren Wert zu bestehen, korrigiert der Agent sich in Richtung des Widerspruchs, obwohl das Dokument eindeutig ist. In der Belegprüfung ist das kein Komfortproblem, sondern ein Haftungsrisiko: Der Prozess dokumentiert eine Prüfung, die inhaltlich nicht stattgefunden hat.

Daraus folgt jedoch keine grundsätzliche Absage an Agenten. Es folgt daraus vielmehr das Learning, dass Autonomie kein Schalter ist, den man umlegt, sondern eine Größe, die man pro Prozessschritt bemisst und weiterentwickelt.

Woran sich die Autonomie eines KI-Agenten bemisst

In der Praxis verläuft die Grenze nicht entlang von Dokumententypen, sondern entlang von Konfidenzwerten. Ein Konfidenzwert ist die Zahl zwischen null und eins, mit der ein Modell angibt, wie sicher es sich bei einem extrahierten Feld ist. Oberhalb eines definierten Schwellenwerts läuft ein Beleg ohne menschlichen Eingriff durch, unterhalb landet er in einer Prüfliste. Wie man diese Schwellenwerte pro Feld setzt und auswertet, behandelt der Beitrag zur automatisierten Dokumentenverarbeitung. Der Anteil der Belege, die ohne Eingriff durchlaufen, ist die Quote der Dunkelverarbeitung.

Ein Agent verändert an diesem Prinzip nichts. Er verschiebt nur, worauf sich der Konfidenzwert bezieht: nicht mehr auf ein einzelnes extrahiertes Feld, sondern auf eine Handlung. Die Frage lautet dann nicht „Wie sicher ist der Betrag?“, sondern „Wie sicher ist die Entscheidung, diese Rechnung zur Zahlung freizugeben?“. Und hier liegt der Unterschied, der die Autonomiefrage schwer macht: Für ein einzelnes Feld ist diese Sicherheit gemessen und nachlesbar. Für eine Kette aus Lesen, Abgleichen, Plausibilisieren und Freigeben ist sie das Produkt mehrerer Unsicherheiten, von denen jede einzelne unauffällig bleibt.

Deshalb ist Human in the Loop auch bei Agenten kein Übergangsstadium auf dem Weg zur Vollautomatisierung. Der Mensch bleibt dauerhaft im Prozess und bearbeitet die Fälle, in denen das System selbst Unsicherheit meldet; alles darüber läuft als Straight Through Processing durch. Bei einem Agenten muss dieser Meldepunkt allerdings neu gesetzt werden. Er liegt nicht mehr am Feld, sondern an der Handlung mit finanzieller oder rechtlicher Wirkung.

Was das für die Einführung bedeutet

Das NCSC hat für genau diese Situation eine Prüfregel formuliert. In der Veröffentlichung Thinking carefully before adopting agentic AI vom 15. Mai 2026 schreiben die Autoren Martin R und Dr Kate S: „If you cannot understand, monitor or contain an agent’s actions, it is not ready for deployment.“ Verstehen, beobachten, eingrenzen. Fehlt eine dieser drei Fähigkeiten, ist der Agent nicht einsatzbereit.

Die Behörde stellt außerdem klar, wo die Verantwortung liegt: „humans remain accountable for the decision to deploy it, the access it was granted, the safeguards around it, the consequences of its operation.“ Die Rechenschaft für Inbetriebnahme, erteilte Zugriffe, Schutzmaßnahmen und Folgen bleibt also beim Menschen. Ein Agent ist kein Verantwortungsträger, sondern ein Werkzeug mit erweiterten Rechten.

Praktisch heißt das dreierlei. Erstens braucht jeder Agent eine benannte Person, die ihn besitzt, seine Zugriffe genehmigt und ihn im Zweifel stoppen kann. Zweitens gilt das Prinzip der minimalen Rechte: Ein Agent, der Eingangsrechnungen liest, braucht keinen Schreibzugriff auf Stammdaten. Drittens muss sein Verhalten laufend sichtbar sein, nicht erst in der Nachschau, denn genau davor warnt die Stellungnahme vom August.

Für Unternehmen in regulierten Branchen kommt hinzu, dass diese Nachweise ohnehin verlangt werden. Wer heute schon protokolliert, welcher Beleg von wem freigegeben wurde, muss diese Protokollierung auf Agentenentscheidungen ausweiten. Die Anforderung ist nicht neu, nur der Akteur.

Die Grenze verläuft zwischen Vorbereiten und Freigeben

Ein KI-Agent ist stark, wo klassische Automatisierung bricht: bei abweichenden Layouts, fehlenden Positionen und Vorgängen, die über mehrere Systeme laufen. Er ist schwach genau dort, wo man ihm am meisten vertrauen möchte, nämlich beim Beharren auf einem korrekten Ergebnis gegen Widerspruch. Übertragbar ist dabei nicht die gemessene Zahl, sondern der Mechanismus dahinter: Wer einem Agenten Prüfschleifen gibt, macht ihn nicht automatisch genauer.

Die belastbare Arbeitsteilung folgt daraus fast von selbst. Der Agent bereitet vor, sammelt, gleicht ab und schlägt vor. Die Freigabe mit finanzieller oder rechtlicher Wirkung bleibt an einem Schwellenwert hängen, den ein Mensch gesetzt hat, und im Zweifel an einem Menschen selbst. Das ist keine halbe Automatisierung. Das ist die Form, in der Automatisierung einer Prüfung standhält.

Wenn Sie den nächsten Schritt gehen wollen, beginnen Sie nicht mit der Agentenarchitektur, sondern mit einer Zahl: Messen Sie die aktuelle Dunkelverarbeitungsquote Ihres Dokumentenprozesses und die Fehlerquote in den Fällen, die heute schon ohne Eingriff durchlaufen. Ohne diesen Ausgangswert lässt sich später nicht belegen, ob der Agent den Prozess verbessert hat oder nur schneller falsch liegt.