Erklärbare KI: Entscheidungen verständlich gestalten

Seit jeher versucht der Mensch, seine Zukunft zu verbessern, indem er sinnvolle Entscheidungen trifft. Dabei wendet er verschiedene Regeln und Grundsätze an, die er aus seiner Erfahrung ableitet. Im Zuge des technologischen, gesellschaftlichen und kulturellen Fortschritts sind die Entscheidungen jedoch immer komplexer geworden.

Oft umfassen sie bedeutend mehr Parameter, als Menschen in ihrer subjektiven Wahrnehmung berücksichtigen können. Aus diesem Grund ist man bemüht, lernende Systeme zu entwickeln, die in großen Datenmengen eigenständig die relevanten Regeln erkennen. Man spricht dabei von Machine Learning, dem wichtigsten Bereich von Künstlicher Intelligenz (KI).

Es kann passieren, dass die Entscheidung oder Prognose eines KI-Systems sich von den Erwartungen deutlich unterscheidet. In diesen Fällen sind Teile der angewandten Regeln unbekannt. Aber erst, wenn damit bedeutende Konsequenzen verbunden sind, wird es notwendig, diese unbekannten Dimensionen ans Licht zu bringen. Erklärbare KI heißt der Ansatz, der sich dieses Ziel zur Aufgabe macht. Das schafft Vertrauen in kritische Entscheidungen und hilft zugleich, die menschliche Beurteilung der Sachlage zu verbessern.

Was bedeutet erklärbare KI (XAI)?

Erklärbare Künstliche Intelligenz umfasst Methoden und Ansätze, die darauf abzielen, KI-Entscheidungen besser zu verstehen. Dabei steht die Frage im Vordergrund, welche unbekannten Einflussfaktoren zu einem bestimmten Ergebnis geführt haben. Weil die Modelle zuletzt stark an Komplexität hinzugewonnen haben und im Bereich Machine und Deep Learning oft einer vielzitierten “Black-Box” ähneln, ist es kein leichtes Unterfangen, die notwendigen Erklärungen zu finden. Ein typisches Beispiel sind Large Language Models (LLMs), bei denen selbst die Entwickler oft nicht mit Bestimmtheit sagen können, warum ihr Modell einen vorliegenden Output generiert hat.

Erklärbare KI ermöglicht verständliche Antworten auf die Frage des “Warum?”

Besonders, um mit möglichen Verzerrungen oder erwarteten Effekten kritischer KI-Entscheidungen adäquat umgehen zu können, investieren Entwickler viel Zeit und Mühen in die Erklärbarkeit. Das ist vor allem dann der Fall, wenn die Auswirkungen wichtige Entscheidungsprozesse in Unternehmen, das Einhalten von Gesetzen und Richtlinien sowie das allgemeine Vertrauen in Künstliche Intelligenz betreffen. Entsprechende Maßnahmen können den gesamten Verlauf der Projekte von der Erstellung und Bearbeitung der Datenbasis bis zur Interpretation der Ergebnisse zum Tragen kommen. Man unterscheidet zwischen Ad-hoc-Methoden, die bereits bei der Konzeption des Models berücksichtigt werden, und Post-hoc-Methoden unter späterer Hinzunahme ergänzender Techniken und Algorithmen.

Warum ist Erklärbarkeit wichtig?

Eines der größten Ziele bei der Entwicklung von Künstlicher Intelligenz ist es, eine optimale Vereinbarkeit der Kompetenzen von Menschen und Technologie zu erwirken. Allgemein sehen sich die Gesellschaft und viele Unternehmen dabei noch in einer Findungsphase, während der Anteil der Prozesse, der auf fortschrittliche Algorithmen entfällt, weiter anwächst. Allerdings betrifft das inzwischen auch viele sensible Vorgänge, bei denen man eine geringere menschliche Kontrolle durch Automatisierung nur unter strengen Auflagen zulässt. Erklärbare KI ist dabei zu einem Schlüsselelement geworden, das vor allem auf folgende Aspekte einen positiven Effekt erzielt:

Transparenz

Bei vielen Prozessen kommt es auf die Nachvollziehbarkeit von Zwischenständen an. So können Fehler und Abweichungen rechtzeitig erkannt werden und es ist lediglich ein Eingreifen in den betroffenen Arbeitsschritten notwendig, ohne dass es zu weiteren Konsequenzen kommt. Erklärbare KI trägt dazu bei, dass diese Form der Transparenz auch bei einer Automatisierung vorhanden ist. Das hat zudem einen ressourcenschonenden Nebeneffekt, weil bei Fehlern nicht unbedingt der gesamte Prozess wiederholt werden muss. Stattdessen kann eine zielgerichtete Wartung erfolgen, was zudem die Robustheit des Systems erhöht. Transparenz stärkt somit auch das Vertrauen und erleichtert Menschen den Abgleich mit individuellen oder allgemeinen Werten und Handlungsprinzipien.

Transparenz und Erklärbarkeit müssen jedoch nicht zwingend in Verbindung zueinander stehen: Ein System kann zwar transparent, aber dennoch so komplex aufgebaut sein, dass die Gründe für eine Entscheidung schwer vermittelbar bleiben.

Compliance

Die Einhaltung von bestimmten Werten fällt im Kontext von Unternehmen heute zumeist unter den Begriff Compliance. Sie erfolgt oft in jeder Phase der menschlichen Entscheidungsfindung – nicht selten auch unbewusst. Findet das Ganze maschinell statt, entbindet das jedoch nicht von diesen Werten, vor allem nicht, wenn es sich um rechtliche Vorschriften handelt. Könnte ein Prozess in Konflikt mit diesen Werten geraten, besteht eine Rechenschaftspflicht und Verantwortlichkeit gegenüber dem Gesetzgeber oder auch unternehmerischen Autoritäten. Die Eigenschaften erklärbarer KI ermöglichen eine Auditierbarkeit, das heißt Aufzeichnungen und Einblicke der Prozesse, auf die sich später berufen werden kann.

Fairness

Ein wesentliches Risiko beim Einsatz von KI besteht in verzerrten Prognosen, wenn die Trainingsdaten nicht repräsentativ genug sind. In solchen Fällen kann es vorkommen, dass sich die Beschaffenheit der Produktionsdaten zu stark von den Trainingsdaten unterscheidet. Bei personenbezogenen Entscheidungen wie einer Kreditvergabe können sogar diskriminierende Verzerrungen in Bezug auf Geschlecht oder Ethnie reproduziert werden. Ist diese Möglichkeit vorhanden, sind Erklärungen wichtig, um das Ergebnis der Algorithmen jederzeit anfechten und gegebenenfalls berichtigen zu können. Ohne die Methoden erklärbarer KI, bleibt derart falsches Verhalten der Systeme oft unbekannt.

Methoden erklärbarer KI

Es gibt unterschiedlichste Lösungswege, um erklärbare Künstliche Intelligenz (XAI) zu erreichen. Die konkrete Zielsetzung kann zum einen die Rückverfolgbarkeit der Entscheidungsprozesse vorsehen und die Modellgenauigkeit untersuchen – das betrifft also die technischen Anforderungen. Andererseits zielt das Verstehen der Ergebnisse auf den menschlichen Zugang dazu ab. Die konkreten Methoden lassen sich ebenfalls in zwei Paradigmen gliedern:

Ante-hoc-Erklärungen

Für viele Anwendungsfälle in Unternehmen ist es gar nicht notwendig, komplexe Black-Box-Modelle aufzusetzen. Im Gegenteil: Passen diese nicht zum Use Case, ist geringere Präzision die Folge und man verliert zugleich den unkomplizierten Zugang zu den benötigten Erklärungen. Stattdessen gibt es viele klassische Machine Learning Modelle, die einfache Probleme lösen können und dabei durch ihre Beschaffenheit per se gut erklärbar sind. Man könnte auch von White-Box-Modellen sprechen. Das betrifft unter anderem:

Regressionsanalyse

Ob lineare, multiple oder logistische Regression: All diese Methoden untersuchen Zusammenhänge zwischen Variablen. In vielen Fällen lassen sich dadurch konkrete, einzelne Entscheidungen modellieren, ebenso wie die Wahrscheinlichkeit, dass ein bestimmtes Ereignis eintritt oder nicht. Hinzu kommen weitere Koeffizienten wie etwa die Konfidenz einer Prognose. Man erhält also nicht nur ein blankes Ergebnis, sondern auch weitere Informationen zu den jeweiligen Prognosen, die zudem für übereinstimmende Eingaben immer gleich bleiben.

Decision Trees

Diese Modelle bestechen durch ihre visuelle Darstellbarkeit in Form eines Baumdiagramms, das den gesamten Entscheidungsprozess abbildet. Jede Abzweigung folgt einer Wenn-dann-Logik, die für Menschen leicht nachvollziehbar ist. Bei komplexen Verläufen lassen sich die Einzelschritte isoliert betrachten und verstehen, was zugleich eine Fehlersuche erleichtert. Zudem können die dabei angewendeten Regeln extrahiert und untersucht werden. Decision Trees sind ein gutes Beispiel, wie Erklärbarkeit durch Transparenz und Einfachheit entsteht.

Post-hoc-Erklärungen

Schwierig wird es vor allem dann, wenn der Einblick in die inneren Entscheidungsinstanzen der Modelle fehlt. In diesen Fällen kommen post-hoc – also nach dem Modelltraining – ergänzende Techniken zum Einsatz, durch die man etwas über die Herleitung der Ergebnisse erfahren möchte. Hier spielen sich die meisten Publikationen und Projekte ab, da vor allem die zuletzt intensiv genutzten Deep Learning Modelle derart elaborierter Herangehensweisen bedürfen. Dabei handelt es sich oft um modell-agnostische Methoden, das heißt, sie können unabhängig von der zugrundeliegenden Architektur angewandt werden.

LIME

Local Interpretable Model-agnostic Explanations ist die wohl prominenteste Technik und wurde 2016 eingeführt, um sich Black-Box-Modellen über ein lokales, leichter erklärbares Modell anzunähern. Um etwas über die unbekannte Entscheidungsfunktion des zu erklärenden Modells zu erfahren, zieht LIME Stichproben um den zu erklärenden Datenpunkt herum. Diese werden in das originale Modell gespeist, um die Auswirkungen leichter Veränderungen der Merkmale (Features) auf das Ergebnis festzustellen. Das wird solange wiederholt, bis sich aus den entstehenden Daten ein lokales, erklärbares Modell um die untersuchte Instanz herum bilden lässt. Einzelne Prognosen werden dadurch nachvollziehbar.

SHAP

Shapley Additive Explanations nähert sich individuellen Prognosen über sogenannte Shapley-Werte an. Diese entsprechen einem gängigen Konzept der kooperativen Spieltheorie und geben in Abhängigkeit von einer Koalitionsfunktion “wünschenswerte” bzw. positiv oder normativ interpretierte Zielwerte an. Der Ausgang des “Spiels” – in diesem Fall die Modellprognose – hängt von den teilnehmenden Spielern ab, die hier als Features (Merkmale) aufzufassen sind. Der Shapley-Wert misst dabei den durchschnittlichen marginalen Beitrag eines Features über alle möglichen Kombinationen hinweg. Auf diese Weise lässt sich mehr darüber erfahren, welche Zusammensetzungen und welche Einflussstärken auf das zu erklärende Ergebnis einwirken.

Grad-CAM

Gradient-weighted Class Activation Mapping ist eine der wichtigsten Visualisierungstechniken und überzeugt im Vergleich zu SHAP vor allem durch ihre gute Anwendbarkeit auf Convolutional Neural Networks (CNNs). Dementsprechend ist sie auch für Erklärungen im Bereich der Bildverarbeitung geeignet. Grundlage ist die Betrachtung jeder Position in der letzten Faltungsschicht (Layer) des tiefen Netzwerks, indem jeweils Linearkombinationen der Aktivierungen aus der vorherigen Schicht berechnet werden. Eine aus den Gewichtungen der Loss-Funktion-Gradienten zusammengesetzte visuelle Karte zeigt für das Endergebnis bedeutsame Regionen in der Verteilung der Aktivierungen auf – ähnlich einer Heatmap. Diese gibt Auskunft über das Zustandekommen von Bildklassifikationen.

Erklärbarkeit für Large Language Models

Zu den relevantesten Modellen zählen inzwischen ohne Zweifel Large Language Models, mit denen unzählige KI-Systeme sowohl für den geschäftlichen als auch privaten Gebrauch bestückt sind – man denke an ChatGPT. Es handelt sich um besonders vielschichtige neuronale Netze auf Basis der Transformer-Architektur. Wegen dieser komplexen Beschaffenheit sind ihre einzelnen Sprachausgaben alles andere als leicht erklärbar – klassische Techniken wie SHAP geraten beispielsweise schon wegen der notwendigen Rechenleistung an ihre Grenzen. Da die Bedeutsamkeit und Einflussnahme von LLMs jedoch sehr hoch sind, wird das Problem logischerweise Gegenstand wissenschaftlicher Publikationen:

Zhao et alt. (2023) haben eine ganze Taxonomie von Erklärbarkeitstechniken für LLMs entwickelt. Für die Wahl der jeweiligen Methode sind zunächst die zwei Trainings-Paradigmen – Fine-Tuning oder Prompting – maßgeblich. Die lokal und global anwendbaren Prinzipien bedienen sich zu großen Teilen bereits bekannter Herangehensweisen, nehmen aber notwendigerweise Rücksicht auf die Eigenschaften und besondere Verhaltensweisen von LLMs, insbesondere Halluzinationen.

Eine besonders gängige Methode ist die Analyse der Aktivierungen, die von den Attention-Modulen der Transformer ausgehen. Diese Form der Interpretation wird in diversen Publikationen diskutiert, wobei unter anderem die Frage im Raum steht, ob es sich dabei um erklärbare KI im eigentlichen Sinne handelt.

Inzwischen stehen auch verschiedene open-source Tools auf GitHub zur Verfügung, um LLMs zu interpretieren oder Wortzusammenhänge zu visualisieren:

• The Learning Interpretability Tool (LIT)
• Comgra
• Phoenix
• BertViz

Anwendungsbereiche

In den vergangenen Jahren hat sich XAI von einem Nischenthema zu einem nicht mehr wegzudenkenden Teil der Technologie entwickelt. Es fällt auf, dass die relevantesten Techniken (LIME, SHAP, Grad-CAM) allesamt um die Jahre 2016-2017 entwickelt wurden. In dieser Zeit fand eine sprunghafte Intensivierung der Nutzung und Implementierung in die Wirtschaft statt. Das Risiko bzw. das Schadenspotenzial von KI-Fehlern stieg an, die Bedeutsamkeit von Vertrauen und Transparenz wuchs, was mutmaßlich Anstoß für die Entwicklung der genannten Techniken gegeben hat.

Es ist jedoch wichtig zu verstehen, dass erklärbare KI lediglich für sensible, eben risikobehaftete Entscheidungen und Prozesse notwendig ist. Dem kann sich probabilistisch genähert werden:

KI-Risiko = (Fehlerwahrscheinlichkeit) x (potenzieller Effekt)

Somit überrascht es nicht, dass die wichtigsten Anwendungsbereiche erklärbarer KI vor allem jene sind, die Entscheidungen mit direktem Einfluss auf menschliches Leben umfassen:

Medizin

Immer häufiger kommen KI-Systeme zum Einsatz, um auf Basis der sehr umfangreichen medizinischen Datenerfassung Krankheitsprognosen, Risikoprofile und Diagnostik zu optimieren. In solchen Fragen darf so wenig wie möglich dem Zufall überlassen sein. Die finale Entscheidung muss aus ethischen Gründen bei Menschen liegen – in vielen Fällen Ärzten, die die Verantwortung für ihre Patienten und deren Behandlung tragen. Nur nachvollziehbare KI-Ergebnisse sind dabei als Grundlage geeignet.

Finanzwesen

Der Finanzsektor ist Nährboden für unzählige sensible Prozesse, die auf Finanzdaten und personenbezogenen Daten basieren. Erklärbare KI wird für Betrugserkennung, Risikomanagement und insbesondere die Bewertung der Kreditwürdigkeit eingesetzt. Dabei kommt es besonders auf Fairness und Transparenz an, die nur durch entsprechende Nachvollziehbarkeit möglich ist. Zudem müssen Banken sich bereits auf rechtlich bindende Vorschriften durch den AI Act gefasst machen.

Justiz

Auch hier dienen die Vorzüge erklärbarer KI dazu, mehr über die Entscheidungsgrundlage bei der Risikobewertung zu erfahren, die unter anderem Straftatprognosen betrifft. Hinzu kommen DNA-Analysen bei der Täterermittlung, Effizienzsteigerung bei der Fallbearbeitung und vieles mehr. Da die Prozessergebnisse in hohem Maße Einfluss auf Menschen nehmen, ist es wichtig, zu hinterfragen und sicherzustellen, dass keine diskriminierenden Verzerrungen reproduziert werden oder andere schwerwiegende Fehler geschehen.

Intelligente Dokumentenverarbeitung ist ein Anwendungsbereich, der in jeder Branche und bei Prozessen jeder Sensibilität eine Rolle spielt. Konfuzio ist dabei der Partner an Ihrer Seite und ermöglicht datenbasierte Einblicke genau dort, wo sie sinnvoll sind – bei voller Rechtssicherheit.

Fazit

Indem erklärbare KI einen menschlichen Zugang zu komplexen algorithmenbasierten Entscheidungen und Prognosen schafft, ist der Ansatz zu einem wertvollen Teil der Technologieentwicklung geworden. Dessen Bedeutsamkeit erfuhr in den vergangenen Jahren analog zur intensivierten KI-Nutzung einen rasanten Anstieg. Seit 2016 wurde dabei ein Ausmaß erreicht, das völlig neue Fragen nach Verantwortung und Ethik im Zusammenhang mit KI aufwirft. Schließlich betreffen die Auswirkungen inzwischen weite Teile von Wirtschaft und Gesellschaft.

In der Folge wurden diverse Publikationen und Techniken wie LIME oder SHAP entwickelt, um selbst komplexe Black-box-Modelle besser nachvollziehen und entsprechendes Vertrauen aufbauen zu können. Die Notwendigkeit von XAI hängt dabei stark von der jeweiligen Sensibilität und Tragweite eines Prozesses ab. In jedem Fall ist es unverzichtbar, sie im einzelnen sorgfältig zu prüfen und stets im Sinne der betroffenen Menschen zu handeln. Das gilt heute wie auch bei allen künftigen Entwicklungen, die wir im Zusammenhang mit dieser Technologie noch durchlaufen werden.

Sorgen Sie sich um eine achtsame Automatisierung sensibler Geschäftsprozesse oder möchten Sie Künstliche Intelligenz transparent und nachvollziehbar einsetzen? Nehmen Sie direkt Kontakt zu uns auf. Unsere Experten beraten Sie gerne.