IA explicable : rendre les décisions compréhensibles

Depuis toujours, l'homme cherche à améliorer son avenir en prenant des décisions judicieuses. Pour ce faire, il applique différentes règles et principes qu'il déduit de son expérience. Cependant, au fur et à mesure des progrès technologiques, sociaux et culturels, les décisions sont devenues de plus en plus complexes.

Souvent, elles comprennent beaucoup plus de paramètres que les personnes ne peuvent en tenir compte dans leur perception subjective. C'est pourquoi on s'efforce de développer des systèmes d'apprentissage qui reconnaissent de manière autonome les règles pertinentes dans de grandes quantités de données. On parle alors de machine learning, le domaine le plus important de l'intelligence artificielle (IA).

Il peut arriver que la décision ou la prévision d'un système d'IA diffère sensiblement des attentes. Dans ce cas, certaines parties des règles appliquées sont inconnues. Mais ce n'est que lorsque des conséquences importantes y sont liées qu'il devient nécessaire de mettre en lumière ces dimensions inconnues. L'IA explicable est l'approche qui se donne cet objectif. Cela permet d'instaurer la confiance dans les décisions critiques et contribue en même temps à améliorer l'évaluation humaine des faits.

Qu'est-ce que l'intelligence artificielle explicable (XAI) ?

L'intelligence artificielle explicable comprend des méthodes et des approches visant à mieux comprendre les décisions prises par l'IA. La question centrale est de savoir quels facteurs d'influence inconnus ont conduit à un certain résultat. Comme les modèles ont récemment gagné en complexité et ressemblent souvent, dans le domaine du Machine et Deep Learning, à une "boîte noire" souvent citée, trouver les explications nécessaires n'est pas une mince affaire. Un exemple typique est celui des Large Language Models (LLM), pour lesquels même les développeurs ne peuvent souvent pas dire avec certitude pourquoi leur modèle a généré une sortie donnée.

L'IA explicable permet de donner des réponses compréhensibles à la question "pourquoi ?".

Les développeurs investissent beaucoup de temps et d'efforts dans l'explicabilité, en particulier pour pouvoir traiter de manière adéquate les éventuels biais ou effets attendus des décisions critiques de l'IA. C'est surtout le cas lorsque les effets concernent des processus décisionnels importants dans les entreprises, le respect des lois et des directives ainsi que la confiance générale dans l'IA. Les mesures correspondantes peuvent intervenir tout au long des projets, de la création et du traitement de la base de données à l'interprétation des résultats. On distingue entre Méthodes ad hocles critères de sélection, qui sont pris en compte dès la conception du modèle, et Méthodes post-hoc en ajoutant ultérieurement des techniques et des algorithmes complémentaires.

Pourquoi l'explicabilité est-elle importante ?

L'un des plus grands objectifs du développement de l'intelligence artificielle est de parvenir à une conciliation optimale des Compétences des personnes et de la technologie de l'entreprise. De manière générale, la société et de nombreuses entreprises se trouvent encore dans une phase de découverte, tandis que la part des processus relevant d'algorithmes avancés ne cesse de croître. Toutefois, cela concerne également de nombreux sensible Des processus pour lesquels on n'autorise un contrôle humain moindre par l'automatisation que dans des conditions strictes. L'IA explicable est devenue un élément clé qui a un effet positif sur les aspects suivants :

Transparence

Dans de nombreux processus, la traçabilité des états intermédiaires est essentielle. Ainsi, les erreurs et les écarts peuvent être détectés à temps et il suffit d'intervenir dans les étapes de travail concernées sans que cela n'ait d'autres conséquences. L'IA explicable contribue à ce que cette forme de transparence soit également présente lors d'une automatisation. Cela a en outre un effet secondaire qui préserve les ressources, car en cas d'erreur, il n'est pas nécessaire de répéter l'ensemble du processus. Au lieu de cela, une maintenance ciblée peut être effectuée, ce qui augmente en outre la robustesse du système. La transparence renforce donc également la confiance et facilite la comparaison des personnes avec des valeurs et des principes d'action individuels ou généraux.

Toutefois, la transparence et l'explicabilité ne sont pas nécessairement liées : Un système peut certes être transparent, mais sa structure peut être si complexe que les raisons d'une décision restent difficiles à expliquer.

Conformité

Dans le contexte des entreprises, le respect de certaines valeurs relève aujourd'hui le plus souvent de la notion de conformité. Elle intervient souvent à chaque phase de la prise de décision humaine, souvent même inconsciemment. Si le processus est automatisé, cela ne dispense pas de respecter ces valeurs, surtout s'il s'agit de dispositions légales. Si un processus peut entrer en conflit avec ces valeurs, il existe une obligation de rendre compte et une responsabilité vis-à-vis du législateur ou des autorités de l'entreprise. Les caractéristiques de l'IA explicable permettent l'auditabilité, c'est-à-dire l'enregistrement et l'aperçu des processus auxquels il est possible de se référer ultérieurement.

Équité

L'un des principaux risques liés à l'utilisation de l'IA réside dans les prévisions faussées lorsque les données d'apprentissage ne sont pas suffisamment représentatives. Dans de tels cas, il peut arriver que la nature des données de production diffère trop des données d'apprentissage. Dans le cas de décisions liées aux personnes, comme l'octroi d'un crédit, il est même possible de reproduire des biais discriminatoires liés au sexe ou à l'ethnie. Si cette possibilité existe, les explications sont importantes pour pouvoir contester à tout moment le résultat des algorithmes et le corriger si nécessaire. Sans les méthodes d'IA explicables, de tels comportements erronés des systèmes restent souvent inconnus.

Méthodes d'IA explicable

Il existe les solutions les plus diverses pour atteindre l'intelligence artificielle explicable (XAI). D'une part, l'objectif concret peut prévoir la traçabilité des processus de décision et étudier la précision du modèle - cela concerne donc les exigences techniques. D'autre part, la compréhension des résultats vise l'accès humain à ceux-ci. Les méthodes concrètes peuvent également être divisées en deux paradigmes :

Déclarations ante hoc

Pour de nombreux cas d'application dans les entreprises, il n'est pas du tout nécessaire de mettre en place des modèles complexes de type "boîte noire". Au contraire : si ceux-ci ne correspondent pas au cas d'utilisation, la précision est moindre et on perd en même temps l'accès simple aux explications nécessaires. Au lieu de cela, il existe de nombreux modèles classiques d'apprentissage automatique qui peuvent résoudre des problèmes simples et qui sont, de par leur nature, faciles à expliquer. On pourrait aussi parler de Modèles de boîtes blanches s'exprimer sur le sujet. Cela concerne entre autres

Analyse de régression

Qu'il s'agisse de régression linéaire, multiple ou logistique, toutes ces méthodes étudient les relations entre les variables. Dans de nombreux cas, elles permettent de modéliser des décisions individuelles concrètes, ainsi que la probabilité qu'un événement donné se produise ou non. A cela s'ajoutent d'autres coefficients, tels que le degré de confiance d'une prévision. On n'obtient donc pas seulement un résultat brut, mais aussi d'autres informations sur les prévisions en question, qui restent en outre toujours les mêmes pour des entrées concordantes.

Arbres de décision

Ces modèles séduisent par leur représentation visuelle sous la forme d'un diagramme en arbre qui illustre l'ensemble du processus décisionnel. Chaque bifurcation suit une logique de "si" et de "alors" qui est facilement compréhensible pour les humains. Dans le cas de processus complexes, les différentes étapes peuvent être considérées et comprises isolément, ce qui facilite également la recherche d'erreurs. De plus, les règles appliquées peuvent être extraites et examinées. Les arbres de décision sont un bon exemple de la manière dont l'explicabilité peut être obtenue par le biais de l'apprentissage. Transparence et Simplicité est créée.

Déclarations post-hoc

Les choses se compliquent surtout lorsque l'on n'a pas de vue sur les instances décisionnelles internes des modèles. Dans ce cas, les post-hoc - c'est-à-dire après l'apprentissage du modèle, on utilise des techniques complémentaires qui permettent d'en savoir plus sur la dérivation des résultats. C'est ici que se déroulent la plupart des publications et des projets, car les modèles d'apprentissage profond, qui ont été utilisés de manière intensive ces derniers temps, nécessitent des approches aussi élaborées. Il s'agit souvent de méthodes d'agnosticisme de modèle, c'est-à-dire qu'elles peuvent être appliquées indépendamment de l'architecture sous-jacente.

LIME

Local Interpretable Model-agnostic Explanations est probablement la technique la plus en vue et a été introduite en 2016 afin d'approcher les modèles de boîtes noires via un modèle local plus facile à expliquer. Pour en savoir plus sur la fonction de décision inconnue du modèle à expliquer, LIME prélève des échantillons autour du point de données à expliquer. Ceux-ci sont introduits dans le modèle original afin de déterminer l'impact de légères modifications des caractéristiques (features) sur le résultat. Cette opération est répétée jusqu'à ce que les données résultantes permettent de former un modèle local explicable autour de l'instance étudiée. Les prévisions individuelles deviennent ainsi compréhensibles.

SHAP

Shapley Additive Explanations se rapproche des prévisions individuelles par le biais de ce que l'on appelle les valeurs de Shapley. Celles-ci correspondent à un concept courant de la théorie des jeux coopératifs et indiquent, en fonction d'une fonction de coalition, des valeurs cibles "souhaitables" ou interprétées de manière positive ou normative. L'issue du "jeu" - dans ce cas, la prévision du modèle - dépend des joueurs participants, qui doivent être considérés ici comme des caractéristiques (features). La valeur de Shapley mesure la contribution marginale moyenne d'une caractéristique dans toutes les combinaisons possibles. Cela permet d'en savoir plus sur les compositions et les niveaux d'influence qui influent sur le résultat à expliquer.

Grad-CAM

Le Gradient-weighted Class Activation Mapping est l'une des principales techniques de visualisation et convainc surtout, par rapport au SHAP, par sa bonne applicabilité aux réseaux neuronaux convolutionnels (CNN). En conséquence, elle est également adaptée aux explications dans le domaine du traitement d'images. La base est l'observation de chaque position dans la dernière couche de convolution (layer) du réseau profond, en calculant à chaque fois des combinaisons linéaires des activations de la couche précédente. Une carte visuelle composée des pondérations des gradients de la fonction de perte montre les régions significatives pour le résultat final dans la répartition des activations - comme une carte de chaleur. Elle donne des informations sur l'origine des classifications d'images.

Explicabilité pour les grands modèles linguistiques

Parmi les modèles les plus pertinents, on compte sans aucun doute les Large Language Models, qui équipent d'innombrables systèmes d'IA à usage tant professionnel que privé - on pense notamment à ChatGPT. Il s'agit de réseaux neuronaux particulièrement complexes basés sur l'architecture Transformer. En raison de cette complexité, leurs différentes sorties vocales sont tout sauf faciles à expliquer - les techniques classiques comme SHAP atteignent par exemple leurs limites, ne serait-ce qu'en raison de la puissance de calcul nécessaire. Cependant, l'importance et l'influence des LLM étant très élevées, le problème fait logiquement l'objet de publications scientifiques :

Zhao et alt. (2023) ont développé toute une taxonomie de techniques d'explicabilité pour les LLM. Les deux paradigmes de formation - Fine-Tuning ou Prompting - sont tout d'abord déterminants pour le choix de chaque méthode. Ces principes, applicables localement et globalement, utilisent en grande partie des approches déjà connues, mais tiennent nécessairement compte des caractéristiques et des comportements particuliers des LLM, notamment des hallucinations.

Une méthode particulièrement courante consiste à analyser les activations qui émanent des modules d'attention des transformateurs. Cette forme d'interprétation est discutée dans diverses publications, avec notamment la question suivante, s'il s'agit d'une IA explicable au sens propre du terme.

Entre-temps, différents outils open-source sont également disponibles sur GitHub pour interpréter les LLM ou visualiser les relations entre les mots :

• L'outil d'interprétation de l'apprentissage (LIT)
• Comgra
• Phoenix
• BertViz

Domaines d'application

Au cours des dernières années, XAI est passé d'un sujet de niche à un élément incontournable de la technologie. Il est frappant de constater que les techniques les plus pertinentes (LIME, SHAP, Grad-CAM) ont toutes été développées autour des années 2016-2017. Durant cette période, l'utilisation et la mise en œuvre dans l'économie ont connu une intensification fulgurante. Le risque et le potentiel de dommages liés aux erreurs de l'IA ont augmenté, l'importance de l'IA a été renforcée. Confiance et transparence Ce qui a probablement donné l'impulsion au développement des techniques mentionnées.

Il est toutefois important de comprendre que l'IA explicable n'est nécessaire que pour les décisions et les processus sensibles, c'est-à-dire ceux qui comportent des risques. On peut s'en approcher de manière probabiliste :

Risque d'IA = (probabilité d'erreur) x (effet potentiel)

Il n'est donc pas surprenant que les principaux domaines d'application de l'IA explicable soient principalement ceux qui impliquent des décisions ayant un impact direct sur la vie humaine :

Médecine

Les systèmes d'intelligence artificielle sont de plus en plus souvent utilisés pour optimiser les pronostics de maladie, les profils de risque et les diagnostics sur la base de la saisie de très nombreuses données médicales. Dans de telles questions, le moins possible doit être laissé au hasard. La décision finale doit pour des raisons éthiques sont confiés à des personnes - dans de nombreux cas, à des médecins qui sont responsables de leurs patients et de leur traitement. Seuls des résultats d'IA compréhensibles peuvent servir de base.

Finance

Le secteur financier est le terreau d'innombrables processus sensibles basés sur des données financières et personnelles. L'IA explicable est utilisée pour la détection des fraudes, la gestion des risques et surtout l'évaluation de la solvabilité. Dans ce contexte, l'équité et la transparence sont particulièrement importantes, ce qui n'est possible que par une traçabilité appropriée. En outre, les banques doivent déjà se préparer à des dispositions juridiquement contraignantes par le biais du Loi sur l'intelligence artificielle se préparer.

Justice

Ici aussi, les avantages de l'IA explicable servent à en savoir plus sur la base de décision dans l'évaluation des risques, qui concerne entre autres les pronostics de délits. A cela s'ajoutent les analyses d'ADN dans la recherche de coupables, l'amélioration de l'efficacité dans le traitement des dossiers et bien d'autres choses encore. Étant donné que les résultats des processus ont une grande influence sur les personnes, il est important de remettre en question et de s'assurer qu'aucun biais discriminatoire n'est reproduit ou que d'autres erreurs graves ne se produisent.

Le traitement intelligent des documents est un domaine d'application qui joue un rôle dans tous les secteurs et dans les processus de toutes les sensibilités. Confuzio est le partenaire à vos côtés et vous permet d'obtenir des informations basées sur les données, là où elles sont utiles, tout en garantissant la sécurité juridique.

Conclusion

En fournissant un accès humain à des décisions et des prévisions complexes basées sur des algorithmes, l'IA explicable est devenue un élément précieux du développement technologique. Son importance a connu une croissance rapide au cours des dernières années, à l'instar de l'utilisation accrue de l'IA. Depuis 2016, elle a atteint une ampleur telle qu'elle soulève de toutes nouvelles questions sur la manière dont l'IA peut être utilisée. Responsabilité et éthique dans le contexte de l'IA. Enfin, son impact concerne désormais de larges pans de l'économie et de la société.

Par la suite, diverses publications et techniques telles que LIME ou SHAP ont été développées afin de mieux comprendre les modèles de boîte noire, même complexes, et d'instaurer la confiance correspondante. La nécessité de XAI dépend fortement de la sensibilité et de la portée d'un processus. Dans tous les cas, il est indispensable de les examiner soigneusement et d'agir toujours dans l'intérêt des personnes concernées. Cela vaut aujourd'hui comme pour tous les développements futurs que nous connaîtrons encore en rapport avec cette technologie.

Vous vous souciez d'automatiser avec soin des processus commerciaux sensibles ou vous souhaitez utiliser l'intelligence artificielle de manière transparente et compréhensible ? Prenez directement contact avec Contact pour nous contacter. Nos experts se feront un plaisir de vous conseiller.