IA explicable: hacer comprensibles las decisiones

Los seres humanos siempre han intentado mejorar su futuro tomando decisiones sensatas. Para ello, aplican diversas reglas y principios derivados de su experiencia. Sin embargo, con el progreso tecnológico, social y cultural, las decisiones se han vuelto cada vez más complejas.

A menudo incluyen muchos más parámetros de los que las personas pueden tener en cuenta en su percepción subjetiva. Por esta razón, se están realizando esfuerzos para desarrollar sistemas de aprendizaje que puedan reconocer de forma independiente las reglas relevantes en grandes cantidades de datos. Es lo que se conoce como aprendizaje automático, el área más importante de la inteligencia artificial (IA).

Puede ocurrir que la decisión o previsión de un sistema de IA difiera significativamente de las expectativas. En estos casos, se desconocen partes de las reglas aplicadas. Pero sólo cuando hay consecuencias significativas asociadas, se hace necesario sacar a la luz estas dimensiones desconocidas. La IA explicable es el enfoque que se fija este objetivo. Esto genera confianza en las decisiones críticas y, al mismo tiempo, ayuda a mejorar el juicio humano sobre la situación.

¿Qué significa IA explicable (XAI)?

La inteligencia artificial explicable comprende métodos y enfoques que pretenden comprender mejor las decisiones de la IA. La atención se centra aquí en la cuestión de qué factores de influencia desconocidos han conducido a un determinado resultado. Dado que los modelos se han vuelto mucho más complejos en los últimos tiempos y a menudo se asemejan a una "caja negra" muy citada en el campo del aprendizaje automático y profundo, no es tarea fácil encontrar las explicaciones necesarias. Un ejemplo típico son los grandes modelos lingüísticos (LLM), en los que incluso los propios desarrolladores suelen ser incapaces de decir con certeza por qué su modelo ha generado un determinado resultado.

La IA explicable permite dar respuestas comprensibles a la pregunta "¿Por qué?".

Los desarrolladores invierten mucho tiempo y esfuerzo en la explicabilidad, sobre todo para poder tratar adecuadamente los posibles sesgos o efectos esperados de las decisiones críticas de la IA. Esto es especialmente cierto cuando los efectos afectan a importantes procesos de toma de decisiones en las empresas, al cumplimiento de leyes y directrices y a la confianza general en la inteligencia artificial. Pueden adoptarse medidas adecuadas a lo largo de todo el curso de los proyectos, desde la creación y el tratamiento de la base de datos hasta la interpretación de los resultados. Se distingue entre Métodos ad hocque ya se tienen en cuenta en el diseño del modelo, y Métodos post-hoc con la posterior incorporación de técnicas y algoritmos suplementarios.

¿Por qué es importante la explicabilidad?

Uno de los mayores objetivos en el desarrollo de la inteligencia artificial es optimizar la compatibilidad de la Experiencia de las personas y la tecnología para lograrlo. En general, la sociedad y muchas empresas se encuentran todavía en una fase de descubrimiento, mientras que la proporción de procesos en los que intervienen algoritmos avanzados sigue creciendo. Sin embargo, esto también está afectando ahora a muchas sensible Procesos en los que sólo se permite un menor control humano mediante la automatización en condiciones estrictas. La IA explicable se ha convertido en un elemento clave que incide positivamente, en particular, en los siguientes aspectos:

Transparencia

En muchos procesos, la trazabilidad de los estados intermedios es crucial. Esto permite reconocer a tiempo errores y desviaciones y sólo requiere intervenir en los pasos de trabajo afectados, sin más consecuencias. La IA explicable contribuye a que esta forma de transparencia también esté presente en la automatización. Esto también tiene un efecto secundario de ahorro de recursos, ya que no es necesario repetir todo el proceso en caso de error. En su lugar, se puede llevar a cabo un mantenimiento específico, lo que también aumenta la solidez del sistema. Por tanto, la transparencia también refuerza la confianza y facilita la comparación de valores y principios de actuación individuales o generales.

Sin embargo, la transparencia y la explicabilidad no tienen por qué ir necesariamente unidas: Un sistema puede ser transparente, pero seguir siendo tan complejo que las razones de una decisión sigan siendo difíciles de explicar.

Conformidad

En el contexto de las empresas de hoy en día, la adhesión a determinados valores suele englobarse bajo el término cumplimiento. A menudo tiene lugar en cada etapa de la toma de decisiones humana, a menudo inconscientemente. Sin embargo, si todo el proceso está automatizado, esto no lo exime de estos valores, especialmente cuando se trata de normativas legales. Si un proceso puede entrar en conflicto con estos valores, existe un deber de rendición de cuentas y responsabilidad ante el legislador o incluso las autoridades corporativas. Las propiedades de la IA explicable permiten la auditabilidad, es decir, registros y percepciones de los procesos a los que se puede hacer referencia posteriormente.

Equidad

Uno de los principales riesgos cuando se utiliza la IA son las previsiones distorsionadas si los datos de entrenamiento no son suficientemente representativos. En tales casos, la naturaleza de los datos de producción puede diferir demasiado de los datos de entrenamiento. En el caso de decisiones personales como la concesión de préstamos, pueden incluso reproducirse sesgos discriminatorios relacionados con el sexo o la etnia. Si existe esta posibilidad, las explicaciones son importantes para que el resultado de los algoritmos pueda impugnarse en cualquier momento y corregirse si es necesario. Sin los métodos de la IA explicable, ese comportamiento incorrecto de los sistemas a menudo permanece desconocido.

Métodos de IA explicable

Existen muchos enfoques diferentes para lograr una inteligencia artificial explicable (XAI). Por un lado, el objetivo específico puede prever la trazabilidad de los procesos de toma de decisiones y analizar la precisión del modelo, es decir, se refiere a los requisitos técnicos. Por otro lado, la comprensión de los resultados tiene por objeto el acceso humano a los mismos. Los métodos específicos también pueden dividirse en dos paradigmas:

Declaraciones ante hoc

Para muchos casos de uso en las empresas, no es necesario establecer complejos modelos de caja negra. Al contrario: si éstos no se ajustan al caso de uso, el resultado es una menor precisión y también se pierde la facilidad de acceso a las explicaciones necesarias. En cambio, hay muchos modelos clásicos de aprendizaje automático que pueden resolver problemas sencillos y son fáciles de explicar debido a su naturaleza per se. También se podría hablar de Modelos de caja blanca hablar. Esto afecta, entre otras cosas:

Análisis de regresión

Regresión lineal, múltiple o logística: todos estos métodos analizan las relaciones entre variables. En muchos casos, pueden utilizarse para modelizar decisiones concretas e individuales, así como la probabilidad de que se produzca o no un determinado acontecimiento. También se incluyen otros coeficientes, como la confianza de una previsión. De este modo, no sólo se obtiene un resultado en blanco, sino también más información sobre las previsiones respectivas, que además siempre son las mismas para las entradas coincidentes.

Árboles de decisión

Estos modelos se caracterizan por su representabilidad visual en forma de diagrama de árbol que representa todo el proceso de toma de decisiones. Cada rama sigue una lógica "si-entonces" fácil de entender. En el caso de procesos complejos, los pasos individuales pueden verse y entenderse de forma aislada, lo que también facilita la resolución de problemas. Además, las reglas aplicadas pueden extraerse y analizarse. Los árboles de decisión son un buen ejemplo de cómo la explicabilidad mediante Transparencia y Simplicidad se crea.

Declaraciones post hoc

Resulta especialmente difícil cuando no se conocen las instancias internas de toma de decisiones de los modelos. En estos casos post-hoc - Tras el entrenamiento del modelo, se utilizan técnicas adicionales para conocer la derivación de los resultados. Aquí es donde tienen lugar la mayoría de las publicaciones y proyectos, ya que los modelos de aprendizaje profundo utilizados recientemente de forma intensiva, en particular, requieren enfoques tan elaborados. A menudo se trata de métodos agnósticos del modelo, es decir, que pueden aplicarse independientemente de la arquitectura subyacente.

CAL

Local Interpretable Model-agnostic Explanations es probablemente la técnica más destacada y se introdujo en 2016 para abordar los modelos de caja negra a través de un modelo local más fácilmente explicable. Para conocer la función de decisión desconocida del modelo a explicar, LIME extrae muestras alrededor del punto de datos a explicar. Estas muestras se introducen en el modelo original para determinar los efectos de ligeros cambios en las características sobre el resultado. Esto se repite hasta que se puede formar un modelo local explicable en torno al caso analizado a partir de los datos resultantes. De este modo, las predicciones individuales resultan comprensibles.

SHAP

Las explicaciones aditivas de Shapley abordan las previsiones individuales a través de los denominados valores de Shapley. Éstos corresponden a un concepto habitual en la teoría de juegos cooperativos y especifican valores objetivo "deseables" o interpretados positiva o normativamente en función de una función de coalición. El resultado del "juego" -en este caso la predicción del modelo- depende de los jugadores participantes, que deben entenderse aquí como características. El valor de Shapley mide la contribución marginal media de una característica en todas las combinaciones posibles. De este modo, es posible conocer mejor qué combinaciones y qué fuerzas de influencia afectan al resultado que se quiere explicar.

Grad-CAM

El mapa de activación de clases ponderado por gradiente es una de las técnicas de visualización más importantes y, en comparación con el SHAP, impresiona especialmente por su buena aplicabilidad a las redes neuronales convolucionales (CNN). En consecuencia, también es adecuada para explicaciones en el campo del procesamiento de imágenes. La base es la consideración de cada posición en la última capa convolucional de la red profunda mediante el cálculo de combinaciones lineales de las activaciones de la capa anterior. Un mapa visual compuesto por los pesos de los gradientes de la función de pérdida muestra regiones en la distribución de las activaciones que son significativas para el resultado final - similar a un mapa de calor. Esto proporciona información sobre el origen de las clasificaciones de imágenes.

Explicabilidad de grandes modelos lingüísticos

Entre los modelos más relevantes se encuentran ahora, sin duda, los grandes modelos lingüísticos, que se utilizan en innumerables sistemas de IA tanto para uso empresarial como privado: baste pensar en ChatGPT. Se trata de redes neuronales especialmente complejas basadas en la arquitectura Transformer. Debido a su naturaleza compleja, sus resultados vocales individuales son cualquier cosa menos fáciles de explicar - las técnicas clásicas como SHAP, por ejemplo, llegan a sus límites debido a la potencia de cálculo necesaria. Sin embargo, como la importancia y la influencia de las LLM son muy elevadas, el problema es lógicamente objeto de publicaciones científicas:

Zhao et alt. (2023) han desarrollado toda una taxonomía de técnicas de explicabilidad para los LLM. Los dos paradigmas de formación -sintonización fina o incitación- son inicialmente decisivos para la elección del método respectivo. Los principios aplicables local y globalmente hacen uso en gran medida de enfoques ya conocidos, pero necesariamente tienen en cuenta las características y comportamientos especiales de los LLM, especialmente las alucinaciones.

Un método especialmente habitual consiste en analizar las activaciones que emanan de los módulos de atención de los transformadores. Esta forma de interpretación se discute en diversas publicaciones, planteándose, entre otras, la pregunta, si esto es explicable AI en el verdadero sentido de la palabra.

En GitHub también hay disponibles varias herramientas de código abierto para interpretar los LLM o visualizar los contextos de las palabras:

• La Herramienta de Interpretabilidad del Aprendizaje (LIT)
• Comgra
• Phoenix
• BertViz

Ámbitos de aplicación

En los últimos años, la XAI ha pasado de ser un tema de nicho a convertirse en una parte indispensable de la tecnología. Llama la atención que las tecnologías más relevantes (LIME, SHAP, Grad-CAM) se desarrollaron todas en torno a 2016-2017. Durante este tiempo, se produjo un fuerte aumento en el uso y la implementación de estas tecnologías en la economía. El riesgo y el potencial de daño de los errores de IA aumentaron, la importancia de Confianza y transparencia que presumiblemente impulsó el desarrollo de las técnicas mencionadas.

Sin embargo, es importante entender que la IA explicable sólo es necesaria para decisiones y procesos delicados y arriesgados. Esto puede abordarse de forma probabilística:

Riesgo de IA = (probabilidad de error) x (efecto potencial)

Por eso no es de extrañar que los ámbitos de aplicación más importantes de la IA explicable sean principalmente los que implican decisiones con un impacto directo en la vida humana:

Medicina

Los sistemas de IA se utilizan cada vez más para optimizar los pronósticos de enfermedades, los perfiles de riesgo y los diagnósticos sobre la base de una amplísima recopilación de datos médicos. En estas cuestiones, debe dejarse lo menos posible al azar. La decisión final debe por razones éticas La responsabilidad del tratamiento de los pacientes recae en las personas, en muchos casos médicos, que son responsables de sus pacientes y de su tratamiento. Sólo unos resultados de IA comprensibles son adecuados como base para ello.

Finanzas

El sector financiero es un caldo de cultivo para innumerables procesos sensibles basados en datos financieros y personales. La IA explicable se utiliza para la detección del fraude, la gestión del riesgo y, en particular, la evaluación de la solvencia. La imparcialidad y la transparencia son especialmente importantes en este ámbito, lo que solo es posible mediante una trazabilidad adecuada. Además, los bancos ya tienen que cumplir normas jurídicamente vinculantes por la Ley AI Prepárate.

Justicia

Aquí también se aprovechan las ventajas de la IA explicable para conocer mejor la base de la toma de decisiones en la evaluación de riesgos, lo que incluye la predicción de delitos penales. Además, los análisis de ADN se utilizan para identificar a los autores, aumentar la eficacia en la tramitación de casos y mucho más. Dado que los resultados del proceso tienen una gran repercusión en las personas, es importante examinar y garantizar que no se reproduzcan sesgos discriminatorios ni se produzcan otros errores graves.

El procesamiento inteligente de documentos es un ámbito de aplicación que desempeña un papel en todos los sectores y en procesos de cualquier sensibilidad. Konfuzio es el socio que está a su lado y permite obtener información basada en datos exactamente donde tiene sentido, con total seguridad jurídica.

Conclusión

Como la IA explicable crea un acceso humano a decisiones y previsiones complejas basadas en algoritmos, el enfoque se ha convertido en una parte valiosa del desarrollo tecnológico. Su importancia ha aumentado rápidamente en los últimos años en consonancia con la intensificación del uso de la IA. Desde 2016, ha alcanzado un nivel que ha planteado cuestiones completamente nuevas sobre Responsabilidad y ética en relación con la IA. Al fin y al cabo, sus efectos afectan ya a amplios sectores de la economía y la sociedad.

A raíz de ello, se desarrollaron diversas publicaciones y técnicas como LIME o SHAP para comprender mejor incluso los complejos modelos de caja negra y generar confianza. La necesidad de XAI depende en gran medida de la sensibilidad y el alcance de un proceso. En cualquier caso, es esencial examinarlos detenidamente en detalle y actuar siempre en interés de las personas afectadas. Esto es válido tanto hoy como para todos los futuros desarrollos que experimentemos en relación con esta tecnología.

¿Le preocupa la automatización cuidadosa de procesos empresariales sensibles o le gustaría utilizar la inteligencia artificial de forma transparente y comprensible? Póngase en contacto con nosotros Contacto a nosotros. Nuestros expertos estarán encantados de asesorarle.