Aprendizaje federado: rendimiento conjunto, datos separados

La precisión del aprendizaje automático depende de los datos utilizados. Por regla general, más es más cuando se trata de utilizarlos con éxito. Esto requiere a menudo la inclusión de diferentes fuentes de datos; sin embargo, mezclarlas puede ser problemático por razones de protección de datos. El aprendizaje federado está diseñado para resolver este dilema permitiendo que el entrenamiento del modelo tenga lugar simultáneamente en dispositivos separados. De este modo, la información privada sigue siendo privada y sigue generando un beneficio general.

¿Qué es el aprendizaje federado?

El aprendizaje federado es una técnica de aprendizaje automático en la que se utilizan distintos conjuntos de datos locales para entrenar un modelo de IA. La particularidad es la ausencia de una base de datos central, típica de los métodos de aprendizaje clásicos. Los datos sensibles permanecen en los respectivos dispositivos finales, mientras que sólo se comparte la información para la adaptación del modelo. En el caso de las redes neuronales, esto se aplica, por ejemplo, a los cambios en el peso de las neuronas individuales. El efecto de aprendizaje, que se basa en una base de datos más amplia, puede beneficiar por tanto a varios socios de cooperación. Esto se debe a que las empresas del mismo sector suelen perseguir objetivos similares en sus proyectos de IA y ciencia de datos.

Debido a los progresos realizados por Aprendizaje automático y los crecientes volúmenes de datos sujetos a las directrices correspondientes, el aprendizaje federado es un concepto cada vez más utilizado. En la actualidad es posible implementarlo con diversos clientes. Entre ellos figuran

• Dispositivos periféricos (IoT)
• Infraestructura de servidores y en la nube
• Ordenadores de sobremesa y portátiles
• Dispositivos domésticos
• Teléfonos inteligentes y tabletas

Para aprovechar más datos con un alto nivel de seguridad, se está produciendo una progresiva diferenciación técnica que ahora llega a los bolsillos de los usuarios finales, un signo más de la creciente aplicabilidad y de que la inteligencia artificial está cada vez más centrada en el usuario.

¿Cómo funciona el aprendizaje federado?

En principio, el aprendizaje federado es aprendizaje automático en el verdadero sentido de la palabra. Durante el entrenamiento, el modelo analiza los datos proporcionados en busca de determinadas correlaciones y deriva de ello sus propias previsiones. El objetivo final es minimizar una función de pérdida, lo que equivale a maximizar la precisión de la predicción. Sin embargo, el acceso a los datos utilizados no es distributivo, sino distribuido. El proceso suele constar de las siguientes etapas, aunque el planteamiento individual puede variar mucho:

• Inicialización del modelo
• Distribución a los clientes
• Formación local
• Transferencia de actualizaciones y ponderaciones de modelos
• Agregación
• Iteración

FL centralizado

Lo que suena paradójico en relación con un proceso de aprendizaje federado sólo se refiere a la coordinación y orquestación de los dispositivos participantes. El entrenamiento de las versiones locales del modelo tiene lugar en estos dispositivos y es iniciado por un servidor central. Esto también permite la agregación de las respectivas actualizaciones y cambios de peso para un modelo global. Esto es posible calculando valores medios o teniendo en cuenta el tamaño de los respectivos conjuntos de datos. A continuación, el modelo central actualizado se redistribuye a los dispositivos finales para la siguiente iteración.

FL descentralizado

Este tipo de proceso de aprendizaje no requiere una coordinación centralizada a través de un servidor. En su lugar, tiene lugar entre los clientes individuales, que también intercambian los datos de actualización del modelo de forma independiente. Así se evita un fallo centralizado, por ejemplo debido a un gran aumento del volumen de datos. Sin embargo, esto requiere una mayor calidad de la arquitectura de red, que influye enormemente en la orquestación descentralizada de la transferencia. Si hay demasiadas diferencias en el entorno del sistema y de la red, surgen problemas que sólo pueden resolverse con enfoques más novedosos.

FL heterogéneo

Cuando se desarrolló por primera vez, el aprendizaje federado suponía a menudo una distribución homogénea de conjuntos de datos, clientes y estructuras de transferencia. Entretanto, los requisitos se han vuelto más complejos. El hecho de que dos empresas quieran llevar a cabo la misma formación de modelos no significa que tengan las mismas condiciones. Las diferencias pueden ser graves y los investigadores Mang Ye y Xiuwen Fang (et al. 2023) las clasifican en cuatro dimensiones:

• Distribución de los datos
• Arquitectura de los modelos
• Entornos de red
• Dispositivos de hardware

Como cualquier sistema federado, el aprendizaje federado también se enfrenta a ciertos obstáculos debidos a la heterogeneidad. Ampliar a un entorno más complejo los éxitos ya conseguidos en ámbitos de aplicación centralizados y sencillos es el principal motivo de la investigación actual. 

Superar la heterogeneidad

En la actualidad existe toda una gama de métodos que pueden utilizarse para resolver las diferencias estructurales o limitar sus efectos negativos. Suelen centrarse en problemas causados por desviaciones en la calidad de los datos o diferencias de rendimiento:

Datos sintéticos

Los modelos generativos pueden calcular más puntos de datos a partir de un pequeño conjunto de datos privados. Se trata de estimaciones que remodelan las relaciones aprendidas previamente. Por tanto, el nuevo conjunto sintético no está sujeto a otras normas de protección de datos y puede utilizarse conjuntamente. No obstante, por regla general, los socios colaboradores deben demostrar que se ha realizado una anonimización completa. El proceso también se conoce como Aumento de datos descrito.

Destilación de conocimientos

Los datos sintéticos no son la única forma de transmitir conocimientos anonimizados. Los "conocimientos" ya adquiridos también pueden compartirse respetando la normativa de protección de datos, con lo que se aplica una especie de principio alumno-profesor. De este modo, los modelos ya entrenados y de alto rendimiento pueden ayudar a los modelos más débiles a rendir mejor. La función de pérdida utilizada sigue las diferencias calculadas en las previsiones respectivas de los dos modelos. Este método es muy adecuado si existen limitaciones selectivas de potencia informática u otros recursos.

Factorización matricial

La multiplicación de diferentes entidades tiene por objeto crear nuevas Característicasdeterminadas características de los objetos de una base de datos. Esto puede dar lugar a una ampliación dimensional, pero también a una reducción. Los algoritmos correspondientes actúan por tanto como filtros y se utilizan, entre otras cosas, para sistemas de recomendación. En el contexto del aprendizaje federado, esta tecnología puede calcular y compartir correlaciones estadísticas, con lo que la información exacta subyacente permanece anónima.

Arquitectura compartida

Estos métodos salvan las diferencias en la organización estructural de los modelos y las redes. Red troncal compartida por ejemplo, tiene por objeto reducir los costes informáticos sin prescindir de las necesidades individuales. Del mismo modo, algunos componentes de las estructuras de las redes neuronales pueden reproducirse para aumentar la normalización del tratamiento de los datos. Los modelos completos ya entrenados también pueden ponerse a disposición de varios participantes para realizar un ajuste federado.

Ventajas del principio

Aunque este tipo de aprendizaje automático puede asociarse a un inmenso esfuerzo y consumo de recursos, su aplicación satisfactoria suele ir acompañada de numerosos beneficios:

• Protección de datos - Los datos privados y sensibles permanecen en poder de los respectivos clientes.
• Diversidad de datos - Las distintas fuentes de datos proporcionan contenidos más informativos.
• Velocidad - Analizar pequeñas bases de datos simultáneamente es más rápido y eficaz que una sola ejecución conjunta.
• Trazabilidad y puntualidad - La formación puede realizarse con datos en tiempo real. Es posible realizar actualizaciones periódicas.
• Opciones de optimización - Los ajustes óptimos y las propiedades del modelo pueden identificarse y compartirse en los distintos entornos de red. Esto puede mejorar los resultados y reducir los costes.

Ámbitos de aplicación

Dado que el aprendizaje federado es un paradigma de aprendizaje automático más general, las posibles aplicaciones no se limitan a sectores o tipos de proyectos específicos. En algunos casos, sin embargo, las ventajas mencionadas adquieren especial relevancia.

Sanidad

Gran parte de los datos relevantes en hospitales y otros centros sanitarios son personales, por lo que están sujetos a una protección especial. Sin embargo, también son una valiosa fuente de información cuando se trata de la utilización de la capacidad y el consumo de recursos. Los requisitos de los hospitales son muy similares, por lo que se benefician especialmente del entrenamiento conjunto de modelos y de una mayor diversidad de datos. Esto último también es útil para el diagnóstico de enfermedades especialmente raras.

Industria manufacturera

El aprendizaje federado es muy adecuado para los modelos de mantenimiento predictivo que utilizan los datos de las máquinas para prever el desgaste y los posibles fallos. Si se utilizan los mismos dispositivos en distintas instalaciones de producción, resulta especialmente fácil compararlos. Por tanto, los retos de la heterogeneidad son menos pronunciados y la cooperación federada en la previsión de la IA es la elección obvia. Sin embargo, incluso si la infraestructura de TI es demasiado débil en algunos lugares para procesar suficientes datos propios, el proceso sigue mereciendo la pena. Los secretos de empresa y los procesos de producción individuales siguen estando protegidos.

Aplicaciones móviles

Debido a su marcado enfoque en tiempo real y a la posible inclusión de dispositivos móviles, el aprendizaje federado es adecuado para analizar el comportamiento de los usuarios. Al mismo tiempo, diversos modelos de inteligencia artificial se utilizan directamente en cada vez más aplicaciones. Esto se aplica al reconocimiento de voz, la predicción de palabras, el reconocimiento facial y muchos otros casos. Se puede mejorar el rendimiento respectivo sin tener que compartir la información introducida por el usuario. Empresas tecnológicas como Meta se centran actualmente en este tipo de aprendizaje federado. La empresa de Facebook se refiere principalmente a La protección de datos como motivo. Sin embargo, es probable que el principal interés radique en la variedad de datos. Más de El 77% de los internautas en las plataformas de Meta.

Conclusión

La principal ventaja del aprendizaje federado es que los modelos de IA pueden mejorarse gracias a una mayor diversidad de datos sin poner en peligro su protección. Ahora pueden incluirse en el proceso innumerables clientes. La formación suele realizarse por separado con pequeños conjuntos de datos; sólo se comparte la personalización del modelo. Un servidor central suele encargarse de este paso, pero las opciones de implementación pueden variar mucho. Ahora también es posible un enfoque descentralizado. Debido a las estructuras de red, ahora muy diferenciadas, la mayoría de los esfuerzos de investigación actuales tienen lugar en el área heterogénea. El objetivo es superar las diferencias significativas en los requisitos previos y hacer que el aprendizaje federado sea tan universalmente aplicable como sea posible. Por lo tanto, es probable que este paradigma y sus métodos sigan siendo relevantes en un futuro próximo.

¿Le gustaría mejorar los modelos de IA mediante una gran diversidad de datos y le preocupa la protección de datos? No dude en enviarnos un mensaje. Nuestros expertos estarán encantados de escucharle.