Apprentissage fédéré pour l'optimisation de modèles

Federated Learning - Une performance commune malgré des données séparées

Tim Filzinger

La précision du Machine Learning dépend des données utilisées. Pour une utilisation réussie de ces dernières, la règle est généralement la suivante : plus, c'est plus. Cela nécessite souvent la prise en compte de différentes sources de données ; un mélange peut toutefois s'avérer problématique pour des raisons de protection des données. Federated Learning doit résoudre ce dilemme en permettant l'entraînement des modèles simultanément sur des appareils séparés. Ainsi, ce qui est privé reste privé tout en générant un bénéfice général.

Qu'est-ce que l'apprentissage fédéré ?

Le Federated Learning est une technique d'apprentissage automatique qui utilise différents jeux de données locaux pour l'entraînement d'un modèle d'IA. Sa particularité réside dans le fait qu'il n'y a pas de base de données centrale, ce qui est typique des méthodes d'apprentissage classiques. Les données sensibles restent sur les terminaux respectifs, tandis que seules les informations relatives à l'adaptation du modèle sont partagées. Dans le cas des réseaux neuronaux, cela concerne par exemple les modifications de poids des différents neurones. L'effet d'apprentissage, qui repose sur une base de données plus importante, peut ainsi profiter à plusieurs partenaires de coopération. En effet, les entreprises d'un même secteur poursuivent souvent des objectifs similaires dans leurs projets d'IA et de science des données.

En raison des progrès de Apprentissage automatique et des quantités croissantes de données soumises à des directives correspondantes, Federated Learning est un concept de plus en plus utilisé. La mise en œuvre est désormais possible avec divers clients. Il s'agit notamment de

  • Appareils Edge (IoT)
  • Infrastructure de serveurs et de cloud
  • Ordinateurs de bureau et portables
  • Appareils domestiques
  • Smartphones et tablettes

Pour exploiter davantage de données tout en garantissant une sécurité élevée des données, on assiste donc à une différenciation technique progressive qui s'étend désormais jusqu'aux poches des utilisateurs finaux - un autre signe de l'applicabilité croissante et de l'orientation vers l'utilisateur de l'intelligence artificielle.

Comment fonctionne Federated Learning ?

En principe, le Federated Learning est un Machine Learning au sens propre du terme. Lors de l'entraînement, le modèle analyse les données mises à disposition en fonction de certaines corrélations et en déduit ses propres prévisions. L'objectif final est de minimiser une fonction de perte, ce qui équivaut à maximiser la précision des prévisions. L'accès aux données utilisées n'est toutefois pas distributif, mais réparti. En règle générale, le processus comprend les étapes suivantes, même si l'approche individuelle peut varier considérablement :

  • Initialisation du modèle
  • Répartition sur les clients
  • Formation locale
  • Transfert des mises à jour et des pondérations de modèles
  • Agrégation
  • Itération
serveur centralisé pour la formation aux modèles
L'utilisation de serveurs centraux fait partie des possibilités typiques de mise en œuvre.

FL centralisé

Ce qui semble paradoxal dans le cadre d'un processus d'apprentissage fédéral ne concerne que la coordination et l'orchestration des appareils participants. L'entraînement des versions locales du modèle, initié par un serveur central, a lieu sur ces derniers. Cela permet en outre d'agréger les mises à jour et les modifications de poids respectives pour un modèle global. Cela est possible en calculant des valeurs moyennes ou en tenant compte de la taille des jeux de données respectifs. Le modèle central mis à jour est ensuite redistribué aux terminaux pour l'itération suivante.

FL décentralisé

Dans ce type de processus d'apprentissage, aucune coordination centralisée via un serveur n'est nécessaire. Au lieu de cela, elle se déroule entre les différents clients qui échangent en outre de manière autonome les données des mises à jour du modèle. Cela permet d'éviter une panne centrale, par exemple en raison d'une forte augmentation du volume de données. Pour cela, une qualité accrue de l'architecture réseau est toutefois nécessaire, ce qui a une influence massive sur l'orchestration décentralisée du transfert. Si des différences trop importantes apparaissent dans l'environnement système et réseau, cela entraîne des problèmes qui ne peuvent être résolus que par des approches plus récentes.

FL hétérogène

Lors de sa création, l'apprentissage fédéré a souvent supposé une répartition homogène des ensembles de données, des clients et des structures de transfert. Entre-temps, les exigences sont devenues plus complexes. En effet, ce n'est pas parce que deux entreprises souhaitent réaliser le même modèle de formation qu'elles apportent les mêmes conditions. Les différences peuvent être graves et sont classées en quatre dimensions par les chercheurs Mang Ye et Xiuwen Fang (et alt. 2023) :

  • Distribution des données
  • Architecture des modèles
  • Environnements réseau
  • Périphériques matériels

Comme dans tout système fédéral, l'apprentissage fédéré se heurte donc à certains obstacles liés à l'hétérogénéité. Étendre les succès déjà obtenus dans des domaines d'application centralisés simples à un environnement plus complexe est la principale motivation de la recherche actuelle. 

Surmonter l'hétérogénéité

Il existe aujourd'hui toute une série de méthodes qui permettent de résoudre les différences structurelles ou d'en limiter les effets négatifs. Elles visent souvent à résoudre des problèmes liés à des différences de qualité des données ou de performance :

Données synthétiques

Sur la base d'un petit ensemble de données privées, les modèles génératifs peuvent calculer d'autres points de données. Il s'agit d'estimations qui modélisent des relations déjà apprises. Le nouvel ensemble synthétique n'est donc pas soumis aux autres règles de protection des données et peut être utilisé en commun. En règle générale, les partenaires de coopération doivent toutefois prouver qu'une anonymisation complète a été effectuée. Le processus est également appelé Augmentation des données décrites.

Distillation des connaissances

Les données synthétiques ne sont pas le seul moyen de partager des connaissances de manière anonyme. Les "connaissances" déjà acquises peuvent également être partagées dans le respect de la protection des données, en appliquant une sorte de principe "élève-professeur". Les modèles performants déjà entraînés peuvent ainsi aider les modèles plus faibles à améliorer leurs performances. La fonction de perte utilisée suit les différences calculées dans les prévisions respectives des deux. Cette méthode est bien adaptée en cas de restrictions ponctuelles de la puissance de calcul ou d'autres ressources.

Factorisation de la matrice

La multiplication de différentes entités doit permettre de créer de nouvelles entités latentes Caractéristiquesc'est-à-dire certaines caractéristiques des objets d'une base de données. Pour ces derniers, il peut en résulter un agrandissement dimensionnel, mais aussi une réduction. Les algorithmes correspondants agissent ainsi comme des filtres et sont utilisés entre autres pour les systèmes de recommandation. Dans le contexte du Federated Learning, cette technique permet de calculer et de partager des relations statistiques, les informations exactes sous-jacentes restant anonymes.

Partage d'architecture

Ces méthodes comblent les différences dans la structure des modèles et des réseaux. Partage de la dorsale vise par exemple à réduire les coûts de calcul sans pour autant négliger les exigences individuelles. De même, certains composants de structures de réseaux neuronaux peuvent être reproduits afin d'augmenter l'uniformité du traitement des données. Il est également possible de mettre à disposition de plusieurs participants des modèles complets ayant déjà fait l'objet d'un entraînement, afin de procéder à un peaufinage fédéral.

Avantages du principe

Même si ce type d'apprentissage automatique peut impliquer un effort et une consommation de ressources immenses, sa mise en œuvre réussie s'accompagne souvent de nombreux avantages :

  • Protection des données Les données privées et sensibles restent chez les clients respectifs.
  • Diversité des données Différentes sources de données permettent d'augmenter le contenu informatif.
  • Vitesse L'analyse simultanée de petites bases de données est plus rapide et plus efficace qu'un seul passage commun.
  • Traçabilité et actualité L'entraînement peut se faire avec des données en temps réel. Des mises à jour régulières sont possibles.
  • Possibilités d'optimisation Dans les différents environnements de réseau, il est possible d'identifier et de partager les paramètres et les propriétés de modèle optimaux. Cela peut améliorer les résultats et réduire les coûts.

Domaines d'application

Industry use cases of federated learning (cas d'utilisation de l'apprentissage fédéré dans l'industrie)

Étant donné que l'apprentissage fédéré est un paradigme d'apprentissage automatique plutôt général, les possibilités d'application ne sont pas limitées à des secteurs ou des types de projets spécifiques. Toutefois, dans certains cas, les avantages mentionnés deviennent particulièrement pertinents.

Santé publique

Une grande partie des données pertinentes dans les hôpitaux et autres établissements de soins de santé sont personnelles et donc soumises à une protection particulière. Toutefois, elles constituent également un précieux support d'informations lorsqu'il s'agit de l'utilisation et de la consommation des ressources. Les exigences des hôpitaux se ressemblent beaucoup, de sorte qu'ils profitent particulièrement de l'entraînement commun des modèles et de la diversité accrue des données. Cette dernière est en outre utile pour le diagnostic de maladies particulièrement rares.

Industrie manufacturière

Federated Learning est bien adapté aux modèles de maintenance prédictive qui prévoient l'usure et les pannes éventuelles à partir des données des machines. Si les mêmes appareils sont utilisés dans différentes productions, une comparabilité particulière est assurée. Les défis de l'hétérogénéité sont ainsi moins prononcés et une coopération fédérale pour les prévisions de l'IA est évidente. Mais même si l'infrastructure informatique est par endroits trop peu développée pour traiter suffisamment de données propres, le procédé en vaut la peine. Les secrets de fabrication et les processus de production individuels restent protégés.

Applications mobiles

En raison de l'accent mis sur le temps réel et de la possibilité d'intégrer des terminaux mobiles, l'apprentissage par fédération se prête à l'analyse du comportement des utilisateurs. Parallèlement, différents modèles d'intelligence artificielle sont directement utilisés dans un nombre croissant d'applications. Cela concerne par exemple la reconnaissance vocale, la prédiction de mots, la reconnaissance faciale et bien d'autres cas. Les performances respectives peuvent être améliorées sans que les données de l'utilisateur ne soient partagées. Actuellement, ce sont surtout des groupes technologiques comme Meta qui s'occupent de ce type de Federated Learning. L'entreprise de Facebook cite en premier lieu La protection des données comme motif. Mais l'intérêt principal devrait être la diversité des données. Plus de 77 pour cent des internautes se retrouvent sur les plateformes de Méta.

Conclusion

Federated Learning se distingue surtout par le fait que les modèles d'IA sont améliorés grâce à une plus grande diversité de données, sans nuire à la protection des données. Il est désormais possible d'inclure d'innombrables clients. L'entraînement se fait généralement séparément avec de petits ensembles de données, seule l'adaptation du modèle est partagée. Un serveur central est souvent responsable de cette étape, mais les possibilités de mise en œuvre peuvent varier considérablement. Une approche décentralisée est également possible entre-temps. En raison des structures de réseau désormais très différenciées, une grande partie des efforts de recherche actuels se fait dans le domaine hétérogène. L'objectif est de surmonter les différences significatives dans les conditions préalables et de rendre le Federated Learning applicable de manière aussi générale que possible. Ainsi, ce paradigme et ses méthodes devraient rester pertinents dans un avenir prévisible.

Vous souhaitez améliorer les modèles d'IA grâce à une grande diversité de données et vous vous souciez de la protection des données ? N'hésitez pas à nous envoyer un message. Nos experts se feront un plaisir de vous répondre.

    À propos de moi

    Autres grands articles

    Idées d'IA pour le secteur financier et utilisation de l'IA dans les banques

    L'IA dans les banques : des idées d'IA pour une utilisation axée sur la valeur

    Comment les banques peuvent-elles gagner beaucoup de temps dans le back-office grâce à l'IA ? Les données KYC sont vastes et complexes. Même pour des collaborateurs bien formés.

    Lire l'article

    Programmes d'entrée de données : définition, fonction, avantages et logiciels

    En 2023, la simple saisie de données reste une tâche consommatrice de ressources pour de nombreuses entreprises. Ainsi, Zapier a découvert...

    Lire l'article
    Analyse d'association

    Analyse d'association - fonction, algorithmes et application

    Les données sont depuis longtemps devenues l'une des ressources les plus précieuses de notre époque. Toutefois, cette valeur n'apparaît que lorsque...

    Lire l'article
    Arrow-up