toolformer

La méta-IA Toolformer utilise des applications de manière autonome

Tim Filzinger

Les modèles de langage comme ChatGPT sont actuellement le nec plus ultra de la traitement automatisé des langues. En tant que modèles d'IA pré-entraînés basés sur des réseaux neuronaux, ils sont particulièrement doués pour traiter et générer des textes. Malgré leurs multiples possibilités d'application, les bots textuels se heurtent toutefois rapidement à leurs limites en matière d'arithmétique et de fact-checking. Toolformer doit s'attaquer à ce problème en permettant à l'IA d'utiliser de manière autonome des outils externes via une interface de programmation (API) - une approche prometteuse.

Cet article a pour but de présenter de manière plus compréhensible les recherches actuelles et les possibilités de développement qui en découlent.

Cet article a été rédigé en allemand, il a été automatiquement traduit dans d'autres langues et traduit en français. Nous vous invitons à nous faire part de vos commentaires à la fin de l'article.

Aperçu

  • Toolformer est un modèle de langage similaire à ChatGPT de la maison Meta.
  • Il a été entraîné par un processus d'apprentissage auto-supervisé pour échantillonner, exécuter et filtrer les appels API.
  • Cela permet d'utiliser de manière autonome des outils tels qu'un calendrier ou une calculatrice.
  • Toolformer dépasse ainsi les limites typiques des modèles traditionnels.

Quelles sont les limites des modèles linguistiques ?

Tandis que le grand public s'émerveille encore des nouvelles possibilités offertes par les progrès technologiques, les développeurs aiment à pointer directement du doigt tout ce qui ne fonctionne pas encore. Ce contraste est particulièrement marqué pour les modèles linguistiques. Ce n'est que récemment qu'ils ont présenté, sous la forme d'outils tels que ChatGPT éclipsent la plupart des modèles d'IA existants et s'avèrent être actuellement l'outil le plus utile pour le traitement automatisé de la parole en raison de leur pré-apprentissage étendu. Les multiples possibilités d'utilisation peuvent facilement apparaître comme une omnipotence, mais ce n'est pas le cas. Les domaines suivants restent particulièrement problématiques et motivent les innovations telles que Toolformer :

Correction du contenu

La source principale des contenus générés par les modèles linguistiques est Internet. La qualité des données peut y varier fortement, ce qui n'est toutefois guère reflété par les modèles courants. De plus, l'actualité dépend en grande partie du moment de la préformation. À cela s'ajoutent des restrictions algorithmiques qui rendent difficile le fact-checking, par exemple selon le principe des deux sources. Les fausses informations font donc partie des hallucinations les plus fréquentes de l'IA.

GPT vérification des faits
ChatGPT signale certes entre-temps le manque d'actualité, mais la réponse souhaitée n'est toujours pas donnée.

Arithmétique

En effet, les modèles linguistiques typiques sont encore relativement mauvais en mathématiques, de sorte que même les calculs de base et la logique correspondante peuvent être difficiles. L'un des problèmes est la traduction des mathématiques en code, pour laquelle il existe très peu d'exemples d'entraînement par rapport à la traduction linguistique.

résultats des données
Un résultat faux présenté avec conviction

Que peut faire Toolformer ?

Pour obtenir de meilleurs résultats dans ces domaines, le modèle s'adresse à des outils externes via un appel API. Jusqu'à présent, les approches étaient soit dépendantes d'un grand nombre d'utilisateurs humains, soit dépendantes d'un grand nombre d'utilisateurs non humains. Annotations dépendants ou utilisables uniquement pour des tâches très spécifiques. En revanche, l'exécution autonome des API Calls permet d'intégrer intelligemment toute une série d'applications qui se concentrent particulièrement sur les faiblesses des Language Models jusqu'à présent :

  • Système de questions-réponsesLe modèle linguistique "Atlas" est utilisé à cet effet et a fait l'objet d'une mise au point sur la base de questions naturelles.
  • Recherche WikipediaCe moteur de recherche réagit aux termes de recherche en effectuant une recherche rapide sur Wikipedia et en extrayant de manière autonome de petits fragments de texte. Les résultats générés peuvent être plus spécifiques qu'avec le système de questions-réponses. Par exemple, trouver le chancelier actuel de l'Allemagne ne devrait pas poser de problème.
  • CalendrierUn coup d'œil rapide à une application de calendrier aide à placer les faits dans le bon contexte temporel et à tirer des conclusions sur leur actualité.
  • Calculatrice de pocheAvec un outil simple pour les quatre opérations de base et une précision de deux décimales, Toolformer peut résoudre correctement l'exemple de calcul ci-dessus.
  • Outil de traductionPour générer une traduction en anglais à partir de n'importe quelle langue, un autre modèle linguistique externe est intégré.
used tools
La palette d'outils utilisables pourrait s'élargir considérablement dans les années à venir.

Franchir les frontières grâce à l'API

L'aspect de cette idée qui a été particulièrement difficile à mettre en œuvre jusqu'à présent est le système basé sur l'IA Gestion de l'APICela peut parfois s'avérer compliqué, même pour les développeurs humains. Il n'est pas beaucoup plus simple de formater les appels API en une séquence de texte qui s'intègre naturellement dans la conversation avec le programme utilisé. Modèle GPT-J s'insère. Sa complexité, qui repose sur plus de 6 milliards de paramètres, rend l'exercice encore plus difficile. Toolformer surmonte ces obstacles, et donc les limites typiques de la plupart des modèles linguistiques traditionnels, en trois étapes fondamentales :

  1. Échantillonner les appels API

    Pour chaque API possible, les développeurs ont rédigé un appel qui permet à Toolformer de rassembler les appels API pertinents. En utilisant des principes probabilistes, le modèle identifie ensuite quelques appels dont les probabilités de s'intégrer dans la séquence sont supérieures à un certain seuil. À l'aide de quelques exemples, Toolformer apprend à optimiser ce processus.

  2. Exécuter des appels API

    Ensuite, tous les appels API échantillonnés sont exécutés afin d'obtenir les résultats ou les réponses correspondantes des outils. Ceux-ci doivent être disponibles sous forme de courtes séquences de texte pour la suite du processus. Les détails du processus dépendent de l'API individuelle, qui peut par exemple s'adresser à un réseau neuronal ou à un script Python.

  3. Filtrer les appels API

    Pour filtrer les appels, Toolformer calcule les fonctions de perte pondérées des appels générés. Jetons API sur la base de l'entropie croisée. En comparant les résultats, soit en tenant compte des appels API, soit indépendamment de ceux-ci, des cas utiles sont identifiés pour prédire d'autres tokens. Là encore, un seuil approprié est fixé pour décider quels appels doivent être conservés.

Fine-tuning du modèle

Toolformer utilise les appels API filtrés pour les fusionner avec l'entrée d'origine dans un nouveau jeu de données. La base est ainsi posée pour une mise au point ultérieure, qui s'effectue à l'aide d'une modélisation linguistique typique. Le contenu du nouveau dataset doit ainsi correspondre à celui du dataset d'origine, à l'exception des appels API ajoutés.

Dans le meilleur des cas, l'utilisateur ne se rend donc pas compte de ce processus dans le backend et reçoit une réaction plus ou moins naturelle de Toolformer. Plus le modèle linguistique traite d'entrées, plus il est en mesure d'utiliser le jeu de données étendu pour prédire les futurs jetons API et les positions correctes des appels correspondants. En d'autres termes, Toolformer apprend de manière autonome à utiliser telle ou telle application et de quelle manière afin de fournir la réponse optimale.

Conclusion et perspectives

En pilotant de manière autonome des applications externes via des appels API, Toolformer permet au modèle linguistique de surmonter les limites typiques de l'arithmétique et de l'exactitude du contenu. Concrètement, des outils tels qu'un moteur de recherche, une calculatrice ou un calendrier peuvent aider. Leurs réponses sont intégrées de manière naturelle dans le Texte de la conversation est intégré. Pour ce faire, Toolformer utilise un processus d'apprentissage auto-contrôlé, composé d'échantillonnage, d'exécution et de filtrage des appels API. Les jeux de données qui en résultent constituent la base du réglage fin du modèle.

Toolformer offre ainsi un aperçu expérimental de ce que pourrait faire à l'avenir un modèle linguistique polyvalent comme ChatGPT. Jusqu'à présent, les tentatives se sont plutôt concentrées sur l'implémentation d'outils directement dans un chatbot, mais selon Meta, cela ne donne pas encore les résultats souhaités. L'utilisation externe via l'API est donc une alternative prometteuse. Mais là aussi, les développeurs ont encore du pain sur la planche. Toolformer n'est par exemple pas encore en mesure d'enchaîner des applications ou de les utiliser de manière interactive. Il reste donc à voir si les capacités existantes sont déjà suffisantes pour une percée fondamentale.

    🐍✨À la recherche d'un nouveau défi ?

    Rejoins le AI Comedy Club ! Plonge dans un monde où l'IA et l'humour se rencontrent et utilise cette scène pour mettre en avant tes compétences. Que tu sois un jeune en devenir ou un développeur expérimenté, tu as la possibilité de montrer tes compétences en Python d'une manière amusante et innovante. Découvre également les possibilités de contribuer et même de postuler pour un emploi chez nous.

    Prêt à coder, à rire et à impressionner ?

    Consultez nos Challenge du club de comédie AI et découvre où ton humour et tes compétences en python peuvent te mener !

    Appliquer pour les scientifiques de données, développeur backend, ingénieur de données, développeur de logiciels, python développeur de logiciels emplois.

    À propos de moi

    Autres grands articles

    Titre du SDK OCR

    Le meilleur SDK OCR avec IA pour la capture de documents | Konfuzio

    Avec OCR SDK basé sur l'IA, vous améliorez l'efficacité de votre projet et réduisez le temps de développement. En quelques secondes, vous pouvez automatiquement...

    Lire l'article

    Programme de partenariat : libérer le pouvoir du partenariat

    Programme de partenariat de Konfuzio Êtes-vous prêt à faire passer votre entreprise au niveau supérieur ? Profitez du pouvoir de la collaboration...

    Lire l'article

    FUNSD+ | Un jeu de données FUNSD plus grand et révisé

    Lors de la création du dataset FUNSD+, nous voulions élargir le FUNSD. En outre, nous voulions mettre en place l'outil d'étiquetage,...

    Lire l'article
    Arrow-up