Mémoire à court terme (LSTM) - Fonction et application

L'intelligence artificielle (IA) a fait d'énormes progrès au cours des dernières années et révolutionne le monde tel que nous le connaissons. L'un des développements les plus importants est la mémoire à court terme (LSTM). Dans cet article, nous allons nous intéresser de près à la MLT, à son fonctionnement et aux avantages qu'elle offre.

Qu'est-ce qu'une mémoire à long terme ?

Un LSTM est un bloc fonctionnel spécial de réseaux neuronaux récurrents (RNN) doté d'une mémoire à court terme à long terme. Il s'agit d'une évolution des RNN et permet de résoudre le problème des gradients disparaissants, dans lequel les gradients de poids diminuent progressivement pendant l'entraînement et le réseau ne stocke donc plus d'informations utiles. Les cellules LSTM ont trois types de portes - une porte d'entrée, une porte de mémorisation et d'oubli et une porte de sortie - pour stocker les souvenirs des expériences passées. La mémoire à court terme est conservée longtemps et le comportement du réseau est encodé dans les poids. Les réseaux LSTM sont particulièrement adaptés pour faire des prédictions basées sur des données de séries temporelles, comme par exemple pour la reconnaissance de textes manuscrits et la reconnaissance vocale.

Comment fonctionne une mémoire à court terme longue ?

Un réseau LSTM se compose de plusieurs cellules LSTM disposées de manière séquentielle. Chaque cellule LSTM possède trois portes qui contrôlent le flux d'informations dans le réseau. La porte d'entrée régule le flux d'informations, la porte de mémorisation et d'oubli veille à ce que les informations non importantes soient oubliées, et la porte de sortie détermine quelles informations sont transmises à l'étape suivante. De cette manière, le réseau peut prendre des décisions sur la base d'expériences antérieures et est capable d'identifier les dépendances à long terme dans les données.

Applications de la mémoire à long terme

  1. Reconnaissance vocale: LSTM est souvent utilisé dans les outils de reconnaissance vocale. Cette technologie peut reconnaître et analyser les modèles linguistiques du locuteur afin de l'identifier. De ce fait, elle peut également permettre une reconnaissance automatique de la parole, par exemple pour contrôler les commandes vocales des appareils de la maison intelligente.
  2. Reconnaissance de l'écriture: LSTM peut également aider à reconnaître les textes manuscrits. Le système peut analyser et distinguer les modèles d'écriture afin d'identifier correctement le texte. Cela permet de l'utiliser par exemple dans les programmes de traitement de texte pour la saisie manuscrite.
  3. Prédiction de données de séries temporelles: LSTM peut être utilisé pour prédire des événements futurs sur la base de données en série temporelle. Cela peut être utilisé, par exemple, pour prévoir les marchés financiers, les prévisions météorologiques ou les prévisions de la demande en électricité et de l'approvisionnement en énergie.
  4. Détection d'anomalies dans le trafic réseau: LSTM peut également aider à détecter des anomalies dans le trafic réseau. En analysant des modèles et en les comparant à des données historiques, le système peut détecter des activités inhabituelles et identifier des attaques potentielles.
  5. Systèmes de détection d'intrusion : Les IDS utilisent le LSTM pour détecter d'éventuelles attaques sur les systèmes ou les réseaux. Le système peut analyser les activités des pirates et prendre les mesures appropriées pour garantir la sécurité des réseaux.

Fonctionnement de LSTM

LSTM est un type de réseau neuronal récurrent (RNN) conçu pour résoudre le problème du gradient disparaissant en introduisant une cellule mémoire capable de stocker des informations pour des périodes de temps plus longues. L'architecture LSTM se compose de plusieurs éléments importants.

LSTM

Porte d'entrée

Contrôle le flux de nouvelles entrées dans la cellule de mémoire. Il utilise une fonction d'activation sigmoïde pour décider quelles valeurs doivent être conservées et lesquelles doivent être rejetées.

Forget Gate

Contrôle le flux d'informations du pas de temps précédent qui doit être oublié. Il utilise également une fonction d'activation sigmoïde pour déterminer quelles informations doivent être oubliées.

Porte de sortie

Contrôle la sortie de la cellule de mémoire. Il utilise une fonction d'activation sigmoïde et une fonction de tangente hyperbolique pour déterminer quelles informations doivent être émises.

Cellule mémoire

Il s'agit du composant principal de l'architecture LSTM. Il stocke des informations au fil du temps et peut oublier sélectivement des informations ou en ajouter de nouvelles à son état interne.

À chaque pas de temps, le modèle LSTM reçoit un vecteur d'entrée et un vecteur d'état caché provenant du pas de temps précédent. Le vecteur d'entrée est traité par l'Input Gate et le Forget Gate et les valeurs résultantes sont utilisées pour mettre à jour la Memory Cell.

Un état candidat est ensuite généré en utilisant la porte d'entrée et cet état candidat est combiné avec l'état de la Memory Cell en utilisant une opération d'addition élément par élément. Enfin, la porte de sortie est utilisée pour déterminer quelles informations doivent être sorties de la Memory Cell, et le vecteur d'état caché qui en résulte est transmis au pas de temps suivant.

En utilisant une cellule de mémoire et trois portes séparées pour contrôler le flux d'informations, l'architecture LSTM est capable d'apprendre et de stocker efficacement des informations sur de longues périodes, ce qui la rend adaptée à des tâches telles que la reconnaissance vocale, la traduction vocale et l'analyse des sentiments.

Comparaison de LSTM avec d'autres techniques

Les réseaux LSTM ont trouvé de nombreuses applications dans le domaine de l'IA, de la reconnaissance vocale à la détection d'anomalies dans le trafic réseau. La capacité de sélectionner et d'oublier des informations passées permet aux réseaux d'apprendre, sur la base de données d'entraînement, quelles informations du passé sont utiles pour la sortie actuelle. Il en résulte de meilleures prédictions et décisions basées sur des données historiques.

Un autre avantage des réseaux LSTM est leur capacité à être dotés de nombreuses couches. De tels réseaux multicouches sont extrêmement capables d'apprendre et de résoudre des problèmes complexes que les réseaux neuronaux traditionnels ne peuvent pas gérer.

TechniqueAvantagesInconvénients
Réseaux FeedforwardEntraînement rapide et facilePas de prise en compte des données de séries chronologiques
Réseaux récurrentsPrise en compte possible des séquencesProblèmes lors du traitement de longues séquences
LSTMMeilleur traitement des longues séquencesTemps d'entraînement plus long par rapport aux autres techniques

Conclusion

La mémoire à court terme (Long Short-Term Memory) est une technologie importante dans le domaine de l'intelligence artificielle. Elle permet de mieux entraîner les RNN et d'obtenir ainsi de meilleures performances. Les applications de LSTM sont nombreuses et vont de la reconnaissance vocale à la détection d'anomalies dans le trafic réseau. Par rapport à d'autres techniques, LSTM offre un meilleur traitement des longues séquences, mais les temps d'entraînement peuvent être plus longs.

"
"
Avatar de Maximilian Schneider

Derniers articles