Tout ce que vous devez savoir sur la détection des anomalies

La détection d'anomalies est un aspect important dans de nombreux secteurs et cas d'application, de la sécurité aux réseaux en passant par l'optimisation des ressources ou l'augmentation des capacités d'IA grâce à une meilleure qualité des données.

Dans cet article de blog, nous nous penchons sur les différents aspects et techniques de la détection des anomalies et soulignons l'importance des Apprentissage automatique (ML) et Intelligence artificielle (IA) dans ce domaine.

Qu'est-ce que la détection d'anomalies ?

La détection d'anomalies, en anglais Anomaly Detection, est le processus par lequel des modèles ou des événements inhabituels sont détectés au sein des données. Ces anomalies peuvent être le signe d'erreurs, de fraudes, de violations de la sécurité ou d'autres événements inattendus. Il existe différentes techniques et méthodes de détection des anomalies, basées sur des méthodes statistiques, d'apprentissage automatique ou d'intelligence artificielle.

Détection d'anomalies et apprentissage automatique

L'application du Machine Learning et de l'IA a révolutionné la détection des anomalies. Il existe une multitude d'algorithmes et de modèles développés pour détecter efficacement et précisément les anomalies dans les données. Quelques exemples d'approches d'apprentissage automatique pour la détection d'anomalies sont la forêt d'isolation, l'auto-encodeur et l'auto-encodeur LSTM.

Détection d'anomalies dans les séries temporelles

La détection d'anomalies dans les séries temporelles se réfère à l'identification d'anomalies dans des données ordonnées dans le temps. Des techniques telles que les méthodes statistiques, l'apprentissage automatique et l'apprentissage profond sont particulièrement utiles dans ce domaine. Par exemple, une détection d'anomalies LSTM Autoencoder peut être implémentée dans des données de séries temporelles avec Python pour identifier des modèles inhabituels.

Détection d'anomalies non supervisée et supervisée

La détection d'anomalies non supervisée n'utilise pas d'informations préalables sur les anomalies, tandis que la détection d'anomalies supervisée utilise des anomalies déjà connues comme données d'apprentissage. Les deux approches ont leurs propres avantages et inconvénients et peuvent être utilisées dans différents scénarios.

Exemples d'applications de la détection d'anomalies La détection d'anomalies peut être utilisée dans différents domaines, comme par ex :

• Détection des anomalies de réseau : identification des menaces de sécurité et des attaques contre les réseaux.
• AWS Cost Anomaly Detection : surveillance des coûts des ressources AWS et détection des augmentations de coûts inattendues.
• CloudWatch Anomaly Detection : Surveillance des performances des services AWS et détection des anomalies en temps réel.
• Elasticsearch Anomaly Detection : identification d'anomalies dans de grandes quantités de données stockées dans Elasticsearch.
• Prometheus Anomaly Detection : analyse des métriques et détection des anomalies dans les performances des systèmes et des applications.
• Détection d'anomalies dans le domaine de la cybersécurité : détection des violations de la sécurité et des menaces potentielles dans les systèmes et réseaux informatiques.

Outils de détection d'anomalies et plates-formes de détection d'anomalies

Il existe plusieurs outils et plateformes qui offrent des fonctions de détection d'anomalies, notamment :

• Splunk : une puissante plate-forme d'analyse des données générées par les machines, qui offre également des fonctions de détection des anomalies.
• AWS Anomaly Detection : un service d'Amazon Web Services qui utilise l'apprentissage automatique pour détecter les anomalies dans les données.
• Grafana : un outil open source pour la visualisation et l'analyse de données, qui prend également en charge les fonctions de détection d'anomalies.
• New Relic : une plateforme de surveillance des performances des applications qui fournit des fonctionnalités de détection des anomalies.
• Power BI : une plateforme de business intelligence de Microsoft qui offre des fonctions de détection d'anomalies pour la visualisation et l'analyse des données.

Détection d'anomalies à plusieurs variables

La détection d'anomalies multivariée fait référence à la détection d'anomalies dans des données multidimensionnelles. Ce type de détection d'anomalies peut saisir des modèles et des relations plus complexes dans les données que les approches de détection d'anomalies univariées. Les techniques d'apprentissage en profondeur telles que l'auto-encodeur et l'auto-encodeur LSTM peuvent être utilisées dans la détection d'anomalies multivariée.

Détection d'anomalies en temps réel

La détection d'anomalies en temps réel fait référence à l'identification d'anomalies dans les données au fur et à mesure qu'elles sont générées ou collectées. Cela peut aider à identifier rapidement les problèmes et à prendre des mesures avant qu'ils ne s'aggravent. Des exemples de détection d'anomalies en temps réel sont la détection d'anomalies réseau et la détection d'anomalies CloudWatch.

Détection d'anomalies en Python

Python est un langage de programmation très répandu qui offre de nombreuses bibliothèques et paquets pour la détection d'anomalies. Certaines des bibliothèques Python les plus connues pour la détection d'anomalies sont Scikit-learn, TensorFlow, Keras et PyOD.

Scikit-learn est une bibliothèque Python populaire pour l'apprentissage automatique et propose différents algorithmes pour la détection d'anomalies. L'un de ces algorithmes est la forêt d'isolation. Voici un exemple simple qui montre comment utiliser Scikit-learn pour la détection d'anomalies avec l'algorithme Isolation Forest :

import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest
from sklearn.datasets import make_blobs
# Generiere Beispieldaten
X, _ = make_blobs(n_samples=300, centers=1, random_state=42)
# Füge einige Ausreißer hinzu
outliers = np.random.RandomState(42).uniform(low=-6, high=6, size=(20, 2))
X = np.r_[X, outliers]
# Passe das Isolation Forest-Modell an
clf = IsolationForest(contamination=0.1, random_state=42)
clf.fit(X)
# Vorhersage von Anomalien
y_pred = clf.predict(X)
# Visualisiere die Ergebnisse
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50, edgecolors='k', cmap='viridis')
plt.title('Anomalieerkennung mit Isolation Forest')
plt.xlabel('Merkmal 1')
plt.ylabel('Merkmal 2')
plt.show()

Dans cet exemple, nous importons d'abord les bibliothèques nécessaires et générons quelques exemples de données avec make_blobs. Nous ajoutons également quelques valeurs aberrantes aléatoires à l'ensemble de données. Ensuite, nous instancions un IsolationForest-modèle avec un contamination-qui représente la proportion de valeurs aberrantes dans l'ensemble de données. Nous adaptons ensuite le modèle à nos données en utilisant les predict-pour classer les points de données comme normaux ou anormaux. Enfin, nous visualisons les résultats à l'aide d'un diagramme de dispersion qui utilise des couleurs différentes pour les points de données normaux et anormaux.

Vous pouvez expérimenter avec d'autres algorithmes de détection d'anomalies disponibles dans Scikit-learn, tels que le SVM à classe unique, le facteur d'aberration locale (LOF) et l'enveloppe elliptique. Adaptez les paramètres et le jeu de données à votre cas d'application spécifique.

Données NLP et pertinence de la détection d'anomalies dans les données de formation

Le NLP (Natural Language Processing) fait référence au traitement et à l'analyse automatiques du langage humain par des ordinateurs. Lorsque l'on travaille avec des données NLP, il est essentiel d'utiliser des données d'apprentissage cohérentes et de haute qualité afin de développer des modèles qui soient efficaces et précis. La détection d'anomalies dans les données d'apprentissage est pertinente car elle aide à identifier les points de données incohérents, erronés ou inattendus qui pourraient nuire aux performances du modèle.

En identifiant et en traitant les anomalies dans les données d'apprentissage, il est possible d'améliorer la qualité des données d'apprentissage, ce qui conduit à de meilleurs modèles NLP. Ceci est particulièrement important dans les applications telles que la classification de textes, la reconnaissance d'entités nommées, l'analyse de sentiments et la traduction automatique.

Détection d'anomalies dans les données d'entraînement avec Konfuzio SDK

Pour garantir et vérifier les éventuelles valeurs aberrantes parmi les annotations Ground Truth, vous pouvez utiliser l'une des méthodes de la classe Label. Dans l'exemple suivant, nous utilisons la Konfuzio SDK et la get_probable_outliers-pour trouver des anomalies dans les annotations :

from konfuzio_sdk.data import Project
# Erstellen Sie ein Projekt-Objekt
project = Project(id_=YOUR_PROJECT_ID)
# Wählen Sie das gewünschte Label aus
label = project.get_label_by_name(YOUR_LABEL_NAME)
# Finden Sie Ausreißer mit verschiedenen Anomalieerkennungsmethoden
outliers = label.get_probable_outliers(project.categories, confidence_search=False)

Dans cet exemple, nous utilisons la get_probable_outliers-pour détecter les anomalies dans les annotations. Cette méthode permet de combiner différentes méthodes de détection d'anomalies ou de les exécuter toutes ensemble et de ne renvoyer que les annotations détectées par chacune d'elles. Dans ce cas particulier, nous avons utilisé la confidence_search-est explicitement désactivée. Par défaut, les trois méthodes sont activées.

Cette approche vous permet d'identifier et de corriger les annotations incohérentes ou erronées afin d'améliorer la qualité de vos données de formation et, au final, de développer de meilleurs modèles PNL.

Conclusion sur la détection des anomalies

La détection d'anomalies est un aspect crucial dans de nombreux secteurs et cas d'application. Grâce à l'utilisation du Machine Learning, de l'IA et de différents algorithmes, les anomalies peuvent être détectées de manière efficace et précise. Le développement continu de ces techniques et méthodes nous permet de mettre au point des systèmes de détection d'anomalies toujours plus performants afin de relever les défis et de faire face aux menaces en temps réel.