Detección de anomalías en los datos: ¡Todo lo que necesita saber!

La detección de anomalías es un aspecto importante en muchos sectores y casos de uso, desde la seguridad a las redes, pasando por la optimización de recursos o el aumento de las capacidades de IA mediante Mejor calidad de los datos. En esta entrada del blog, veremos los diferentes aspectos y técnicas de la detección de anomalías y destacaremos la importancia del Aprendizaje Automático y la Inteligencia Artificial (IA) en este campo.

¿Qué es la detección de anomalías?

La detección de anomalías es el proceso de detectar patrones o eventos inusuales en los datos. Estas anomalías pueden indicar errores, fraudes, fallos de seguridad u otros sucesos inesperados. Existen varias técnicas y métodos de detección de anomalías basados en métodos estadísticos, de aprendizaje automático o de IA.

Detección de anomalías y aprendizaje automático

La aplicación del aprendizaje automático y la IA ha revolucionado la detección de anomalías. Se han desarrollado diversos algoritmos y modelos para detectar anomalías en los datos de forma eficaz y precisa. Algunos ejemplos de enfoques de aprendizaje automático para la detección de anomalías son Isolation Forest, Autoencoder y LSTM Autoencoder.

Detección de anomalías en series temporales

La detección de anomalías en series temporales se refiere a la identificación de anomalías en datos ordenados temporalmente. Técnicas como los métodos estadísticos, el aprendizaje automático y el aprendizaje profundo son especialmente útiles en este caso. Por ejemplo, la detección de anomalías mediante el autoencoder LSTM puede implementarse en datos de series temporales utilizando Python para detectar patrones inusuales.

Detección de anomalías supervisada y no supervisada

La detección de anomalías no supervisada no utiliza ninguna información previa sobre anomalías, mientras que la detección de anomalías supervisada utiliza anomalías ya conocidas como datos de entrenamiento. Ambos enfoques tienen sus propias ventajas e inconvenientes y pueden utilizarse en distintos escenarios.

Ejemplos de aplicación de la detección de anomalías La detección de anomalías puede utilizarse en diversos ámbitos, como:

• Detección de anomalías en la red: identificación de amenazas y ataques a la seguridad de las redes.
• Detección de anomalías en los costos de AWS: supervise los costos de los recursos de AWS y detecte aumentos inesperados en los costos.
• CloudWatch Anomaly Detection: monitorice el rendimiento de los servicios de AWS y detecte anomalías en tiempo real.
• Elasticsearch Anomaly Detection: Identificación de anomalías en grandes conjuntos de datos almacenados en Elasticsearch.
• Prometheus Anomaly Detection: Análisis de métricas y detección de anomalías en el rendimiento de sistemas y aplicaciones.
• Detección de anomalías de ciberseguridad: detección de fallos de seguridad y amenazas potenciales en sistemas y redes informáticos.

Herramientas y plataformas de detección de anomalías

Existen varias herramientas y plataformas que ofrecen funciones de detección de anomalías, entre ellas:

• Splunk: una potente plataforma de análisis de datos generados por máquinas que también ofrece funciones de detección de anomalías.
• AWS Anomaly Detection: un servicio de Amazon Web Services que utiliza el aprendizaje automático para detectar anomalías en los datos.
• Grafana: herramienta de código abierto para visualizar y analizar datos que también admite funciones de detección de anomalías.
• New Relic: plataforma de supervisión del rendimiento de las aplicaciones que ofrece funciones de detección de anomalías.
• Power BI: plataforma de inteligencia empresarial de Microsoft que ofrece funciones de detección de anomalías para la visualización y el análisis de datos.

Detección multivariante de anomalías

La detección de anomalías multivariante se refiere a la detección de anomalías en datos multidimensionales. Este tipo de detección de anomalías puede capturar patrones y relaciones más complejos en los datos que los enfoques de detección de anomalías univariantes. Las técnicas de aprendizaje profundo, como los autoencodificadores y los autoencodificadores LSTM, pueden utilizarse en la detección de anomalías multivariante.

Detección de anomalías en tiempo real

La detección de anomalías en tiempo real consiste en identificar anomalías en los datos a medida que se generan o recopilan. Esto puede ayudar a identificar problemas rápidamente y tomar medidas antes de que se agraven. Ejemplos de detección de anomalías en tiempo real son la detección de anomalías en la red y CloudWatch Anomaly Detection.

Detección de anomalías en Python

Python es un lenguaje de programación ampliamente utilizado que ofrece muchas bibliotecas y paquetes para la detección de anomalías. Algunas de las bibliotecas de Python más populares para la detección de anomalías son Scikit-learn, TensorFlow, Keras y PyOD.

Scikit-learn es una popular biblioteca de aprendizaje automático de Python y ofrece varios algoritmos para la detección de anomalías. Uno de estos algoritmos es el Isolation Forest. He aquí un ejemplo sencillo que muestra cómo utilizar Scikit-learn para la detección de anomalías con el algoritmo Isolation Forest:

import numpy como np
import matplotlib.pyplot como plt
from sklearn.ensemble import IsolationForest
from sklearn.datasets import make_blobs

# Generar datos de muestra
X, _ = make_blobs(n_muestras=300, centros=1, estado_aleatorio=42)

# Añade algunos valores atípicos
valores atípicos = np.random.RandomState(42).uniform(low=-6, high=6, size=(20, 2))
X = np.r_[X, valores atípicos]

# Adaptar el modelo Isolation Forest
clf = IsolationForest(contaminación=0,1, estado_aleatorio=42)
clf.fit(X)

# Predecir anomalías
y_pred = clf.predict(X)

# Visualiza los resultados
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50, edgecolors='k', cmap='viridis')
plt.title('Detección de anomalías con bosque de aislamiento')
plt.xlabel('Característica 1')
plt.ylabel('Característica 2')
plt.show()

En este ejemplo, primero importamos las bibliotecas necesarias y generamos algunos datos de muestra con hacer_blobs. También añadimos algunos valores atípicos aleatorios al conjunto de datos. A continuación, creamos un AislamientoBosque-modelo con un contaminación-que representa la proporción de valores atípicos en el conjunto de datos. A continuación, ajustamos el modelo a nuestros datos y utilizamos el parámetro predecir-para clasificar los puntos de datos como normales o anómalos. Por último, visualizamos los resultados con un gráfico de dispersión que utiliza colores diferentes para los puntos de datos normales y anómalos.

Puede experimentar con otros algoritmos de detección de anomalías disponibles en Scikit-learn, como One-Class SVM, Local Outlier Factor (LOF) y Elliptic Envelope. Adapte los parámetros y el conjunto de datos a su caso de uso específico.

Datos de PNL y relevancia de la detección de anomalías en los datos de formación

El término PLN (Procesamiento del Lenguaje Natural) hace referencia al procesamiento y análisis automáticos del lenguaje humano por parte de ordenadores. Cuando se trabaja con datos de PLN, es crucial utilizar datos de entrenamiento coherentes y de alta calidad para desarrollar modelos eficaces y precisos. La detección de anomalías en los datos de entrenamiento es relevante porque ayuda a identificar puntos de datos incoherentes, erróneos o inesperados que podrían afectar al rendimiento del modelo.

Al detectar y tratar las anomalías en los datos de entrenamiento, se puede mejorar la calidad de los datos de entrenamiento, lo que a su vez conduce a mejores modelos de PLN. Esto es especialmente importante en aplicaciones como la clasificación de textos, el reconocimiento de entidades con nombre, el análisis de sentimientos y la traducción automática.

Detección de anomalías en datos de entrenamiento con Konfuzio SDK

Para garantizar y comprobar la existencia de posibles valores atípicos entre las anotaciones de la verdad terrestre, puede utilizar uno de los métodos de la clase Label. En el siguiente ejemplo utilizamos el SDK Konfuzio y el método get_probable_outliers-método para detectar anomalías en la Anotaciones encontrar:

from konfuzio_sdk.data import Proyecto

# Crear un objeto de proyecto
project = Proyecto(id_=TU_ID_PROYECTO)

# Selecciona la etiqueta deseada
label = project.get_label_by_name(TU_NOMBRE_ETIQUETA)

# Encontrar valores atípicos con diferentes métodos de detección de anomalías
valores atípicos = label.get_probable_outliers(project.categories, confidence_search=False)

En este ejemplo utilizamos el get_probable_outliers-para encontrar valores atípicos en las anotaciones. El método permite combinar diferentes métodos de detección de anomalías o ejecutarlos todos juntos y devolver sólo las anotaciones que fueron detectadas por todos ellos. En este caso concreto hemos utilizado el método búsqueda_confianza-se desactiva explícitamente. Por defecto, los tres métodos están activados.

Con este enfoque, puede identificar y corregir las anotaciones incoherentes o erróneas para mejorar la calidad de sus datos de formación y, en última instancia, desarrollar mejores modelos de PLN.

Conclusión

La detección de anomalías es un aspecto crucial en muchas industrias y casos de uso. Mediante el uso del aprendizaje automático, la IA y diversos algoritmos, las anomalías pueden detectarse con eficacia y precisión. El desarrollo continuo de estas técnicas y métodos nos permite desarrollar sistemas de detección de anomalías cada vez mejores para hacer frente a los retos y amenazas en tiempo real.