Fichas técnicas de procesos y datos técnicos de productos con IA

Lo que parece un trabajo clásico para el procesamiento de documentos asistido por IA se convierte rápidamente en un complejo proyecto de desarrollo para las empresas industriales: innumerables series de productos que se venden en varias versiones, valores medidos individuales, normas de ensayo y certificaciones, todo ello en diferentes documentos y diseños.

Ingenieros, equipos de compras y distribuidores pasan horas hojeando los PDF. En realidad, “sólo” les interesa saber qué material de sellado es resistente al calor hasta 200 grados, o si una de las 30 ofertas de proveedores cumple las certificaciones exigidas. La comprobación automatizada de las hojas de datos ya no parece tan trivial, y requiere enfoques de ingeniería que van mucho más allá del clásico reconocimiento de texto.

Qué se puede hacer con los datos estructurados de los productos

Una ficha de datos técnicos (FDS), también conocida como ficha de datos de producto o de seguridad en algunas industrias, contiene toda la información del producto que es esencial para la comunicación técnica entre empresas: Las especificaciones sobre las propiedades de los materiales y el procesamiento, así como las normas de ensayo, ayudan a las empresas en sus decisiones de compra y en la gestión de riesgos, escenarios clásicos de aplicación de la inteligencia artificial (IA).

Convertir automáticamente los datos de los productos en un formato que permita realizar búsquedas facilita la gestión interna de los datos y las actualizaciones y reduce significativamente la necesidad de comprobaciones por parte del personal. También pueden crearse selectores de productos interactivos y chatbots de inteligencia artificial para facilitar a los clientes la selección de productos a partir de datos estructurados. Había razones técnicas por las que esto no había sido la norma del sector durante años, hasta ahora.

Superar la complejidad de los datos técnicos

En primer lugar, las buenas noticias: sí, el problema está resuelto. Gracias a los modernos canales de IA basados en modelos lingüísticos multimodales, miles de fichas técnicas -independientemente de su diseño, idioma o tipo de documento- pueden convertirse ahora de forma totalmente automática en registros de datos estructurados y con capacidad de búsqueda. Lo que antes llevaba semanas de introducción manual de datos o creación de esquemas, ahora lleva horas. La precisión de la extracción alcanza valores que permiten un uso productivo sin necesidad de volver a comprobarla manualmente.

Por qué esto es más difícil de lo que se piensa:

• Estructura heterogénea de los documentos - Los documentos similares de distintos fabricantes, líneas de productos o décadas no siguen un diseño normalizado. Los nombres de las secciones, las estructuras de las tablas y las secuencias de campos varían mucho.
• Los tipos de productos no siguen un esquema normalizado - No todos los productos tienen las mismas propiedades. Un tornillo de máquina tiene una clase de resistencia, un tornillo para madera tiene un tipo de punta. Una lámpara LED tiene lumen y temperatura de color, una bombilla sólo vatios y casquillo. Los modelos de datos rígidos pierden inevitablemente información.
• Los valores medidos se distribuyen en varias líneas - La clave, la unidad, la condición de medida y el valor rara vez se encuentran en la misma línea. Los analizadores sintácticos convencionales los leen como entradas separadas y producen resultados absurdos.
• Los valores no son simples números - Las hojas de datos contienen rangos, desigualdades, aproximaciones e información cualitativa. Si lo pones todo en un campo de texto, destruyes la filtrabilidad.
• Sinónimos y vocabulario incoherente - Una misma propiedad tiene decenas de nombres en distintos documentos. Sin normalización, se crean registros de datos que no son comparables.
• La calidad del OCR como límite duro - Los caracteres especiales, las unidades y los símbolos científicos no son reconocidos por los sistemas convencionales. Analizadores de PDF a menudo se corrompe (por ejemplo, Ω se convierte en Q). Ningún modelo lingüístico puede reparar lo que el reconocimiento de texto destruye.
• La exhaustividad supera a la precisión - La falta de un valor medido hace que un producto sea invisible en las consultas de búsqueda. La cadena debe ser exhaustiva, no solo precisa.

Soluciones para fichas técnicas heterogéneas

Las decisiones de diseño decisivas en el tratamiento de las fichas de datos no afectan a los algoritmos individuales, sino a la interacción del diseño del esquema, la estrategia de extracción y el postprocesamiento. Cinco principios han demostrado su eficacia:

• Diseñar el sistema para el objetivo, no para la fuente - Una ficha de datos sigue la lógica del ingeniero, un selector de productos la del cliente. Mapear la estructura del documento en el modelo de datos da como resultado una jerarquía profunda llena de campos vacíos. Mejor: un esquema plano en el que cada campo responda a una pregunta de filtro o contribuya a una medición.
• Dividir la extracción en subtareas - Un extractor para la clasificación y los valores medidos al mismo tiempo es peor para ambos. Dos extractores independientes, uno para metadatos y otro para valores medidos, ofrecen mejores resultados. La fusión se realiza a continuación.
• Primero extraer, luego clasificar - Forzar los valores directamente en categorías predefinidas al extraerlos es obvio, pero conduce a una categorización incorrecta. Es más fiable tomar inicialmente la información del documento al pie de la letra y sólo normalizarla en un paso aparte.
• Explicitar los tipos de valores -„< 5 MPa“, „200-250 °C“ y „condicionalmente resistente“ son especificaciones de producto válidas, pero con significados completamente distintos. Si se guardan como texto normalizado, se pierde capacidad de filtrado. En su lugar, cada valor medido debe tener un tipo -número, rango, valor límite, aproximación o especificación cualitativa- para que los sistemas posteriores puedan trabajar con él de forma significativa.
• Mantener las condiciones como texto libre - Modelizar las condiciones de prueba como objetos estructurados suena elegante, pero falla debido a la variedad de combinaciones. Una cadena de texto libre es más fiable y puede analizarse posteriormente. Estructure lo que pueda verificar y deje el resto como texto.

Mejora automática de la calidad, sin ajustes

La calidad de la extracción puede aumentarse de forma iterativa sin tener que ajustar las ponderaciones del modelo. Principio: se extrae un conjunto de prueba, un agente de revisión independiente comprueba campo por campo cada extracción con el PDF original y sugiere cambios específicos en el esquema. Un segundo agente agrega los resultados, descarta los errores individuales como ruido y realiza ajustes específicos en las descripciones de los campos, las reglas y los vocabularios.

El ciclo se repite hasta que la calidad alcanza el nivel deseado. Unas pocas iteraciones suelen bastar para lograr mejoras significativas, para problemas que un revisor humano sólo encontraría tras horas de escrutinio de cientos de páginas. Todo el proceso de aprendizaje se desarrolla en forma de texto legible en el prompt: comprobable, comprensible y revisable en cualquier momento.

La solución informática de un vistazo

El tratamiento automatizado de los datos técnicos se lleva a cabo mediante el software Konfuzio de Helm & Nagel GmbH, como se muestra en la imagen. El sistema combina modelos lingüísticos multimodales con Reconocimiento de texto mediante OCR, El software no sólo extrae los datos del producto, sino que también los valida con respecto a las especificaciones y normas existentes; por ejemplo, si un valor de ensayo extraído coincide con la norma DIN/ISO especificada. Cuando la comprobación automática de plausibilidad alcanza sus límites, una interfaz gráfica de usuario permite la corrección manual por personal especializado.

¿Tiene en mente un conjunto específico de documentos mientras lee esto? Tome ahora Contacto y reciba una evaluación inicial no vinculante.

Conclusión

Las hojas de datos técnicos son sólo un ejemplo. Las mismas pautas se repiten en todas las organizaciones que almacenan cientos o miles de archivos PDF no legibles por máquina. Certificados de pruebas de aceptación, fichas de datos de seguridad, informes de laboratorio, certificados de conformidad. En todos estos casos, la ventaja empresarial no reside en la extracción en sí, sino en lo que se puede hacer después: Seleccionadores de productos que realmente funcionan, comparaciones entre proveedores, evaluaciones de riesgos con sólo pulsar un botón y decisiones de compra basadas en datos completos y no en el instinto.

Se pueden generalizar tres ideas: piense en el esquema desde la perspectiva del usuario final, no del documento: lo que el cliente filtra determina los campos. Separe la lectura, la normalización y la validación de forma coherente, en lugar de forzarlo todo en un solo paso. Y automatice no sólo la extracción, sino también el control de calidad: las mayores mejoras proceden de bucles de retroalimentación que producen mejores resultados de forma independiente.

En todos los casos hay documentos que no pueden procesarse de forma fiable. Estos casos pertenecen a la balanza de la precisión, no a la de la alfombra. Y la integridad cuenta al menos tanto como la precisión, porque en una aplicación controlada por filtros, un campo que falte hace desaparecer el producto.