Traiter les fiches techniques et les données techniques des produits avec l'IA

Ce qui semble être un travail classique de traitement de documents assisté par IA se transforme rapidement en un projet de développement complexe pour les entreprises industrielles : d'innombrables gammes de produits commercialisées dans diverses versions, des valeurs de mesure individuelles, des normes de contrôle et des certifications - le tout dans différents documents et mises en page.

Les ingénieurs, les équipes d'achat et les distributeurs passent des heures à feuilleter les PDF. Pourtant, ils ne s'intéressent “que” au matériau d'étanchéité résistant à une chaleur de 200 degrés ou à la question de savoir si, parmi les 30 offres des fournisseurs, l'une d'entre elles répond aux certifications requises. La vérification automatisée des fiches techniques n'est plus aussi banale et nécessite des approches d'ingénierie qui vont bien au-delà de la reconnaissance de texte classique.

Ce qui devient possible avec des données structurées sur les produits

Une fiche technique (TDS), ou dans certains secteurs, une fiche de données de sécurité ou de produit, contient toutes les informations sur le produit qui sont indispensables à la communication technique entre les entreprises : Les spécifications concernant les propriétés des matériaux et de la transformation ainsi que les normes de contrôle aident les entreprises à prendre des décisions d'achat et à gérer les risques - des scénarios d'application classiques de l'intelligence artificielle (IA).

L'automatisation des données produit sous une forme consultable facilite la gestion interne des données ainsi que les mises à jour et réduit considérablement la nécessité de contrôles personnels. En outre, il est possible de mettre en place des sélecteurs de produits interactifs et des chatbots d'intelligence artificielle qui facilitent le choix des produits par les clients sur la base de données structurées. La raison pour laquelle cela n'est pas devenu une norme industrielle depuis des années était d'ordre technique - jusqu'à présent.

Surmonter la complexité des données techniques

Commençons par la bonne nouvelle : oui, le problème est résolu. Grâce à des pipelines d'IA modernes basés sur des modèles linguistiques multimodaux, il est aujourd'hui possible de convertir des milliers de fiches techniques - indépendamment de la mise en page, de la langue ou du type de document - en enregistrements structurés et consultables de manière entièrement automatique. Ce qui représentait auparavant des semaines de saisie manuelle ou de création de schémas prend aujourd'hui des heures. La précision de l'extraction atteint des valeurs qui permettent une utilisation productive sans contrôle manuel ultérieur.

Pourquoi c'est plus difficile qu'on pourrait le croire :

• Structure hétérogène des documents - Les documents similaires de différents fabricants, lignes de produits ou décennies ne suivent pas une mise en page uniforme. Les noms des sections, les structures des tableaux et l'ordre des champs varient fortement.
• Les types de produits ne suivent pas un schéma uniforme - Tous les produits n'ont pas les mêmes caractéristiques. Une vis de machine a une classe de résistance, une vis à bois un type de pointe. Une lampe LED a des lumens et une température de couleur, une ampoule à incandescence uniquement des watts et un culot. Les modèles de données rigides perdent alors inévitablement des informations.
• Les valeurs mesurées se répartissent sur plusieurs lignes - La clé, l'unité, la condition de mesure et la valeur sont rarement sur la même ligne. Les analyseurs conventionnels les lisent comme des entrées séparées et produisent des résultats absurdes.
• Les valeurs ne sont pas de simples chiffres - Les fiches techniques contiennent des rangs, des inégalités, des approximations et des données qualitatives. Si l'on met tout dans un champ de texte, on détruit la possibilité de filtrage.
• Synonymes et vocabulaire incohérent - La même propriété porte des dizaines de noms dans différents documents. Sans normalisation, on obtient des jeux de données qui ne sont pas comparables.
• La qualité OCR comme limite dure - Les caractères spéciaux, les unités et les symboles scientifiques ne sont pas pris en compte par les systèmes d'écriture traditionnels. Parseurs PDF est souvent corrompu (par exemple, Ω devient Q). Ce que la reconnaissance de texte détruit, aucun modèle linguistique ne peut le réparer.
• L'exhaustivité bat la précision - Une valeur de mesure manquante rend un produit invisible dans les requêtes de recherche. Le pipeline doit être exhaustif, pas seulement précis.

Solutions pour les fiches de données hétérogènes

Les décisions décisives en matière de conception lors du traitement des fiches techniques ne concernent pas des algorithmes individuels, mais l'interaction entre la conception des schémas, la stratégie d'extraction et le post-traitement. Cinq principes se révèlent efficaces :

• Concevoir un schéma pour la cible, pas pour la source - Une fiche de données suit la logique de l'ingénieur, un sélecteur de produit celle du client. Si l'on reproduit la structure du document dans le modèle de données, on obtient une hiérarchie profonde remplie de champs vides. Mieux vaut un schéma plat, dans lequel chaque champ répond à une question de filtrage ou contribue à une mesure.
• Fractionner l'extraction en sous-tâches - Un extracteur pour la classification et les valeurs de mesure en même temps sera moins bon pour les deux. Deux extracteurs indépendants avec une invite focalisée - l'un pour les métadonnées, l'autre pour les valeurs de mesure - donnent de meilleurs résultats. La fusion se fait en aval.
• Extraire d'abord, classer ensuite - Il est évident qu'il faut forcer les valeurs à entrer directement dans des catégories prédéfinies lors de l'extraction, mais cela entraîne des erreurs de classement. Il est plus fiable de reprendre d'abord les données du document au mot près et de ne les uniformiser que dans une étape séparée.
• Rendre les types de valeurs explicites < 5 MPa„, “200-250 °C„ et “résistance limitée„ sont toutes des indications valables sur le produit, mais avec des significations totalement différentes. Si on les enregistre de manière uniforme sous forme de texte, on perd la possibilité de les filtrer. Au lieu de cela, chaque valeur de mesure devrait être accompagnée d'un type - chiffre, plage, valeur limite, approximation ou indication qualitative - afin que les systèmes en aval puissent les utiliser de manière judicieuse.
• Conserver les conditions sous forme de texte libre - Modéliser les conditions de test sous forme d'objets structurés semble élégant, mais se heurte à la diversité des combinaisons. Une chaîne de texte libre est plus fiable et peut être analysée en aval. Structurer ce qui peut être vérifié - laisser le reste en texte.

Amélioration automatique de la qualité - sans finalisation

La qualité de l'extraction peut être augmentée de manière itérative, sans adaptation des poids des modèles. Le principe : un ensemble de tests est extrait, un agent de révision indépendant vérifie chaque extraction champ par champ par rapport au PDF original et propose des modifications concrètes du schéma. Un deuxième agent agrège les résultats, rejette les erreurs individuelles comme du bruit et génère des adaptations ciblées des descriptions de champs, des règles et des vocabulaires.

Le cycle se répète jusqu'à ce que la qualité atteigne son plateau cible. Quelques itérations suffisent souvent à apporter des améliorations significatives - pour des problèmes qu'un réviseur humain ne trouverait qu'après avoir consulté des centaines de pages pendant des heures. Tout l'apprentissage se fait sous forme de texte lisible par l'homme dans le prompt : vérifiable, compréhensible et révisable à tout moment.

La solution logicielle en bref

Le traitement automatisé des données techniques est effectué comme indiqué par le logiciel Konfuzio de Helm & Nagel GmbH. Le système combine des modèles linguistiques multimodaux avec Reconnaissance de texte assistée par OCR, Les données de produits peuvent non seulement être extraites, mais aussi validées par rapport aux spécifications et normes existantes, par exemple si une valeur de contrôle extraite correspond à la norme DIN/ISO indiquée. Là où le contrôle de plausibilité automatique atteint ses limites, une interface graphique permet au personnel spécialisé d'effectuer des corrections manuelles.

Vous avez un ensemble concret de documents en tête pendant que vous lisez ceci ? Prenez maintenant Contact et recevez une première estimation sans engagement.

Conclusion

Les fiches techniques ne sont qu'un exemple. Les mêmes schémas se répètent partout où les entreprises sont assises sur des centaines ou des milliers de PDF non lisibles par machine - Certificats de contrôle de réception, Fiches de données de sécurité, rapports de laboratoire, certificats de conformité. Dans tous ces cas, le levier commercial ne réside pas dans l'extraction elle-même, mais dans ce qui devient possible par la suite : Des sélecteurs de produits qui fonctionnent réellement, des comparaisons entre fournisseurs, des évaluations de risques en un clic et des décisions d'achat basées sur des données complètes plutôt que sur l'intuition.

Trois idées peuvent être généralisées : penser le schéma en fonction de l'utilisateur final et non du document - ce que le client filtre détermine les champs. Séparer systématiquement la lecture, la normalisation et la validation, au lieu de tout forcer en une seule étape. Et automatiser non seulement l'extraction, mais aussi l'assurance qualité - les plus grandes améliorations proviennent des boucles de feed-back qui produisent de meilleurs résultats de manière autonome.

Le principe est le suivant : chaque pipeline comporte des documents qui ne peuvent pas être traités de manière fiable. Ces cas doivent figurer dans le bilan de précision, pas sous le tapis. Et l'exhaustivité compte au moins autant que la précision - car dans une application pilotée par filtre, un champ manquant fait disparaître le produit.