Cadre d'évaluation de Document AI

Dans cet article de blog, nous allons proposer un cadre d'évaluation pour Document AI qui se déroule à trois niveaux différents : Niveau NER (Named Entity Recognition), au niveau des concepts et au niveau des documents. Nous illustrerons ce cadre d'évaluation à l'aide d'un exemple d'application - les KID financiers (Key Information Documents) - qui contiennent différents concepts tels que les émetteurs et les actifs.

Évaluation au niveau des RNE

Lors de l'évaluation de Modèles NER l'accent est mis sur la précision de la reconnaissance d'entités nommées individuelles telles que les personnes, les lieux ou les organisations. Dans notre exemple de KID financiers, les entités nommées telles que les noms d'émetteurs, les lieux ou les noms de produits pourraient être pertinentes.

• Précision : la précision indique combien d'entités nommées reconnues sont effectivement correctes. Une valeur de précision élevée indique que la plupart des entités reconnues sont correctes.
• Taux de faux positifs : le taux de faux positifs indique combien d'entités détectées ont été identifiées à tort comme étant correctes. Une valeur faible est souhaitable, car les faux positifs doivent être évités.
• Taux de faux négatifs : le taux de faux négatifs indique le nombre d'entités réellement présentes qui n'ont pas été détectées. Un faible taux de faux négatifs indique que la plupart des entités pertinentes ont été détectées.

Évaluation au niveau des concepts

Au niveau du concept, différentes entités nommées sont regroupées en un concept, par exemple un émetteur avec un prénom, un nom, une date de naissance, une rue, un numéro et un code postal. Dans notre exemple, des concepts tels que les données de l'émetteur ou les détails de l'actif pourraient être pertinents.

• Précision : la précision indique combien de concepts reconnus sont corrects, y compris toutes les entités associées. Une valeur de précision élevée signifie que la plupart des concepts reconnus sont corrects.
• Taux de faux positifs : le taux de faux positifs indique le nombre de concepts détectés qui ont été identifiés à tort comme étant corrects. Une valeur faible indique que les faux positifs ont été minimisés.
• Taux de faux négatifs : le taux de faux négatifs indique le nombre de concepts réellement présents qui n'ont pas été reconnus. Un faible taux de faux négatifs indique que la plupart des concepts pertinents ont été détectés.

Évaluation au niveau des documents

Au niveau des documents, tous les concepts doivent être trouvés avec toutes les entités correctes. Si le score est de 100 %, tous les documents peuvent être traités de manière entièrement automatique.

• Précision : la précision indique combien de documents ont été traités correctement et combien de concepts et d'entités pertinents ont été reconnus. Une valeur de précision élevée signifie que la plupart des documents ont été traités correctement.
• Taux de faux positifs : le taux de faux positifs indique combien de documents ont été identifiés à tort comme ayant été traités correctement. Une valeur faible est souhaitable, car il faut éviter les faux positifs.
• Taux de faux négatifs : le taux de faux négatifs indique combien de documents n'ont pas été traités correctement et combien de concepts ou d'entités pertinents n'ont pas été reconnus. Un faible taux de faux négatifs indique que la plupart des informations pertinentes ont été saisies avec succès.

En appliquant ce cadre d'évaluation à différents niveaux, nous pouvons évaluer de manière exhaustive les performances de Document AI et nous assurer que toutes les informations pertinentes sont correctement capturées. Cela est essentiel pour automatiser les processus de traitement des documents et garantir leur précision et leur efficacité.