Documentar el marco de evaluación de la IA

En esta entrada del blog, presentaremos un marco de evaluación para Documento AI que se lleva a cabo en tres niveles diferentes: Nivel NER (Reconocimiento de Entidades Nombradas), nivel de concepto y nivel de documento. Ilustraremos este marco de evaluación con un ejemplo de aplicación: los KID (Key Information Documents) financieros, que contienen varios conceptos, como emisores y activos.

Evaluación a nivel de las RNE

En la evaluación de Modelos NER la atención se centra en la precisión del reconocimiento de entidades con nombre propio, como personas, lugares u organizaciones. En nuestro ejemplo de los KID financieros, podrían ser relevantes entidades como nombres de emisores, lugares o nombres de productos.

• Precisión: La precisión indica cuántas de las entidades con nombre reconocidas son realmente correctas. Un valor alto de precisión indica que la mayoría de las entidades reconocidas son correctas.
• Tasa de falsos positivos: La tasa de falsos positivos muestra cuántas de las entidades reconocidas se identificaron incorrectamente como correctas. Es deseable un valor bajo, ya que deben evitarse los falsos positivos.
• Tasa de falsos negativos: La tasa de falsos negativos indica cuántas entidades reales no fueron reconocidas. Una tasa baja de falsos negativos indica que se reconoció a la mayoría de las entidades relevantes.

Evaluación a nivel de concepto

A nivel de concepto, varias entidades con nombre se combinan en un concepto, por ejemplo, un emisor con nombre, apellidos, fecha de nacimiento, calle, número de casa y código postal. En nuestro ejemplo, podrían ser relevantes conceptos como datos del emisor o detalles del activo.

• Precisión: La precisión muestra cuántos de los conceptos reconocidos son correctos, incluidas todas las entidades asociadas. Un valor de precisión alto significa que la mayoría de los conceptos reconocidos son correctos.
• Tasa de falsos positivos: La tasa de falsos positivos indica cuántos de los conceptos reconocidos se identificaron incorrectamente como correctos. Un valor bajo indica que se han minimizado los falsos positivos.
• Tasa de falsos negativos: La tasa de falsos negativos muestra cuántos de los conceptos realmente presentes no fueron reconocidos. Una tasa baja de falsos negativos indica que se reconocieron la mayoría de los conceptos relevantes.

Evaluación a nivel de documento

A nivel de documento, deben encontrarse todos los conceptos con todas las entidades correctas. Si la puntuación es 100 %, todos los documentos pueden procesarse de forma totalmente automática.

• Precisión: La precisión indica cuántos documentos se procesaron correctamente y se reconocieron todos los conceptos y entidades relevantes. Un valor de precisión alto significa que la mayoría de los documentos se procesaron correctamente.
• Tasa de falsos positivos: La tasa de falsos positivos muestra cuántos documentos se identificaron incorrectamente como correctamente procesados. Es deseable un valor bajo, ya que deben evitarse los falsos positivos.
• Tasa de falsos negativos: La tasa de falsos negativos indica cuántos documentos no se procesaron correctamente y no se reconocieron conceptos o entidades relevantes. Una tasa de falsos negativos baja indica que la mayor parte de la información relevante se capturó correctamente.

Aplicando este marco de evaluación a distintos niveles, podemos evaluar exhaustivamente el rendimiento de la IA documental y garantizar que toda la información relevante se captura correctamente. Esto es crucial para automatizar los procesos de gestión de documentos y garantizar su precisión y eficiencia.