Los modelos lingüísticos como ChatGPT son actualmente el ne plus ultra de la tratamiento automatizado del habla. Como modelos de IA preentrenados basados en redes neuronales, pueden procesar y generar texto especialmente bien. Sin embargo, a pesar de sus versátiles posibilidades de aplicación, los robots de texto alcanzan rápidamente sus límites en términos de aritmética y comprobación de hechos. Toolformer está diseñado para resolver este problema permitiendo a la IA utilizar de forma independiente herramientas externas a través de una interfaz de programación de aplicaciones (API), un enfoque prometedor.
Este artículo pretende presentar la investigación actual y las oportunidades de desarrollo resultantes de una manera más fácil de entender.
Visión general
- Toolformer es un modelo de lenguaje tipo ChatGPT de Meta.
- Se ha entrenado mediante un proceso de aprendizaje autosupervisado para muestrear, ejecutar y filtrar llamadas a la API.
- Esto permite utilizar de forma autónoma herramientas como el calendario o la calculadora.
- Toolformer supera así las limitaciones típicas de los modelos convencionales.
¿Cuáles son los límites de los modelos lingüísticos?
Mientras el gran público sigue maravillándose con las nuevas posibilidades que ofrece el progreso tecnológico, a los desarrolladores les gusta centrarse directamente en todo lo que aún no funciona. Este contraste es especialmente marcado cuando se trata de modelos lingüísticos. Sólo recientemente, en forma de herramientas como ChatGPT, han eclipsado a la mayoría de los modelos de IA anteriores y están demostrando ser actualmente la herramienta más útil para el procesamiento automatizado del lenguaje gracias a su amplio preentrenamiento. Sus versátiles posibilidades de aplicación pueden parecer fácilmente omnipotentes, pero no lo son. Las siguientes áreas siguen siendo especialmente problemáticas y motivan innovaciones como Toolformer:
Corrección del contenido
La principal fuente de contenidos generados por modelos lingüísticos es Internet. En ella, la calidad de los datos puede variar mucho, pero esto apenas se refleja en los modelos habituales. Además, la actualidad depende en gran medida del momento del preentrenamiento. Además, existen restricciones algorítmicas que dificultan la comprobación de hechos, por ejemplo según el principio de las dos fuentes. La desinformación es, por tanto, una de las alucinaciones más comunes de la IA.
Aritmética
De hecho, los modelos lingüísticos típicos siguen siendo relativamente malos en matemáticas, por lo que incluso la aritmética básica y la lógica correspondiente pueden resultar difíciles. Uno de los problemas subyacentes es la traducción de las matemáticas a código, para la que hay muy pocos ejemplos de entrenamiento en comparación con la traducción lingüística.
¿Qué puede hacer Toolformer?
Para lograr mejores resultados en estos ámbitos, el modelo se dirige a herramientas externas mediante llamadas a la API. Los enfoques anteriores dependían de un gran número de anotaciones humanas o sólo podían utilizarse para tareas muy específicas. En cambio, la ejecución autónoma de las llamadas API permite la integración inteligente de toda una serie de aplicaciones que se centran especialmente en los puntos débiles anteriores de los modelos lingüísticos:
- Sistema de preguntas y respuestasPara ello se utiliza el modelo lingüístico "Atlas", que se ha puesto a punto a partir de preguntas naturales.
- Búsqueda en WikipediaEste buscador responde a los términos de búsqueda con una búsqueda rápida en Wikipedia y extrae de forma independiente pequeños fragmentos de texto. Los resultados generados pueden ser más específicos que con el sistema de pregunta-respuesta. Por ejemplo, encontrar al actual canciller de Alemania no debería ser un problema.
- CalendarioUn rápido vistazo a una aplicación de calendario ayuda a situar los hechos en el contexto temporal correcto y a sacar conclusiones sobre su actualidad.
- CalculadoraCon una herramienta sencilla para las cuatro operaciones aritméticas básicas y una precisión de dos decimales, Toolformer puede resolver correctamente el ejemplo de cálculo anterior.
- Herramienta de traducciónPara generar una traducción al inglés a partir de cualquier idioma, se integra otro modelo lingüístico externo.
Superar las fronteras mediante API
El aspecto de esta idea que ha sido especialmente difícil de aplicar hasta ahora es el de la IA. Gestión de APIlo que a veces puede resultar complicado incluso para los desarrolladores humanos. No es mucho más sencillo formatear las llamadas a la API en una secuencia de texto que encaje de forma natural en la conversación con el utilizado Modelo GPT-J en el sistema. Su complejidad, basada en más de 6.000 millones de parámetros, dificulta aún más el proyecto. Toolformer supera estos obstáculos y, por tanto, las limitaciones típicas de la mayoría de los modelos lingüísticos convencionales en tres pasos básicos:
- Ejemplos de llamadas a la API
Para cada API posible, los desarrolladores han escrito una llamada que permite a Toolformer reunir las llamadas API pertinentes. Utilizando principios probabilísticos, el modelo identifica entonces algunas llamadas cuyas probabilidades de encajar en la secuencia superan un determinado umbral. Con algunos ejemplos, Toolformer aprende a optimizar este proceso.
- Ejecutar llamadas a la API
A continuación, se ejecutan todas las llamadas a la API muestreadas para recibir los resultados o respuestas correspondientes de las herramientas. Estos deben estar disponibles en secuencias de texto cortas para el procedimiento posterior. Los detalles del proceso dependen de cada API, que puede dirigirse a una red neuronal o a un script de Python, por ejemplo.
- Llamadas a la API de filtrado
Para filtrar las llamadas, Toolformer calcula las funciones de pérdida ponderada de las llamadas generadas. Tokens API basado en la entropía cruzada. Al comparar los resultados considerando o no las llamadas a la API, se identifican los casos útiles para predecir más tokens. Una vez más, se establece un umbral adecuado para decidir qué llamadas se conservan.
Ajuste del modelo
Toolformer utiliza las llamadas a la API filtradas para fusionarlas en un nuevo conjunto de datos con la entrada original. Esto sienta las bases para el posterior ajuste fino, que se realiza con la ayuda del modelado lingüístico típico. En cuanto al contenido, el nuevo conjunto de datos debe ser idéntico al original, salvo por las llamadas a la API añadidas.
En el mejor de los casos, el usuario no es consciente de este proceso en el backend y recibe una reacción más o menos natural de Toolformer. Cuantas más entradas procese el modelo lingüístico en el curso posterior, con más precisión podrá utilizar el conjunto de datos ampliado para predecir los futuros tokens de la API y las posiciones correctas de las llamadas correspondientes. En pocas palabras, Toolformer aprende por sí solo cuándo utilizar qué aplicación y cuál es la mejor forma de proporcionar la respuesta óptima.
Conclusión y perspectivas
Al controlar de forma independiente aplicaciones externas mediante llamadas a la API, Toolformer puede superar los límites típicos de la aritmética y la corrección de contenidos. Herramientas como un motor de búsqueda, una calculadora o un calendario ayudan en este sentido. Sus respuestas se integran de forma natural en el Texto de la conversación integrado. Para hacerlo posible, Toolformer utiliza un proceso de aprendizaje autosupervisado consistente en el muestreo, ejecución y filtrado de llamadas a la API. Los conjuntos de datos así formados constituyen la base para afinar el modelo.
Toolformer ofrece así una perspectiva experimental de lo que un modelo lingüístico versátil como ChatGPT podría hacer en el futuro. Los intentos anteriores han tendido a centrarse en la implementación de herramientas directamente en un bot de chat, pero según Meta, esto aún no conduce a los resultados deseados. El uso externo a través de API es, por tanto, una alternativa prometedora. También en este caso los desarrolladores siguen esperando. Por ejemplo, Toolformer aún no es capaz de vincular o utilizar interactivamente aplicaciones. Por lo tanto, aún está por ver si las capacidades existentes son ya suficientes para un avance fundamental.
ES 
DE 
EN 
FR