Guía Vertex AI: Implantación de Llama 2 en Google Cloud

Vertex AI es el término colectivo para todo lo que funciona de alguna manera con AI soluciones y aplicaciones en la nube de Google. En línea con la gran demanda de Aprendizaje automático Aplicaciones y herramientas -las malas lenguas sospechan un "hype"-, la nube de Google ofrece Vertex AI, un servicio para crear tus propios modelos, ver modelos ya hechos y beneficiarte de sus aplicaciones.

Similar a Sagemaker en AWS Vertex AI está diseñado para ayudar a los usuarios a lo largo de todo su ciclo de vida. Flujo de trabajo de aprendizaje automático (ML)especialmente a la hora de entrenar, desplegar y, lo que es cada vez más importante, gestionar sus modelos. Vertex AI ofrece sofisticados Operaciones ML como alertas y experimentos de IA. También hay modelos y herramientas ya preparados en la plataforma, como el reconocimiento de imágenes, que pueden entrenarse utilizando sus propios datos. Por ejemplo, una empresa puede entrenar a un chatbot con sus instrucciones para que pueda realizar acciones con precisión y ayudar a los usuarios con sus problemas más rápidamente.

Esto nos lleva a este artículo, porque Llama 2 es un modelo que puede utilizarse bajo el capó de un programa de chatbot.

Cómo utilizar Llama 2 para aplicaciones

Si desea ejecutar Llama 2 para su aplicación, ésta es ciertamente muy sencilla. Para modelos de alta demanda para aplicaciones de producción, hay una colección de modelos listos para usar dentro de Vertex AI. Se llama Modelo de jardín. Esta colección contiene modelos llave en mano de Google, de código abierto y de terceras empresas.

Observará que ya puede ver Llama 2 y que, por tanto, está disponible en el Jardín Modelo. En consecuencia, es fácil proporcionar un punto final que devuelva solicitudes de Llama 2. Supongo que ya tienes un proyecto de Google Cloud con una cuenta de facturación conectada. Entonces puedes ir a este proyecto de Google Cloud y seguir las instrucciones:

Primer paso

En primer lugar, debe consultar y activar la API Compute Engine. Esto se debe a que se necesita una máquina virtual para utilizar un modelo. La API Compute Engine es responsable de las máquinas virtuales y las soluciones en Google Cloud.

Para ello, vaya al menú APIs & Services de la plataforma. Allí puedes hacer clic en el botón Habilitar APIs y Servicios y buscar la API Compute Engine en la siguiente interfaz. Una vez que la hayas encontrado, haz clic en el botón azul "Habilitar".

Compute Engine API Google Cloud Vertex AI

Compute Engine API Google Cloud Vertex AI 2
Compute Engine API Google Cloud Vertex AI 3

Compute Engine API Google Cloud Vertex AI 4

Paso 2

En cuanto haya activado la API del motor de cálculo, podrá ver el Jardín de modelos. Puede acceder a él como subelemento de Vertex AI desde el "menú Hamburguesa" de Google Cloud Console.

Transición al Jardín Modelo Google Cloud Vertex AI

Desde ahí puedes buscar Llama 2 en las soluciones o modelos si no lo ves directamente junto a los azulejos como se muestra en la captura de pantalla.

Transición al Jardín Modelo Google Cloud Vertex AI 2

Si muestra los detalles, puede proporcionar el modelo.

Transición al Jardín Modelo Google Cloud Vertex AI 3

Paso 3

El menú contextual le muestra la configuración y los datos de la máquina virtual. En Tipo de máquina reconocerá g2-standard-96. Esto es importante porque la máquina virtual seleccionada determina los costes. 

Configuración de precios para el tipo de máquina Google Cloud Vertex AI

Si echamos un vistazo a la información de "Precios" de la máquina tipo "g2" en la versión "estándar" con el nivel de configuración "96", veremos que el funcionamiento de esta máquina le costará alrededor de 10$ por hora. O 240$ al día.

Estos costes se cargarán en su tarjeta de crédito mientras la máquina esté en funcionamiento.

Por lo tanto, es mejor tener cuidado a la hora de proporcionar algo. Es muy recomendable que sepas cómo apagar la máquina. Si te quedas atascado con las aplicaciones descritas, puedes eliminar el proyecto de Google Cloud y los datos asociados en cualquier momento. También dispone de asistencia por chat si no está seguro de cómo apagar la máquina si ya la ha desplegado.

Configuración de precios para el tipo de máquina Google Cloud Vertex AI 2

Paso 4

Como has visto, el proceso es muy accesible. Selecciona Llama 2 de la lista y sigue los pasos de despliegue (puede que necesites habilitar la API Vertex AI). Qué ocurre a continuación: Se hace una copia del Jardín de Modelos en tu entorno Vertex AI, llamado Registro de Modelos - pero más sobre esto más adelante - y el modelo se despliega con una máquina a un endpoint en Internet. Puede ver este punto final desde la interfaz de Vertex AI en "Predicción en línea".

Durante el proceso, es necesario poner en marcha una máquina virtual a través de Google Cloud en la que se encuentra el modelo.

Tenga cuidado de no incurrir en gastos aquí, ya que el ordenador seguirá funcionando todo el tiempo y se cobrarán las tasas mencionadas por este periodo.

Implantar modelos de IA en Google Cloud con Vertex

Independientemente de si desea utilizar un modelo ya preparado -como en la sección anterior- o disponer de sus propios modelos como solución, merece la pena profundizar en el tema. Las herramientas de formación y despliegue de Vertex AI, que difieren en grados de libertad, sirven de base.

  • Coche ML te permite traer tus propios datos para determinados fines, como el reconocimiento de imágenes, y entrenarte con ellos. Para ello no necesitas codificación ni conocimientos especiales sobre datos.
  • El otro extremo es Formación a medidadonde puede hacerlo todo usted mismo. Desde la configuración del entrenamiento hasta el ajuste de los hiperparámetros, todo está en tus manos cuando lo creas.
  • En medio se encuentra el Jardín de modelos, donde puede seleccionar modelos de Google, de código abierto o de terceros e implementarlos directamente en un punto final suyo en Vertex AI.

Si no está seguro de cuál es la mejor opción para usted (o posiblemente para su empresa), Google tiene una Visión general.

Vertex AI - Proceso de despliegue "cómo"

Con estos conocimientos, ya puede abordar el siguiente paso: El suministro de su propio modelo en la nube de Google a través de Vertex AI. En el siguiente gráfico le explicamos los pasos a seguir. Los servicios de Google Cloud están marcados con el logotipo de Google Cloud.

Proceso de implantación de Vertex AI

En general, Vertex AI funciona de la siguiente manera para sus modelos:

Primer paso

A grandes rasgos, tendrá que configurar sus artefactos modelo, normalmente como una distribución de Python, en Almacenamiento en la nube de Google subir. Google Cloud Storage es la solución de almacenamiento de objetos de Google Cloud. Una vez realizado este paso, puedes subir tu modelo a la base de datos de Registro de modelos Vertex AI importar. Ya ha introducido su primer modelo en Google Cloud Platform.

Paso 2

Una vez que pueda ver su modelo en el Registro de Modelos de Vertex AI, podrá seleccionar los recursos informáticos con los que desea entrenar su modelo - y entrenar su modelo. Para ello, o bien traes tus datos contigo, por ejemplo como parte del modelo, o bien los gestionas en herramientas de almacenamiento como Google Cloud. Para esto último, tiene sentido utilizar una tabla de BigQuery con Vertex AI a un Tienda de artículos recurso. A continuación, puede utilizar estos datos en el proceso de formación. El procedimiento de formación depende de su Tipo de modelo de

Paso 3

Ahora ha integrado un modelo en la IA de Vértice. Para el estilo libre, probablemente quieras crear, o más bien proporcionar, predicciones. Existen predicciones por lotes y predicciones "en línea" o en directo. Puede realizar predicciones por lotes de forma similar a un trabajo de formación. Necesitas tu modelo y tienes que alquilar los recursos informáticos para obtener tus predicciones por lotes. Más relevantes para los modelos de IA generativa como Lama 2 son claramente las predicciones en línea. Si quieres proporcionar predicciones en línea, también necesitas un contenedor de predicciones. Esto viene ya hecho con los modelos AutoML de Google o los modelos del Model Garden.

Si, por el contrario, desea predicciones para su propio modelo, es decir, un modelo personalizado, entonces es necesario que usted mismo proporcione el contenedor de predicciones. Esto está sujeto a ciertas Requisitos. En particular, debe asegurarse de que el punto final que Vertex AI le proporciona es sólo un Esquema para peticiones y respuestas. En otras palabras, su contenedor de predicción solo puede ver, tomar y generar estos datos de entrada y salida.

Paso 4

Una vez que haya creado su contenedor de predicción y completado con éxito este paso, puede prepararse para colocarlo en Vertex AI. Para ello, cree su primer costosos Servicio listo. Hasta ahora, todos los productos utilizados han sido muy favorables, si no gratuitos.

Por ejemplo: El almacenamiento en la nube en el que se guarda tu maqueta sólo te costará 2 céntimos por GB al mes. Probablemente tu modelo no será tan grande como para que te salga realmente caro.

Sin embargo, para proporcionar su modelo de predicción, debe tener un Pool de recursos de despliegue crear. Se trata de una palabra larga para referirse a uno -o varios- ordenadores que albergan tu contenedor de predicciones. Dependiendo de la complejidad y el número de peticiones que se hagan a tu modelo, este ordenador debería ser correspondientemente grande. Es posible que desee añadir un acelerador. Esto significa que puede que necesite alquilar una tarjeta gráfica para el ordenador.

Lo que es importante para esto: Dependiendo de tu configuración de escalado, este ordenador se ejecuta en segundo plano todo el tiempo.

Por lo tanto, si sigue este tutorial, no olvide eliminar el Deployment Resource Pool.

Consejo: Lo mejor es elegir un ordenador barato. Es sin duda la forma más eficaz de viajar.

Resumen - Vertex AI Guide

Ahora conoce mejor Vertex AI en Google Cloud. Ha adquirido los conocimientos sobre cómo utilizar el Model Garden de esta plataforma para crear y entrenar un endpoint de predicción out-of-the-box con tan solo unos clics. Además, sabrá que existen diferentes tipos de modelos en Google Cloud, cuyos datos pueden dividirse en Auto ML y Modelos personalizados.

¡Diviértete con la realización!

¿Tiene alguna pregunta sobre la implementación de Llama 2 en Google Cloud con Vertex AI? Escríbeme un mensaje:








    "
    "
    Avatar de Gregor Kondla

    Últimos artículos