Monitorización y gestión del modelo en producción
Después del lanzamiento, mantener una monitorización y evaluación continua del modelo y gestionarlo con las herramientas gestionadas de , en lugar de darlo por validado o montar procesos propios.
1. El problema de negocio
Una aseguradora de hogar tiene en producción desde hace meses un modelo predictivo, entrenado a medida con datos tabulares, que estima el coste de cada siniestro. Nadie sabe con certeza qué versión está en uso, las métricas no se revisan desde el lanzamiento, las predicciones han empeorado sin que nadie lo detecte, cada área calcula por separado los mismos datos de entrada y las actualizaciones se hacen a mano. El equipo de datos es pequeño.
2. Solución de Google: Herramientas de gestión del modelo de Agent Platform
- Servicio
- Herramientas de gestión del modelo de
- Capa
- Plataforma
- Por qué
- Cada dolor del caso tiene su función de gestión del modelo: versionado con , seguimiento de rendimiento revisando las métricas, drift con , features con y automatización con . Son herramientas de la plataforma, así que el equipo pequeño no construye ni mantiene las suyas.
Ver la capa en el mapa de 5 capas
Capa 5Aplicaciones
La parte con la que interactúa el usuario final.
- Gemini app
- Gemini Enterprise
- Google Workspace with Gemini
- Gemini Notebook
- Gemini for Google Cloud
Capa 4Agentes
Software que persigue un objetivo usando un modelo y herramientas.
- Agentes en Agent Platform
- Gemini Enterprise for Customer Experience
Capa 3Plataforma[Capa de esta lección]
APIs, gestión de datos y despliegue de modelos; abstrae la infraestructura.
- Agent Studio
- Agent Search
- Model Garden
- Agent Platform AutoML
- RAG Engine
- Agent Runtime
Capa 2Modelos
Algoritmos entrenados con grandes volúmenes de datos que generan contenido.
- Gemini
- Gemma
- Imagen
- Veo
Capa 1Infraestructura
Cómputo y almacenamiento físico para entrenar y servir modelos.
- AI Hypercomputer
- Cloud TPU
- GPU
- Centros de datos de Google
3. Límites
- No la uses si
- La organización consume un modelo generativo como servicio gestionado y no tiene modelos propios que versionar ni features que gestionar: ese aparato sería esfuerzo operativo sin nada que gestionar. Además, Model Monitoring vigila modelos tabulares (predictivos), un dato de ampliación que no figura en la guía del examen y que se incluye para no aplicarlo a un modelo generativo.
- Variable que fuerza el cambio
- Esfuerzo operativo
- Alternativa
- Apoyarse en las actualizaciones automáticas del modelo y en los parches de seguridad y actualizaciones del servicio gestionado, con KPIs y evaluación continua de las salidas.
4. La trampa habitual
- [✗] Distractor
- Llevar el control con medios propios: hojas de cálculo para las versiones y scripts en máquinas virtuales para recalcular los datos de entrada y lanzar los reentrenamientos.
- Por qué tienta
- El equipo ya conoce esas herramientas y parece que así no depende de nadie.
- Por qué es incorrecto
- ya tiene una herramienta para cada una de esas funciones: para las versiones, para los datos de entrada y para automatizar. Con medios propios, el equipo pequeño del caso tendría que mantenerlos además del modelo.
5. Micro-check
Fuentes oficiales
Plataforma unificada de ML de Google Cloud para construir, entrenar, desplegar y gestionar soluciones de ML, de IA generativa y agentes. Agrupa Model Garden, Model Builder, Agent Studio, Agent Search y Agent Runtime, con controles de gobierno según el servicio y la región.
Ficha de Agent PlatformRepositorio central de Agent Platform para gestionar el ciclo de vida de los modelos de ML propios: registra y organiza sus versiones, permite evaluarlas y despliega la versión elegida en un endpoint para servir predicciones.
Ficha de Model RegistryServicio de Agent Platform que vigila los modelos predictivos tabulares desplegados en un endpoint: compara los datos de entrada en producción con los de entrenamiento o con los recientes, detecta desviaciones (skew y drift) y avisa cuando superan un umbral.
Ficha de Model MonitoringServicio gestionado de Agent Platform para gestionar las features, los datos de entrada que usan los modelos de ML, y servirlas en línea con baja latencia para las predicciones, leyéndolas directamente de tablas de BigQuery sin copiarlas a otro almacén.
Ficha de Feature StoreServicio sin servidor de Agent Platform que automatiza y orquesta los flujos de trabajo de ML como una serie de pasos repetibles (preparar datos, entrenar, evaluar y desplegar), y registra el linaje de cada resultado.
Ficha de Agent Platform Pipelines