Medir el impacto de la IA generativa
Antes de ampliar o recortar una iniciativa de IA generativa, medir su impacto con métricas acordadas de antemano y revisarlas de forma continua, en lugar de discutir con cifras sueltas que cada área recoge a su manera.
1. El problema de negocio
Un banco digital lanzó hace dos trimestres un asistente de IA generativa para responder las dudas de sus clientes. Cada área defiende su utilidad con una cifra distinta, recogida a su manera, y antes del lanzamiento nadie acordó qué resultado se esperaba. La dirección debe decidir ahora si amplía el presupuesto del próximo ejercicio y no tiene una base común para comparar.
2. Solución de Google: Medición del impacto en tres pasos
- Servicio
- Medición del impacto en tres pasos
- Capa
- Aplicaciones
- Por qué
- Medir el impacto es medirlo en los objetivos de negocio. El método tiene tres pasos: definir las métricas clave (ROI, ingresos, costes, eficiencia, experiencia de cliente o seguridad), recoger y analizar los datos, e iterar y mejorar. Al acordar antes qué se mide, todas las áreas hablan de lo mismo y la dirección tiene una base común para decidir.
Ver la capa en el mapa de 5 capas
Capa 5Aplicaciones[Capa de esta lección]
La parte con la que interactúa el usuario final.
- Gemini app
- Gemini Enterprise
- Google Workspace with Gemini
- Gemini Notebook
- Gemini for Google Cloud
Capa 4Agentes
Software que persigue un objetivo usando un modelo y herramientas.
- Agentes en Agent Platform
- Gemini Enterprise for Customer Experience
Capa 3Plataforma
APIs, gestión de datos y despliegue de modelos; abstrae la infraestructura.
- Agent Studio
- Agent Search
- Model Garden
- Agent Platform AutoML
- RAG Engine
- Agent Runtime
Capa 2Modelos
Algoritmos entrenados con grandes volúmenes de datos que generan contenido.
- Gemini
- Gemma
- Imagen
- Veo
Capa 1Infraestructura
Cómputo y almacenamiento físico para entrenar y servir modelos.
- AI Hypercomputer
- Cloud TPU
- GPU
- Centros de datos de Google
3. Límites
- No la uses si
- La iniciativa es todavía un experimento de pocos días y de coste mínimo para descubrir si hay una aplicación valiosa, y montar una medición completa costaría más que el propio experimento.
- Variable que fuerza el cambio
- Coste
- Alternativa
- Acordar una sola métrica clave antes de empezar el experimento.
4. La trampa habitual
- [✗] Distractor
- Presentar a la dirección el tiempo de respuesta del asistente y su tasa de error como prueba de su impacto.
- Por qué tienta
- Son cifras fáciles de obtener y demuestran que el sistema funciona.
- Por qué es incorrecto
- Dicen cómo funciona el sistema, no qué obtiene el banco: no responden a si compensa ampliar el presupuesto del próximo ejercicio.