Limitaciones de los modelos y human-in-the-loop
Identificar qué práctica mitiga cada limitación del modelo (dependencia de datos, knowledge cutoff, sesgo, equidad, alucinaciones y casos límite) y qué decisiones de alto riesgo requieren human-in-the-loop.
1. El problema de negocio
Una entidad de crédito al consumo prueba un modelo generativo que redacta la evaluación de cada solicitud de préstamo. En el piloto, algunas evaluaciones citaron ingresos que no figuraban en el expediente y los rechazos se concentraron en solicitantes de determinados barrios. Aun así, la dirección de operaciones propone que el modelo apruebe o deniegue cada solicitud de forma automática para absorber el crecimiento previsto del volumen.
2. Solución de Google: Grounding y human-in-the-loop con monitorización continua
- Servicio
- Grounding y human-in-the-loop con monitorización continua
- Capa
- Modelos
- Por qué
- El grounding ancla cada evaluación en los datos reales del expediente y reduce las alucinaciones; el human-in-the-loop integra la aportación y el feedback de las personas en el proceso, y aquí la revisión de cada decisión frena el sesgo y los casos límite; la monitorización continua, con KPIs y control del drift, detecta la degradación al crecer el volumen.
Ver la capa en el mapa de 5 capas
Capa 5Aplicaciones
La parte con la que interactúa el usuario final.
- Gemini app
- Gemini Enterprise
- Google Workspace with Gemini
- Gemini Notebook
- Gemini for Google Cloud
Capa 4Agentes
Software que persigue un objetivo usando un modelo y herramientas.
- Agentes en Agent Platform
- Gemini Enterprise for Customer Experience
Capa 3Plataforma
APIs, gestión de datos y despliegue de modelos; abstrae la infraestructura.
- Agent Studio
- Agent Search
- Model Garden
- Agent Platform AutoML
- RAG Engine
- Agent Runtime
Capa 2Modelos[Capa de esta lección]
Algoritmos entrenados con grandes volúmenes de datos que generan contenido.
- Gemini
- Gemma
- Imagen
- Veo
Capa 1Infraestructura
Cómputo y almacenamiento físico para entrenar y servir modelos.
- AI Hypercomputer
- Cloud TPU
- GPU
- Centros de datos de Google
3. Límites
- No la uses si
- Las salidas son de bajo impacto y llegan en un volumen tan alto que revisar cada una antes de entregarla no escala ni protege ninguna decisión crítica.
- Variable que fuerza el cambio
- Volumen de usuarios o datos
- Alternativa
- Monitorización y evaluación continua de las salidas (KPIs, seguimiento del rendimiento, actualizaciones automáticas del modelo y parches de seguridad), más revisión humana continua tras el despliegue (post-generation review) en lugar de aprobar cada salida.
4. La trampa habitual
- [✗] Distractor
- Dejar que el modelo apruebe o deniegue cada solicitud de forma autónoma una vez anclado en los datos del expediente, para absorber el volumen previsto.
- Por qué tienta
- Con el grounding ya no aparecen ingresos inventados, y la automatización total promete atender el crecimiento de solicitudes sin ampliar el equipo.
- Por qué es incorrecto
- La concesión de crédito es una decisión de alto impacto, y el piloto ya mostró sesgo. Grounding, RAG, prompt engineering o fine-tuning mejoran el output, pero no sustituyen la supervisión humana que esa decisión requiere.
5. Micro-check
Fuentes oficiales
Repositorio central de Agent Platform para gestionar el ciclo de vida de los modelos de ML propios: registra y organiza sus versiones, permite evaluarlas y despliega la versión elegida en un endpoint para servir predicciones.
Ficha de Model RegistryServicio de Agent Platform que vigila los modelos predictivos tabulares desplegados en un endpoint: compara los datos de entrada en producción con los de entrenamiento o con los recientes, detecta desviaciones (skew y drift) y avisa cuando superan un umbral.
Ficha de Model Monitoring