Temperatura, top-p y safety settings
Ajustar la temperatura y el top-p según la tarea pida respuestas deterministas o creativas, fijar los safety settings según el riesgo del canal y contener el coste con el número de tokens y la longitud de salida.
1. El problema de negocio
Una cadena de moda online usa el mismo asistente generativo para varias tareas. Al clasificar las solicitudes de devolución por motivo, una misma solicitud recibe categorías distintas en cada ejecución; al proponer ideas para campañas, en cambio, las sugerencias salen casi idénticas. Además, los resúmenes de opiniones que se publican en la web reproducen a veces insultos de los clientes, y el departamento financiero vigila el coste de cada petición.
2. Solución de Google
- Servicio
- Parámetros de muestreo y safety settings de Gemini
- Capa
- Modelos
- Por qué
- Son ajustes de cada llamada al modelo, sin desarrollo ni reentrenamiento, con plazo y coste mínimos: temperatura baja para que la clasificación sea estable y alta para variar las ideas de campaña, con el top-p como otra forma de regular la aleatoriedad, y safety settings con umbrales de bloqueo por categoría para frenar el odio y el acoso.
Ver la capa en el mapa de 5 capas
Capa 5Aplicaciones
La parte con la que interactúa el usuario final.
- Gemini app
- Gemini Enterprise
- Gemini for Google Workspace
- Gemini Notebook
- Gemini for Google Cloud
Capa 4Agentes
Software que persigue un objetivo usando un modelo y herramientas.
- Agentes en Agent Platform
- Customer Engagement Suite
Capa 3Plataforma
APIs, gestión de datos y despliegue de modelos; abstrae la infraestructura.
- Agent Studio
- Agent Search
- Model Garden
- Agent Platform AutoML
- RAG Engine
- Agent Runtime
Capa 2Modelos[Capa de esta lección]
Algoritmos entrenados con grandes volúmenes de datos que generan contenido.
- Gemini
- Gemma
- Imagen
- Veo
Capa 1Infraestructura
Cómputo y almacenamiento físico para entrenar y servir modelos.
- AI Hypercomputer
- Cloud TPU
- GPU
- Centros de datos de Google
3. Límites
- No la uses si
- El objetivo es recortar el coste por petición: la temperatura, el top-p y los safety settings cambian cómo se genera la respuesta, no cuántos tokens consume.
- Variable que fuerza el cambio
- Coste
- Alternativa
- Controlar el número de tokens: una longitud de salida máxima acotada y prompts más breves.
4. La trampa del examen
- [✗] Distractor
- Bajar al mínimo la temperatura en todas las tareas del asistente para acabar con las respuestas inconsistentes.
- Por qué tienta
- Un único ajuste parece resolver de golpe la inestabilidad de la clasificación de devoluciones.
- Por qué es incorrecto
- Las ideas de campaña necesitan variedad y una temperatura mínima las volvería aún más repetitivas: cada tarea pide su propia configuración, baja para clasificar y alta para idear.