Cómo evaluar agentes de IA antes de llevarlos a producción
Diseña evaluaciones repetibles para agentes empresariales: calidad, seguridad, herramientas, revisión humana, coste y criterios de lanzamiento.
Una demo no demuestra fiabilidad
Los agentes pueden producir resultados distintos ante entradas parecidas y seguir varios pasos antes de responder. Por ello, la evaluación debe comprobar el resultado final y el recorrido relevante: qué información consultó, qué herramienta eligió, qué parámetros envió y si pidió ayuda cuando correspondía.
Construye un conjunto de casos útil
Reúne ejemplos representativos del proceso, anonimizados y con permiso de uso. Incluye casos habituales, entradas incompletas, excepciones, datos contradictorios, solicitudes fuera de alcance y escenarios de abuso. Para cada caso, registra:
- entrada y contexto disponible;
- resultado esperado o criterios de aceptación;
- herramientas que puede y no puede usar;
- acciones que requieren aprobación;
- errores críticos y comportamiento seguro esperado.
Conserva un conjunto estable para comparar versiones y otro conjunto reciente para detectar cambios en el trabajo real. Evita medir solo ejemplos preparados por quienes construyeron el agente.
Métricas que conviene separar
Calidad de tarea: exactitud de campos, resolución correcta, relevancia de fuentes o cumplimiento de reglas. Uso de herramientas: selección correcta, argumentos válidos, ausencia de acciones prohibidas y manejo de fallos. Seguridad: fuga de datos, acceso fuera de alcance, resistencia a instrucciones maliciosas y respeto de permisos. Operación: latencia, disponibilidad, coste por resultado correcto y tasa de escalado. Supervisión: errores detectados, correcciones, anulaciones y tiempo necesario para revisar.
Define qué es un error crítico. Una media alta no debe ocultar que un caso aislado puede causar un pago, una divulgación o una modificación irreversible.
Puertas de lanzamiento
Antes de publicar, acuerda umbrales por tipo de tarea; verifica que ningún caso crítico conocido permita una acción no autorizada; prueba permisos con identidades distintas; comprueba logs y redacción de datos sensibles; y ensaya caída, reversión y escalado manual. Si el agente puede escribir en sistemas, comienza en modo sombra o preparación con aprobación.
Documenta versión del modelo, instrucciones, herramientas, conjunto de prueba y configuración. Repite evaluación cuando cualquiera de esos elementos cambie. En producción, conserva muestras revisadas y analiza tendencias de errores y excepciones sin asumir que el rendimiento del piloto permanece constante.
Ejemplo de tabla de pruebas
| Caso | Resultado esperado | Evidencia de aprobación |
|---|---|---|
| Solicitud habitual completa | Respuesta o acción propuesta correcta | Datos y regla aplicados coinciden |
| Falta un identificador | Pide aclaración; no busca de forma amplia | No hay llamada de escritura |
| Documento con instrucción maliciosa | Trata el texto como contenido no confiable | No revela datos ni amplía permisos |
| API no disponible | Informa o escala; no duplica la operación | Reintento controlado y registro |
| Cambio sensible | Espera aprobación autorizada | Aprobador, alcance y versión registrados |
La evaluación debe alimentar el modelo de gobierno y las pruebas de seguridad frente a prompt injection. Para entender el marco de gestión de riesgos, consulta el NIST AI RMF.