Supervisión humana y niveles de autonomía de agentes de IA

La supervisión es parte del flujo, no un botón al final

“Human-in-the-loop” puede significar desde revisar una muestra hasta aprobar cada cambio. El control debe situarse antes de la acción que genera consecuencias y ofrecer a la persona contexto suficiente para decidir: solicitud original, fuentes, acción propuesta, destinatario y posibilidad de rechazar o corregir.

Define niveles de autonomía por acción

Nivel	Comportamiento	Ejemplo de control
0 — Consulta	Recupera o resume información sin cambiar sistemas	Mostrar fuentes y advertir de límites
1 — Propuesta	Clasifica o redacta un borrador	Persona revisa antes de usarlo
2 — Preparación	Completa campos o prepara una transacción	Validación y aprobación antes de confirmar
3 — Ejecución acotada	Ejecuta acciones reversibles de bajo impacto	Límites, registro, muestreo y mecanismo de parada
4 — Autonomía ampliada	Encadena acciones dentro de una política	Solo tras evaluación específica, permisos mínimos y respuesta a incidentes

Estos niveles son una herramienta de diseño, no una escala normativa. Un mismo agente puede tener distintos niveles según la herramienta y el tipo de acción.

Cuándo exigir aprobación

Eleva el control cuando una acción sea difícil de revertir, afecte a derechos o acceso, exponga datos sensibles, envíe una comunicación externa, modifique datos financieros o supere un umbral de impacto. También exige revisión si faltan datos, hay contradicciones, la fuente no es fiable o el agente se sale de la tarea prevista.

La aprobación no debe convertirse en un clic automático. Presenta diferencias relevantes, valida quién aprueba y conserva la decisión. Para operaciones por lotes, muestra el alcance completo antes de confirmar y permite cancelar sin dejar cambios parciales.

Diseña una aprobación operable

1. El agente prepara una acción tipada con campos explícitos; no ejecuta texto libre como comando.
2. El servicio valida identidad, permisos, límites y estado actual del registro.
3. La interfaz enseña el cambio propuesto, el contexto necesario y el impacto.
4. La persona puede aprobar, editar, rechazar o escalar; registra usuario, fecha y versión.
5. Antes de ejecutar, vuelve a validar que el registro no haya cambiado desde la revisión.

Define un tiempo de expiración para aprobaciones pendientes y una ruta de contingencia. No otorgues al agente una credencial más potente que la persona o servicio autorizador.

Mide si la supervisión funciona

Observa tasa de aprobación, correcciones, rechazos, tiempo de revisión, errores detectados y acciones revertidas. Si se aprueba casi todo en pocos segundos, puede indicar fatiga o falta de contexto. Ajusta la interfaz y la distribución del trabajo antes de reducir controles.

La supervisión se integra en el modelo de gobierno y debe probarse con escenarios adversariales de seguridad de agentes. OWASP recomienda limitar la agencia excesiva, incluyendo herramientas, permisos y autonomía, y añadir supervisión humana cuando corresponda: Excessive Agency.