Gobierno de agentes de IA: modelo operativo para empresas

Un agente en producción necesita dueño

El gobierno de agentes de IA no es solo una política sobre modelos. Abarca el proceso que se automatiza, sus datos, herramientas, permisos, usuarios, proveedor y consecuencias de una salida incorrecta. Cada agente debe tener un responsable de negocio y un responsable técnico identificables, además de una ruta para detenerlo o volver al proceso manual.

Inventario mínimo

Mantén una ficha por agente o flujo asistido por IA con:

• propósito, proceso y usuarios previstos;
• proveedor, modelo y componentes que intervienen;
• fuentes de datos y categorías de información utilizadas;
• herramientas disponibles, permisos y acciones posibles;
• responsable de negocio, responsable técnico y canal de soporte;
• nivel de autonomía, aprobaciones y límites operativos;
• métricas, pruebas, dependencias, fecha de revisión y estado;
• procedimiento de parada, recuperación y comunicación de incidentes.

El inventario debe incluir pilotos conectados a datos reales, no únicamente los servicios declarados como “agentes autónomos”. Revisa también los asistentes con acceso a herramientas o capacidad de actualizar sistemas.

Ciclo de vida con puertas de control

Propuesta: documentar el problema, alternativas sin agente, usuarios afectados y resultado esperado. Evaluación: identificar riesgos, datos, permisos, errores plausibles y controles. Piloto: probar con alcance limitado, conjunto de evaluación, revisión humana y registros. Producción: aprobar responsables, umbrales, soporte, continuidad y plan de reversión. Cambio o retirada: repetir pruebas ante cambios de modelo, instrucciones, herramientas, permisos o proceso; revocar credenciales cuando se retire.

El enfoque de funciones de NIST AI RMF —Govern, Map, Measure y Manage— ofrece una referencia para organizar la gestión del riesgo a lo largo del ciclo de vida. No sustituye las obligaciones aplicables ni la evaluación específica del caso.

Responsabilidades y revisión

Una distribución práctica puede asignar al área de negocio la definición del resultado y aceptación de errores; a tecnología, la identidad, integración, operación y logs; a seguridad y privacidad, la evaluación de controles y datos; y a usuarios responsables, la revisión de excepciones. En equipos pequeños, una persona puede cubrir varios papeles, pero la responsabilidad debe quedar explícita.

Establece revisiones periódicas y también disparadores extraordinarios: incidentes, cambios de alcance, nuevos datos, nuevas herramientas o modificación de permisos. Revisa tanto calidad como efectos operativos: escalados, quejas, anulaciones, accesos y acciones ejecutadas.

Documentos conectados

El gobierno necesita límites de supervisión humana, una estrategia de seguridad para agentes y pruebas repetibles de evaluación. Para decidir si el caso merece inversión, comienza por seleccionar un proceso adecuado.

Referencia: NIST AI Risk Management Framework y Core del AI RMF.