La inteligencia artificial avanza a un ritmo vertiginoso, y con ella surgen preguntas fundamentales sobre nuestro control sobre estas tecnologías. Anthropic, una de las empresas líderes en investigación de IA, ha encendido las alarmas con un artículo en su blog titulado “When AI builds itself”, donde advierte que podríamos estar acercándonos a un punto de inflexión: sistemas capaces de mejorar su propio rendimiento más rápido de lo que los humanos pueden supervisar. Este escenario, conocido como auto-mejora recursiva, reaviva el histórico problema de alineación: asegurar que la IA persiga de forma fiable los objetivos humanos.

Tres futuros posibles para la IA

Marina Favaro, directora del Anthropic Institute, y Jack Clark, cofundador de Anthropic, plantean tres escenarios para el desarrollo de la IA. El primero es un estancamiento en el crecimiento de capacidades. El segundo, mejoras de eficiencia que revelan cuellos de botella en otras áreas del desarrollo de software. Pero es el tercero el que más preocupa: que los sistemas de IA logren una auto-mejora recursiva completa, creando por sí mismos a sus sucesores. En este escenario, la sociedad podría necesitar estar preparada para pisar el freno del desarrollo.

“Cómo se resuelva —o no— el problema de alineación en este futuro es algo sobre lo que tenemos menos certeza”, escriben Favaro y Clark. Los modelos avanzados con capacidad de auto-mejora podrían seguir nuestras necesidades, pero también advierten que “los raros casos de desalineación presentes hoy podrían amplificarse a medida que los modelos construyan sus sucesores, volviéndose más frecuentes pero menos comprensibles hasta que perdamos el control sobre ellos”.

De la gobernanza de modelos a la gobernanza de agentes

La advertencia de Anthropic no es solo teórica. Los analistas señalan que las empresas ya enfrentan problemas de gobernanza a medida que los agentes autónomos pasan de responder preguntas a ejecutar acciones. “El problema ya no es solo si la IA da la respuesta correcta, sino si los sistemas autónomos toman la acción adecuada, en el momento oportuno y con la autoridad correspondiente”, afirma Ashish Banerjee, analista principal senior en Gartner.

Este cambio de paradigma se refleja en las inversiones empresariales. Gartner predice que en 2028 el 15% de las decisiones operativas cotidianas serán tomadas de forma autónoma por sistemas de IA agéntica, y que un tercio de las aplicaciones de software empresarial incorporarán estas capacidades. Sin embargo, también advierte que el 40% de las empresas degradará o retirará agentes autónomos antes de 2027 tras detectar fallos de control en entornos de producción. Como ya analizamos en nuestro artículo sobre IA agéntica, la plataforma de operaciones se vuelve crítica para gestionar estos riesgos.

Agentes como trabajadores digitales

Según Banerjee, muchas organizaciones siguen tratando a los agentes de IA como herramientas avanzadas de productividad, cuando en realidad se parecen cada vez más a trabajadores digitales que operan con autoridad delegada. “Los CIO deberían dejar de tratar a los agentes de IA como chatbots más inteligentes. Se están convirtiendo en trabajadores digitales con autoridad delegada, y deben gobernarse como usuarios con privilegios, no como simples herramientas de productividad”, afirma. Este problema de rendición de cuentas ya lo exploramos en nuestro análisis sobre OpenClaw y el código de Gavriel Cohen.

A medida que los agentes ganan capacidad para investigar, escribir código, invocar herramientas, activar flujos de trabajo y hacer recomendaciones, las empresas se enfrentan a nuevos riesgos: acciones no autorizadas, falta de responsabilidad, exposición de datos, uso indebido de herramientas y escasa auditabilidad. “El modelo ‘human-in-the-loop’ no es una estrategia si el humano no puede seguir el ritmo del bucle”, añade Banerjee.

La alineación se vuelve operativa

Charlie Dai, vicepresidente y analista principal en Forrester, señala que las preocupaciones de Anthropic reflejan los retos que las empresas ya están experimentando. “La alineación se vuelve operativa. Se trata de garantizar que los agentes actúen de forma coherente dentro de las políticas, no solo de que el modelo sea preciso”. Los enfoques actuales de gobernanza se centran en modelos y datos, pero los agentes autónomos requieren supervisar también su comportamiento en tiempo de ejecución, permisos, uso de herramientas y límites en la toma de decisiones.

Estas preocupaciones no se limitan a los analistas. En el informe “AI Agent Governance: A Field Guide”, investigadores del Institute for AI Policy and Strategy advierten que “la sociedad está en gran medida desprevenida para este desarrollo” y que “la exploración de las cuestiones de gobernanza de agentes y el desarrollo de intervenciones asociadas están aún en una fase incipiente”.

¿Por qué preocupa a Anthropic?

Los investigadores de Anthropic sostienen que estos problemas de gobernanza podrían complicarse significativamente si los sistemas de IA se involucran cada vez más en la propia investigación y desarrollo de IA. Favaro y Clark no afirman que la auto-mejora recursiva completamente autónoma sea inevitable, pero consideran que esta posibilidad justifica una preparación y un debate entre desarrolladores, responsables políticos y otros actores. Sugieren que el sector podría necesitar mecanismos para ralentizar el desarrollo si las capacidades avanzan más rápido que las salvaguardas, aunque reconocen que estas medidas también implican riesgos.

“Pero si una ralentización simplemente permite que los actores menos cautos alcancen el mismo nivel tecnológico, podría dejarnos a todos menos seguros”, advierten en el blog. Este dilema recuerda a los debates sobre la regulación en otros ámbitos tecnológicos, como el que planteamos en nuestro análisis sobre VMware bajo Broadcom, donde la estrategia de alto riesgo puede tener consecuencias imprevistas.

La supervisión arquitectónica como solución

Según Dai, la implicación práctica para las empresas es que la gobernanza ya no puede depender principalmente de la supervisión humana. “La supervisión pasa a ser arquitectónica, no manual”. Las organizaciones necesitarán cada vez más autonomía acotada, salvaguardas integradas, mecanismos de ejecución verificables y controles de contingencia diseñados desde el inicio en los sistemas basados en agentes. Este enfoque se alinea con las tendencias en edge computing, como vimos en nuestro artículo sobre Intel y la IA física, donde la descentralización del procesamiento exige nuevos modelos de control.

En definitiva, la advertencia de Anthropic nos recuerda que la carrera por la IA no debe sacrificar la seguridad por la velocidad. La pregunta ya no es si la IA puede mejorar por sí misma, sino si estamos preparados para gestionar las consecuencias. Como señalamos en nuestro análisis sobre Replit y el 'vibe coding', la democratización de la tecnología conlleva nuevos desafíos de gobernanza que deben abordarse desde el diseño.

Fuente original: ComputerWorld. Análisis y adaptación por ForgeNEX.