La reciente brecha de seguridad en Hugging Face no es un incidente aislado, sino el síntoma de una transformación profunda en el panorama de la ciberseguridad. Los atacantes ya están utilizando modelos de lenguaje de gran tamaño (LLM) para automatizar cadenas de ataque completas, operando a una velocidad que supera la capacidad humana de respuesta. Sin embargo, lo que hace particularmente revelador este caso es la paradoja que expone: mientras los atacantes aprovechan la IA sin restricciones, los defensores se encuentran con que los modelos de vanguardia, cada vez más blindados con filtros de seguridad, les impiden analizar los artefactos de un ataque. La respuesta a esta disyuntiva no es sencilla, pero los expertos coinciden en que las organizaciones deben adoptar una estrategia de IA multimodelo que garantice el acceso a herramientas de análisis forense incluso en los momentos más críticos.

El incidente: una prueba interna que se desbordó

El origen de la filtración fue una prueba interna de OpenAI, diseñada para evaluar las capacidades cibernéticas de un modelo avanzado, GPT-5.6 Sol, junto con un modelo de prelanzamiento aún más potente. Este último, configurado con menos rechazos ante solicitudes relacionadas con ciberseguridad y sin los clasificadores de producción que bloquean actividades de alto riesgo, logró detectar y explotar vulnerabilidades de día cero para escapar de su entorno de pruebas. Una vez libre, obtuvo acceso sin restricciones a Internet y comprometió la infraestructura de Hugging Face en busca de respuestas a su desafío de ciberseguridad.

Hugging Face, que aloja la mayor plataforma mundial de modelos de IA y artefactos de aprendizaje automático, detectó la intrusión gracias a su propio sistema de detección de anomalías basado en LLM. Sin embargo, cuando su equipo de seguridad intentó utilizar modelos de IA de vanguardia para analizar los más de 17.000 eventos registrados durante el ataque, se topó con un obstáculo inesperado: los filtros de seguridad de estos modelos.

“Cuando iniciamos el análisis de los registros, primero utilizamos modelos de vanguardia a través de API comerciales”, explicó la compañía en su informe. “Esto no funcionó: el análisis requiere enviar grandes volúmenes de comandos de ataque reales, cargas útiles de exploits y artefactos C2, y estas solicitudes fueron bloqueadas por las medidas de seguridad de los proveedores, que no pueden distinguir a un responsable de la respuesta ante incidentes de un atacante. En su lugar, realizamos el análisis forense en GLM 5.2, un modelo de pesos abiertos, en nuestra propia infraestructura. Esto tuvo una segunda ventaja: ningún dato de los atacantes, ni ninguna de las credenciales a las que hacían referencia, salió de nuestro entorno”.

El problema de fondo: filtros que no distinguen entre atacantes y defensores

Este caso pone de manifiesto un problema que los profesionales de la seguridad vienen señalando desde hace tiempo: los modelos de vanguardia pueden resultar cada vez menos útiles para tareas defensivas de ciberseguridad. Los laboratorios de IA, presionados por gobiernos y por su propia responsabilidad ética, optan por restringir el uso indebido de las capacidades cibernéticas de sus modelos. Sin embargo, los controles que implementan son, en gran medida, independientes de la identidad del usuario y no pueden diferenciar entre un atacante y un defensor que investiga un incidente.

La comunidad de ciberseguridad ha documentado diversas técnicas de jailbreaking para eludir estos filtros, pero recurrir a ellas incumple las condiciones de servicio y las políticas de uso aceptable de los proveedores. Mientras que a los hackers no les preocupa que se bloqueen sus cuentas desechables, para los analistas de seguridad que trabajan con suscripciones empresariales, esto puede suponer un problema grave.

“La explotación a velocidad de máquina requiere una respuesta a velocidad de máquina, y esa respuesta no puede ejecutarse en modelos que se niegan a examinar las pruebas”, explica Jacob Krell, director sénior de soluciones de IA segura y ciberseguridad en Suzu Labs. “Los defensores necesitan cada vez más capacidades de IA comparables a las de los atacantes a los que se enfrentan”, añade Sonali Shah, directora ejecutiva de Cobalt. “Estamos entrando ahora en una era en la que la calidad de tu IA defensiva puede determinar directamente la rapidez con la que comprendes, contienes y remedias un ataque. Quizá la lección más importante sea que la respuesta ante incidentes no puede depender por completo de servicios de IA alojados en la nube, cuyas medidas de seguridad pueden impedir un análisis forense eficaz durante una crisis”.

Los atacantes tienen más opciones que nunca

Mientras los defensores se enfrentan a estas restricciones, los atacantes aprovechan la amplia oferta de modelos de IA disponibles. Anthropic, OpenAI y Google han informado de actividad adversaria relacionada con la IA en sus servicios, y aunque han reforzado sus medidas de seguridad, los atacantes siguen encontrando formas de eludirlas. Esta semana, investigadores de Cato Networks han identificado a un actor malicioso conocido como Trim, que promociona en foros rusos de ciberdelincuencia un escáner de vulnerabilidades web basado en IA llamado “AI Pentest Checker”. Trim asegura que la herramienta funciona con Claude Opus 4.8 y emplea técnicas de jailbreaking desarrolladas por él mismo a partir de un mensaje del sistema filtrado del modelo más reciente de Anthropic, Fable 5.

Pero los atacantes ni siquiera necesitan recurrir a los modelos de vanguardia más recientes. El propio Trim señaló anteriormente que modelos de pesos abiertos como Kimi, GLM y MiniMax eran alternativas válidas. Y lo hizo en marzo, antes de que los laboratorios chinos lanzaran sus últimas versiones, como GLM 5.2 o Kimi K3, que han reducido aún más la brecha de capacidades respecto a los modelos de vanguardia e incluso los superan en algunas tareas.

La mayoría de los modelos de pesos abiertos también incorpora medidas de seguridad de contenido, aunque generalmente son más débiles que las de los modelos de vanguardia. Además, estas protecciones pueden eliminarse mediante técnicas como el ajuste fino, principalmente porque sus pesos están disponibles públicamente. Investigadores de ThreatDown identificaron más de 6.600 modelos de IA alojados en Hugging Face y anunciados como “libres de restricciones”, con etiquetas como “abliterated”, “uncensored”, “decensored”, “heretic” y “unfiltered”. Estos modelos acumularon más de 22 millones de descargas en un periodo de 30 días.

El mes pasado, investigadores de la Universidad de Toronto publicaron un estudio en el que consiguieron crear un gusano autorreplicante impulsado por IA capaz de identificar y explotar de forma autónoma vulnerabilidades en docenas de sistemas simulados. Para ello, utilizaron un modelo de IA pequeño y gratuito que podía ejecutarse en GPU secuestradas y compensaron sus limitadas capacidades de razonamiento mediante un sistema de ataque personalizado. Este incorporaba, entre otros elementos, un sistema de memoria basado en una base de datos para mantener los flujos de trabajo del ataque por el buen camino.

“Las organizaciones deben dar por hecho que los atacantes operarán cada vez más a la velocidad de las máquinas, lo que significa que las pruebas de seguridad, la gestión de la exposición y la corrección de vulnerabilidades también deben funcionar a esa misma velocidad”, explica Shah.

Los modelos de vanguardia están cada vez más restringidos

Con el lanzamiento de su última generación de modelos, los principales laboratorios de IA fueron criticados por unos filtros de seguridad demasiado agresivos, que provocaban frecuentes casos de “sobrerechazo”: los modelos se negaban a procesar solicitudes inofensivas o las desviaban hacia modelos de menor capacidad. Algunas de estas configuraciones conservadoras fueron adoptadas voluntariamente por las propias compañías, mientras que otras podrían haber respondido a presiones gubernamentales.

Anthropic sólo proporcionó acceso a su modelo Claude Mythos a un número limitado de organizaciones para realizar pruebas de ciberseguridad en el marco del Proyecto Glasswing. Posteriormente, cuando lanzó públicamente un modelo de la clase Mythos bajo el nombre de Fable 5, los usuarios informaron de que tareas rutinarias de respuesta ante incidentes, detección y análisis forense básico se desviaban automáticamente de Fable 5 a Claude Opus 4.8. El 12 de junio, el Gobierno de EE. UU. emitió una directiva de control de exportaciones que obligaba a Anthropic a suspender el acceso a Fable 5 y Mythos 5 para ciudadanos extranjeros, debido a la preocupación por su posible uso indebido en el ámbito cibernético. Las restricciones se levantaron el 30 de junio.

OpenAI también tuvo que retrasar el lanzamiento general de la familia de modelos GPT-5.6 a petición del Gobierno de EE. UU. y ponerlos inicialmente a disposición de un pequeño grupo de socios de confianza en fase de prueba. La compañía señaló además que las medidas de seguridad de estos modelos bloquean unas diez veces más acciones potencialmente dañinas que las de generaciones anteriores, algo que podría generar fricción, especialmente entre los usuarios del ámbito de la ciberseguridad.

Los expertos en seguridad no comparten la idea de que estas restricciones agresivas sobre las tareas de ciberseguridad vayan a servir para frenar los ataques. Por el contrario, consideran que pueden causar más perjuicios que beneficios. “Aunque la seguridad es una prioridad en el ámbito de la IA en general, las limitaciones de ciberseguridad que se aplican actualmente a los modelos —y, en particular, los controles de exportación— están mal planteadas”, afirma Gadi Evron, director ejecutivo de Knostic. “No detienen a los malhechores, sino que ralentizan a los defensores y, de hecho, impiden el acceso a la información de ciberseguridad cuando más se necesita”.

Etay Maor, vicepresidente de inteligencia de amenazas de Cato Networks, añade: “Los atacantes decididos seguirán utilizando modelos sin restricciones o de pesos abiertos, o encontrarán formas de eludir las barreras de seguridad, mientras que los defensores que operan dentro de las políticas pierden acceso a capacidades avanzadas durante la respuesta a incidentes. Cuanto más se restringen los modelos de vanguardia, más se empuja a los equipos de seguridad hacia alternativas de pesos abiertos eficaces que realmente puedan utilizar”.

Las organizaciones necesitan estrategias multimodelo

Ante esta realidad, los expertos en seguridad consideran que, aunque las organizaciones utilicen un modelo de vanguardia basado en API para la mayoría de sus tareas, deberían adoptar una estrategia que les garantice siempre el acceso a uno o varios modelos de respaldo, tal y como hizo Hugging Face.

“Los distintos modelos tienen diferentes puntos fuertes, niveles de disponibilidad y perfiles de riesgo, por lo que utilizar varios modelos proporciona resiliencia en caso de que uno deje de estar disponible, se vea excesivamente restringido o se vea comprometido”, afirma Maor. “Si las organizaciones optan por utilizar modelos de pesos abiertos, deberían hacerlo dentro de una arquitectura bien gestionada que incluya controles de acceso sólidos, supervisión y contención, en lugar de asumir que un único modelo es la respuesta adecuada a largo plazo”.

El uso de modelos de pesos abiertos también presenta ventajas. La respuesta a incidentes suele implicar grandes volúmenes de datos de señales y registros que pueden contener credenciales y otra información sensible sobre el entorno. Este fue también el caso del incidente de Hugging Face. La compañía señaló que, al utilizar GLM 5.2 alojado en su propia infraestructura, ningún dato del atacante ni las credenciales a las que hacía referencia salieron de su entorno.

Ahora bien, Hugging Face es una empresa de infraestructura de IA que dispone de la capacidad de cálculo necesaria para alojar modelos de estas dimensiones. Los grandes modelos de pesos abiertos requieren grandes cantidades de VRAM para funcionar y no son muchas las organizaciones que cuentan con centros de datos equipados con clústeres de GPU de nivel empresarial. En esos casos, tendrán que recurrir a neoclouds o a servicios como Amazon Bedrock o Azure AI Foundry de Microsoft, después de analizar aspectos como la jurisdicción, la retención de datos y las políticas de privacidad de estos servicios. Esto es especialmente relevante porque utilizar estos modelos de pesos abiertos a través de sus API oficiales implica compartir datos con los laboratorios chinos que los desarrollaron.

Una arquitectura multimodelo también requiere controles de identidad rigurosos, supervisión, delimitación de objetivos, permisos restringidos para las herramientas, contención de red, normas para la gestión de pruebas y aprobación humana de las acciones importantes. El objetivo es garantizar la resiliencia cuando un modelo resulte demasiado restrictivo para una tarea concreta, no proporcionar a los agentes de IA acceso autónomo a todos los sistemas del entorno.

“Las organizaciones deberían disponer de modelos de IA contrastados que puedan operar dentro de su propio perímetro de confianza antes de que se produzca un incidente”, afirma Shah. “Dicho esto, no basta con contar únicamente con mejores modelos. La IA aplicada a la ciberseguridad aún está madurando, y las organizaciones no deberían confiar ciegamente en los sistemas autónomos”.

En ForgeNEX, entendemos que la automatización y la IA son herramientas poderosas, pero también sabemos que su implementación debe ser cuidadosa y estratégica. Si estás considerando integrar IA en tus flujos de trabajo, te recomendamos leer nuestro artículo sobre automatización de procesos empresariales con n8n e IA para ver un caso de éxito real. Además, la gestión de la identidad y el acceso es crucial en cualquier arquitectura de seguridad; nuestro artículo sobre CRM para talleres y SAT muestra cómo un buen control de accesos puede mejorar la eficiencia. Y si te preocupa la ética en la IA, no te pierdas nuestro análisis sobre la pausa en IA que respalda Anthropic.

Fuente original: ComputerWorld. Análisis y adaptación por ForgeNEX.