Hugging Face publicó el lunes una cronología técnica que guía a los lectores a través de cómo un agente autónomo de IA, construido sobre modelos OpenAI y ejecutándose dentro de una de las propias evaluaciones de ciberseguridad de OpenAI, irrumpió en sus sistemas durante más de cuatro días a principios de este mes. Es el primer incidente de seguridad sobre el cual el CEO de OpenAI, Sam Altman, "se sintió muy visceral", dijo.
No es de extrañar dado que se siente, al menos, como si algo realmente se hubiera desatado aquí. De hecho, el equipo de Hugging Face inició su informe ofreciendo que “todos deberían estar preparados como defensores”, antes de profundizar en el meollo de lo que sucedió en beneficio de los profesionales de seguridad de todo el mundo.
Mientras el resto de Internet continúa tratando de encontrarle sentido a lo sucedido (la jerga en el informe de Hugging Face es imposible de analizar para la mayoría de las personas), un punto que muchos observadores siguen pasando por alto es que no se trataba de un agente deshonesto que desobedecía órdenes. Era un sistema creado para buscar exploits, haciendo exactamente eso, sólo contra el objetivo equivocado.
Otra forma de pensar en todo el asunto es imaginarse un oso en un campamento. En realidad. Un oso prueba las cremalleras de las tiendas de campaña, las manijas de las puertas de los automóviles, las neveras portátiles y las tapas de la basura. Hace esto en cada campamento, durante toda la noche, porque sabe que solo necesita una hielera abierta para llenar su barriga con las compras de algún pobre idiota.
Eso es más o menos lo que pasó en Hugging Face. El sistema OpenAI probó miles de cosas y siguió adelante. Al final, algunos de esos intentos funcionaron y, una vez que lo hicieron, el agente siguió adelante. Según Hugging Face, el agente realizó 17.600 acciones durante cuatro días y medio sin pausa.
Lo que nos lleva de nuevo a nuestra analogía con el oso. Así como un éxito con una hielera llena de comida le enseña a un oso a esforzarse aún más la próxima vez (ahora es un oso "condicionado a la comida"), una contraseña filtrada llevó al agente de OpenAI a buscar más exploits y, finalmente, a una única clave que desbloqueaba varios sistemas de la empresa a la vez.
Ninguno de los escenarios es inofensivo. Un oso que ataca su refrigerador aún come su comida y probablemente también destroza su campamento. Sólo se centra en alimentarse, pero aun así deja un rastro de destrucción. De manera similar, el agente de OpenAI aparentemente perseguía un objetivo sin tener en cuenta nada más. Originalmente, el agente estaba tomando un examen de ciberseguridad, descubrió que la clave de respuestas del examen probablemente estaba en los servidores de Hugging Face y lo hizo.
La persistencia aquí es realmente lo que destaca por encima de todo; el agente tenía un trabajo y no iba a parar hasta lograrlo. Hugging Face, finalmente dándose cuenta de que algo andaba mal, cortó su acceso y cerró la intrusión, pero en ese momento ya era demasiado tarde. El agente ya había conseguido lo que buscaba y mucho más.
En caso de que te lo hayas perdido, aquí tienes la mayor parte de lo que sucedió, según la línea de tiempo de Hugging Face, pero en un inglés más sencillo.
- El agente estaba tomando un examen de habilidades de ciberseguridad para OpenAI, uno en el que se califica a una IA por encontrar y explotar errores de software. En este tramo específico se quitaron las barandillas. (OpenAI había desactivado sus filtros de seguridad habituales para ver qué podía hacer el modelo con toda su fuerza, sin ningún ser humano involucrado en ninguno de sus movimientos individuales). En algún lugar allí, descubrió que las soluciones de referencia del examen probablemente estaban almacenadas en los servidores de Hugging Face. Entonces, en lugar de resolver el desafío, robó la clave de respuestas de la infraestructura que no tenía nada que ver con la prueba original.
- Escapó del entorno de exámenes OpenAI explotando una falla de software sin parches que le abrió el camino hacia la Internet abierta. A partir de ahí, encontró otra herramienta de prueba de IA expuesta en línea (nada que ver con Hugging Face), entró en ella también e introdujo un código que silenciosamente ejecutaba comandos ocultos en el momento en que se iniciaba el programa.Eso le dio control total de la máquina: su nueva base de operaciones para el resto de la operación que usaría para perseguir los sistemas de Hugging Face.
- Desde esa base, se volvió hacia Hugging Face. Hugging Face tenía un filtro destinado a bloquear las solicitudes sospechosas para que no llegaran a la web abierta, pero el filtro solo verificaba las solicitudes salientes, no las solicitudes para leer archivos locales que se encontraban allí en el servidor. El agente encontró este punto ciego y lo atravesó. Subió un archivo disfrazado de un conjunto de datos ordinario, pero enterrado en su interior había una instrucción que decía a los propios sistemas de Hugging Face que extrajeran las contraseñas y el código fuente del servidor y los devolvieran disfrazados de datos normales.
- Ese truco obtuvo contraseñas y códigos, pero el agente aún no pudo ejecutar nada en los servidores de Hugging Face. Para ejecutar comandos allí, necesitaba una segunda forma de entrada. Encontró un error diferente en ese mismo sistema Hugging Face: el software tomaría un fragmento de texto del agente y accidentalmente lo trataría como un comando para ejecutar en lugar de solo datos para leer. Eso le dio al agente la capacidad de ejecutar su propio código directamente en los servidores de Hugging Face.
- Para ingresar comandos y extraer datos robados, el agente no construyó ninguna infraestructura especial propia, según Hugging Face. Utilizó herramientas a las que cualquiera puede acceder (pegar sitios web y servicios de registro de solicitudes, además de las funciones de carga y proxy de Hugging Face) trabajando juntas de manera encubierta. Además de eso, construyó un pequeño sistema de mensajería improvisado con números de secuencia para mantener las piezas en orden, además de una verificación rápida incorporada para detectar cualquier cosa que llegara corrupta, de modo que pudiera enviar comandos de varios pasos y volver a juntar los datos robados en el orden correcto.
- También se aseguró de que nada viajara a plena vista. Todo lo que robó o envió, lo revolvió primero. El escaneo automatizado inicial de Hugging Face del tráfico interceptado captó solo una pequeña porción de lo que se había tomado. Los investigadores encontraron el resto (aproximadamente cuatro veces más) solo después de aplicar ingeniería inversa al método de codificación del propio agente.
- El agente incluso tenía planes de respaldo, colocando copias de sí mismo en 11 servidores diferentes, cada uno configurado para reiniciarse por sí solo, de modo que cerrar una copia no detuviera nada, ya que una mayor parte del proceso del agente ya se estaba ejecutando en otro lugar.
- En un momento, el agente obtuvo la clave criptográfica privada utilizada para generar tokens de inicio de sesión válidos. A partir de ahí, podría acuñar sus propias credenciales válidas cuando quisiera.
- Después de comprometer un solo servidor, el agente consiguió una credencial que, debido a una mala configuración por parte de Hugging Face, resultó desbloquear varios sistemas internos separados a la vez en lugar de solo el de donde provenía. Ese único error le dio al agente un amplio control casi de inmediato.
- Usando acceso robado al repositorio, envió un cambio a un script de compilación que, si se hubiera ejecutado, podría haber comprometido los sistemas automatizados que ejecutan ese código. Pero no funcionó. Las salvaguardias de Hugging Face lo atraparon.
- El agente pareció abstenerse de causar un daño real, observó Hugging Face, pero probablemente no por moderación. Los investigadores notaron que cada comando capaz de eliminar o alterar recursos de la nube se ejecutaba en modo de "ejecución en seco", lo que significa que informaba lo que sucedería sin ejecutarlo.
- Cada vez que se reiniciaba su entorno de prueba, lo que ocurría constantemente, por diseño, perdía todas las herramientas y todos los rastros de su identidad. Pero se reconstruyó a partir de la nada y se volvió a conectar a su infraestructura robada cada vez, durante más de cuatro días seguidos.
En última instancia, concluyó Hugging Face en su informe, un hacker humano "capaz" "podría haber encontrado y explotado los mismos defectos: procesamiento de conjuntos de datos inseguro, metadatos de la nube expuestos, acceso demasiado amplio y credenciales de larga duración". La gran diferencia, continuó el equipo, es que el "agente los exploró a una escala diferente".
Que es realmente donde la analogía del oso termina siendo más útil. La mejor defensa contra un oso hambriento es el protocolo. Guardas la comida; usas un pestillo que funciona lo suficientemente bien como para sostenerlo. La conclusión aquí no debería ser que el oso fuera tan inteligente o travieso. Es que nunca dejó de comprobar.En ciberseguridad se entiende que siempre hay algún error que no se ha encontrado, por lo que si de repente es 100 veces más fácil comprobarlo todo, entonces nada es realmente seguro. Eso es lo que muchos encuentran inquietante acerca de este episodio.
