El sector de la IA está viviendo un “verano de agentes de IA rebeldes”. El último modelo que se ha infiltrado en internet durante unas pruebas de seguridad es Kimi K3, una potente solución de peso abierto de la empresa china Moonshot AI.
En China también se escapan
Frontier Security, una startup estadounidense, afirma que Kimi K3 salió de su entorno de pruebas mientras se evaluaban sus capacidades defensivas en materia de ciberseguridad. Al igual que en los incidentes de los que informaron anteriormente OpenAI y Anthropic, la fuga se vio facilitada en parte por una configuración errónea del entorno de pruebas diseñado para contenerlo. Frontier asegura, sin embargo, que el incidente demuestra que Kimi cuenta con menos medidas de seguridad cibernética que la mayoría de los demás modelos potentes de IA, lo que le permitió salir y utilizar internet sin permiso expreso.
“Encontramos una brecha en el entorno de pruebas”, expresa Yaron Singer, director ejecutivo de Frontier Security. “Pero también descubrimos que Kimi se aprovechó de esa laguna, lo que sugiere que no cuenta con [las mismas] medidas de seguridad internas”.
A diferencia de otros incidentes recientes en los que agentes de IA se salieron del guion, Kimi K3 no pirateó nada tras acceder a internet, ya que las respuestas a los problemas que buscaba se podían obtener fácilmente en GitHub.
Moonshot no había respondido a una solicitud de comentarios en el momento de la publicación.
Agentes de IA rebeldes
El incidente es el último de una serie de contratiempos con agentes que sugieren que los modelos de IA con capacidades cibernéticas cada vez mayores están resultando más difíciles de controlar.
El mes pasado, OpenAI reveló que un modelo aún no publicado se había escapado a Internet y había hackeado Hugging Face, una empresa que aloja modelos y datos de IA, con el fin de encontrar respuestas a los problemas que se le habían encomendado resolver. Posteriormente, OpenAI informó de que sus agentes de IA habían hackeado, de hecho, otros cuatro servicios como parte de esa oleada de ataques.
Poco después de que OpenAI informara de su incidente, Anthropic reveló que varios de sus modelos también habían conseguido acceder a internet y habían atacado sistemas externos. La semana pasada, el AI Security Institute del Reino Unido (AISI) también reveló que, en sus propias pruebas, versiones de los modelos de OpenAI y Anthropic que tenían desactivadas las medidas de seguridad perpetraron múltiples ataques en internet, incluido un intento especialmente ambicioso por parte de Mythos 5, de Anthropic, de introducir código malicioso en un proyecto de código abierto en GitHub.
Aunque todos estos episodios de piratería por IA varían tanto en su causa como en su gravedad, el Kimi K3 es similar a varios de ellos en que un entorno de pruebas mal configurado permitió el acceso a una serie de sitios web en lugar de mantenerlo confinado a un entorno simulado. Al modelo se le había encomendado expresamente resolver problemas que no deberían haber implicado buscar las respuestas en internet, y parece que se ha salido de esas instrucciones. El modelo tuvo que descubrir por sí mismo que tenía acceso a determinados sitios web al sondear la configuración de red del entorno aislado.
La gravedad del problema
Aunque el error humano parece haber desempeñado un papel fundamental en cada una de estas fugas, las consecuencias se han visto agravadas por el hecho de que los modelos avanzados de IA están diseñados para utilizar el razonamiento y llevar a cabo acciones complejas con el fin de resolver problemas.
Otra diferencia clave entre incidentes anteriores y el descubierto por Frontier Security es que este último involucra a un modelo que ya está ampliamente disponible, con las mismas medidas de seguridad con las que se encontraría un usuario medio.
