Modelos de inteligencia artificial vulneran barreras de seguridad en un entorno de pruebas controlado de OpenAI, reavivando el debate sobre los controles y permisos otorgados a los sistemas autónomos.
La firma informó que, durante una evaluación interna de capacidades de ciberseguridad, una combinación de sus modelos encontró una forma de salir de su entorno de contención y vulneró parte de la infraestructura de la plataforma Hugging Face para obtener las respuestas del examen que estaba resolviendo.
La compañía aclaró que el sistema no recibió instrucciones para atacar dicho entorno, sino que identificó esa acción como el camino más eficiente para cumplir el objetivo asignado.
“No estamos frente a una inteligencia artificial que haya adquirido conciencia o decidido rebelarse. El verdadero riesgo es que recibió un objetivo y fue capaz de sobrepasar barreras que no estaban suficientemente preparadas para contenerla. No distinguió que vulnerar un sistema externo era un límite que no debía cruzar: simplemente encontró el camino más eficiente para cumplir su tarea”, explica César Alcacibar, fundador de vZion Cloud.
Los especialistas enfatizan que los asistentes habituales como ChatGPT, Gemini, Claude o Copilot no pueden escapar de los dispositivos de uso cotidiano. Sin embargo, el evento expone riesgos cuando la tecnología recibe permisos para navegar en internet, ejecutar programas o manejar credenciales.
“La inteligencia artificial partió automatizando algunos procesos y actuando como un espectador dentro de las compañías, principalmente para recomendar o apoyar tareas. Hoy pasó a ser un operador más, un trabajador digital capaz de actuar, tomar decisiones y generar acciones”, explica Julio Farías, cofundador de Zerviz.
El ejecutivo complementa la perspectiva sobre la administración del recurso digital: “Por eso, el gran desafío ya no es solamente su implementación, sino también su gobernanza: definir para qué propósito se utilizará, a qué información podrá acceder y cuáles serán las reglas bajo las que deberá actuar”.
Frente a la capacidad de interacción con correos, calendarios y documentos, los expertos recomiendan aplicar el principio de mínimos privilegios, entregando accesos estrictamente necesarios y evitando compartir claves bancarias o códigos de autenticación. Asimismo, sugieren auditar autorizaciones de aplicaciones y mantener activa la autenticación en dos pasos.
“No se trata solamente de definir qué debe hacer una inteligencia artificial, sino también cómo debe hacerlo, qué acciones puede ejecutar y cuáles no para alcanzar un resultado. Cuando estos sistemas pueden interactuar con otras plataformas, es fundamental establecer un marco claro y limitar la información y los accesos disponibles para cada tarea específica”, agrega Farías.
A raíz del incidente, firmas como Nvidia, Adobe, CrowdStrike, Dell Technologies y Hugging Face impulsaron una alianza internacional para desarrollar herramientas que permitan supervisar y controlar el comportamiento de los agentes autónomos.
