Todos sabemos a qué velocidad innova la IA. Incluso las herramientas que utilizábamos el año pasado parecen prácticamente prehistóricas en comparación con las que empleamos hoy.
Paralelamente, los riesgos asociados a la IA también están evolucionando: ya no se limitan únicamente a los modelos, sino que se han convertido en riesgos relacionados con los datos y, por extensión, en riesgos operativos.
Sin embargo, hasta la fecha, las organizaciones no han logrado adaptar su enfoque sobre los riesgos de la IA para hacer frente a esta transformación.
Hoy en día, los agentes internos poseen más poder que algunos empleados humanos, ya que cuentan con amplios permisos que les permiten publicar, desplegar y modificar sistemas de forma automática. Y, aunque los humanos participen en el proceso, esto ya no basta para garantizar la seguridad y fiabilidad de dichos agentes.
Estos operan a velocidad de máquina, provocando errores que se propagan en cascada por los sistemas más rápido de lo que un ser humano puede comprender —y mucho menos identificar o corregir— manualmente.
A simple vista, estos errores suelen parecer correctos. Sin embargo, antes de darse cuenta, surgen daños colaterales en forma de transacciones perdidas, flujos de trabajo interrumpidos y graves alteraciones en la actividad empresarial.
El desplazamiento oculto del riesgo
Según los últimos datos de McKinsey, más del 60% de las organizaciones están experimentando actualmente con agentes de IA y “experimentar” es la palabra clave en este contexto.
La mayoría de las organizaciones que utilizan esta tecnología lo hacen sin comprender plenamente el impacto que estos agentes pueden tener en el resto de sus operaciones. De hecho, el 97% de los agentes cuenta con privilegios excesivos que podrían desencadenar el caos.
Basta una sola “alucinación” derivada de datos erróneos para que un agente elimine accidentalmente toda una base de datos de producción y sus copias de seguridad en cuestión de segundos. Y no se trata de una exageración: es algo que ya ha sucedido.
Este cambio en el panorama de riesgos no ocurrió de la noche a la mañana. Cuando las organizaciones apenas comenzaban a experimentar con los LLM, contar con supervisión humana (human-in-the-loop) bastaba para garantizar que se filtraran los resultados incorrectos.
Pero eso ya no es así.
Estos agentes no solo operan a una velocidad que supera la capacidad de comprensión humana, sino que ahora superan en número a los empleados encargados de supervisarlos. Se estima que, en una empresa promedio, la proporción de identidades no humanas frente a los empleados humanos es de 82 a 1.
Esta transformación no solo exige actualizar las medidas de seguridad; requiere un enfoque totalmente nuevo.
Sin intervención humana y bajo el modelo de confianza cero
Lo mismo se aplica a sus procesos de restauración a mayor escala. Depender de una combinación de intervención humana y restauraciones que abarcan todo el sistema resulta insostenible en la era de la IA con capacidad de acción autónoma (agentic AI).
Estas reversiones generalizadas son costosas y a menudo provocan daños colaterales que superan el coste del error original. La razón: carecen de precisión.
A medida que los agentes de IA se integran cada vez más en las operaciones empresariales, las organizaciones deben adoptar un proceso de reversión orientado al cambio.
Mediante el uso de mecanismos de atribución vinculados a objetos rastreados o cambios a nivel de registro —considerando el contexto de las dependencias—, es posible identificar con exactitud qué elementos modificó el agente y revertir únicamente dichas acciones.
Se trata de una reversión precisa: deshacer solo aquello que requiere modificación. Como bien se sabe, estos errores seguirán produciéndose a medida que los agentes de IA continúen aprendiendo.
Si una organización aún no ha tenido que afrontar una reversión a gran escala derivada de un fallo de un agente, es solo cuestión de tiempo que deba enfrentarse a esa situación.
