Las empresas avanzan rápidamente en el despliegue de sistemas de IA agéntica y autónoma. Más del 60% de las organizaciones espera utilizar agentes de IA en los próximos dos años, según una investigación de Gartner.
El impulso está motivado por el potencial de automatizar flujos de trabajo complejos, aumentar la productividad y pasar de los insights generados por IA a la acción autónoma.
La velocidad de adopción y el tiempo de implementación se están convirtiendo en factores diferenciadores de competitividad.
Si no se toma el tren correcto en el momento adecuado, todo aquello que una empresa esté desarrollando con tecnología de IA podría convertirse en un estándar básico o peor aún, en una noticia del pasado cuando finalmente llegue a destino.
A medida que los sistemas de IA obtienen mayor acceso a los datos empresariales y adquieren capacidad de tomar decisiones de manera autónoma, las empresas deben comprender los riesgos que esto implica.
Sin las salvaguardas adecuadas, la automatización puede escalar los errores, exponer datos sensibles y propagar problemas con mayor rapidez. Esto no significa que la respuesta sea ralentizar la adopción.
Significa que las empresas deben incorporar la gobernanza, la protección de datos y la ciberresiliencia en sus estrategias de IA desde el principio.
Cambiando las reglas del juego
Todos hablan de cómo la automatización ayuda a escalar pero las mismas capacidades de IA que permiten automatizar a gran escala también incrementan los riesgos.
La IA facilita que atacantes, defraudadores y otros actores maliciosos repliquen exploits y causen un mayor daño. Una automatización defectuosa, debido a la deriva del modelo u otros problemas que pasan inadvertidos, puede amplificar los errores a escala.
Esto representa un problema real cuando la IA forma parte de los sistemas de TI empresariales. Puede resultar aún más catastrófico en el mundo físico. ¿Recuerdan a los nefastos droides de Star Wars?
La idea de un ejército de droides no parece tan descabellada si se considera que, según Morgan Stanley Research, el número de robots humanoides podría superar los 1.000 millones para 2050. Esto significa que el riesgo de que la IA física termine siendo corrompida por el lado oscuro es una preocupación legítima.
Las consecuencias de comprometer sistemas de IA física podrían adoptar muchas formas:
- Un ataque contra un vehículo autónomo podría hacer que un automóvil desacelerara cuando debería acelerar, provocando un accidente.
- La manipulación de robots encargados de clasificar y empaquetar productos podría hacer que colocaran medicamentos en envases etiquetados como otros productos farmacéuticos, generando una emergencia de salud pública.
Como explicó un reciente artículo del MIT publicado por el Foro Económico Mundial, “la asignación actual de fondos no refleja la magnitud de los riesgos”.
A medida que el ransomware y otras formas de ciberataque han evolucionado hasta convertirse en ecosistemas altamente sofisticados, potenciados por nuevas herramientas de IA, los organismos reguladores están tomando nota.
La ciberresiliencia está adquiriendo una nueva importancia ante el aumento de los riesgos asociados a la IA.
Explicabilidad, visibilidad y gobernanza
A medida que empresas y gobiernos se preocupan cada vez más por controlar los datos en los que se basa la IA, muchas organizaciones están incorporando grandes modelos de lenguaje previamente entrenados a entornos empresariales controlados.
En estos espacios, los datos sensibles pueden estar sujetos a una gobernanza más estricta. Los modelos pueden ajustarse con información nueva y propia para posteriormente ser utilizados en procesos de consumo e inferencia.
Pero incluso si una empresa incorpora un LLM a su entorno, ¿cómo puede saber si está utilizando datos adecuados sobre los que tiene los derechos necesarios?
¿Y cómo puede estar segura de que cumple con las normas aplicables?
Algunas organizaciones están incorporando este tipo de visibilidad directamente en su infraestructura de datos. Realizan un seguimiento de los datos almacenados y recuperados a través de bases de datos vectoriales.
Rastrean su propiedad a lo largo del tiempo, lo que funciona esencialmente como una caja negra o registrador de vuelo.
Esta visibilidad permite verificar si las fuentes de datos son válidas. También permite realizar auditorías internas para garantizar que los sistemas de IA estén gobernados de acuerdo con las políticas de la empresa y las regulaciones.
Si un sistema de IA actúa de forma autónoma, influye en una decisión crediticia, realiza una predicción o recomienda una acción empresarial, sus respuestas deben ser precisas.
Las organizaciones también necesitan saber por qué el sistema llegó a determinada respuesta, qué datos influyeron y cómo son gobernados.
Esto requiere explicabilidad, visibilidad y gobernanza de los datos.
Extender la ciberseguridad
El aumento de los riesgos asociados a la IA, y de los requisitos regulatorios, ofrece a los responsables de seguridad nuevos incentivos para garantizar que la seguridad sea una capacidad intrínseca.
Al extender la ciberseguridad hacia las capas de datos e infraestructura, las organizaciones pueden detectar rápidamente actividades anómalas y contener posibles problemas antes de que se propaguen.
El uso de IA en las etapas de protección, detección y recuperación fortalece las defensas empresariales.
Imaginemos que un actor malicioso intenta acceder a un volumen de datos o corromperlo. Contar con una infraestructura de datos capaz de detectar esa anomalía y limitar la interacción del atacante puede reducir significativamente el riesgo.
Dado que los actores maliciosos están utilizando todas las herramientas a su alcance, las organizaciones deben asumir que ya han sido comprometidas o que lo serán próximamente. Para limitar los daños, las empresas deberían adoptar arquitecturas de confianza cero (zero trust), que nunca confían y siempre verifican.
Este principio también debería extenderse a los agentes de IA.
Acelerar la restauración de datos
Los datos están en el centro de las empresas modernas. Cuando son eliminados o quedan secuestrados, los procesos de negocio pueden detenerse. Esto puede generar interrupciones operativas y, a su vez, problemas legales, pérdida de clientes e ingresos y daños reputacionales.
Restaurar datos eliminados después de un incidente cibernético solía ser un proceso largo y manual.Pero ahora es posible recuperar los datos en cuestión de minutos.
Una infraestructura de datos diseñada teniendo en cuenta la resiliencia, incluidos snapshots inmutables y detección de anomalías, puede marcar una diferencia cuando ocurre un ataque.
Cambiar la conversación
Hasta ahora, gran parte de la conversación sobre IA ha girado en torno a las capacidades de los modelos y la velocidad de las GPU. Ahora, a medida que las empresas buscan escalar la IA, necesitan concentrarse en los datos.
Esto incluye comprender de dónde provienen, hacia dónde van y hacia dónde no deberían ir y cómo protegerlos y recuperarlos.
Las organizaciones que logren escalar con éxito la IA agéntica serán aquellas que combinen una mayor autonomía con niveles igualmente sólidos de gobernanza, visibilidad y resiliencia.