Desde Check Point consideran que el auge de LLM maliciosos como WormGPT y la más reciente Xanthorox AI. Estas no son solo amenazas teóricas; son plataformas diseñadas con fines nefastos.
WormGPT, basado en el modelo GPT-J, se comercializó como una alternativa de «Blackhat», que ofrecía funciones adaptadas a actividades maliciosas y, según se informa, estaba entrenada con datos relacionados con malware.
Si bien sus creadores han cesado sus operaciones, el genio ya salió de la botella. Estamos observando una tendencia en el desarrollo de herramientas de IA ofensivas, como BurpGPT, PentestGPT, FraudGPT y PassGPT, con planes para modelos aún más sofisticados como «Evil-GPT-Web3».
Xanthorox AI, emergente en el primer trimestre de 2025, representa un avance significativo. A diferencia de las iteraciones anteriores, se trata de un sistema autónomo y modular, creado desde cero, que opera completamente sin conexión para mejorar el anonimato y la resiliencia.
Sus cinco modelos de IA especializados (Xanthorox Coder, V4 Model, Xanthorox Vision, Xanthorox Reasoner Advanced y el Quinto Módulo de Coordinación) trabajan en conjunto para automatizar el desarrollo de malware, el reconocimiento, la ingeniería social y los ataques coordinados sin supervisión externa.
No se trata solo de un LLM; es una IA con agentes, lo que supone un cambio lógico y preocupante en las herramientas del ciberdelincuente.
Phishing mejorado con IA que rompe la confianza de marca
El impacto de estos avances en IA en la protección de marca es particularmente agudo en el ámbito de los ataques de phishing. Los actores de amenazas ya utilizan técnicas de inyección rápida para manipular las LLM legítimas y generar contenido de phishing atractivo.
Esto significa que los ataques de phishing se lanzan con mayor rapidez, frecuencia y un alarmante grado de personalización.
En 2024, el 67,4% de los incidentes globales de phishing involucraron tácticas de IA, siendo el sector financiero uno de los principales objetivos. No se trata solo de volumen, sino de sofisticación.
La IA permite a los atacantes crear campañas altamente personalizadas y convincentes, que incluyen phishing selectivo, deepfakes y técnicas avanzadas de ingeniería social.
Los correos electrónicos ahora son impecables, rápidos y precisos
Uno de los impactos más inmediatos se produce en los propios correos electrónicos de phishing. Atrás quedaron los días en que los errores gramaticales y ortográficos eran claros indicadores de una estafa. Los correos electrónicos generados por IA suelen ser indistinguibles de las comunicaciones corporativas legítimas.
Esta velocidad de creación y personalización se ve significativamente aumentada por las LLM, lo que permite lanzar y escalar ataques rápidamente. Un estudio de 2021 demostró que, incluso con IA más antigua, los correos electrónicos de phishing selectivo generados por IA alcanzaron una tasa de clics del 60%.
Otro estudio más reciente, de 2024, reveló que los correos electrónicos de phishing generados íntegramente por IA alcanzaron una tasa de clics del 54% en un estudio con sujetos humanos, un aumento del 350% con respecto a los correos electrónicos de phishing arbitrarios.
Un ejemplo del mundo real ocurrió en febrero de 2024, cuando la sucursal húngara de una empresa minorista europea perdió 15.500.000 de euros en un ataque de compromiso de correo electrónico empresarial (BEC).
Los atacantes utilizaron IA generativa para crear correos electrónicos que imitaban a la perfección el tono, el estilo y el formato de la correspondencia corporativa anterior, dirigidos al personal financiero con solicitudes urgentes de transferencias de dinero.
Estos correos electrónicos estaban libres de errores y eran contextualmente precisos, eludiendo los filtros tradicionales y poniendo de manifiesto la eficacia de los ataques BEC mejorados con IA.
Los deepfakes se están convirtiendo en la suplantación de identidad definitiva
Más allá de los correos electrónicos sofisticados, los deepfakes han añadido una dimensión completamente nueva al phishing.
Estos medios sintéticos, creados mediante aprendizaje profundo, pueden fabricar imágenes, audio o vídeos realistas para suplantar la identidad de personas, falsificar mensajes de voz o simular videollamadas.
Lo que antes estaba reservado para personas altamente cualificadas ahora es fácilmente accesible: Deloitte informa que el 25,9% de los ejecutivos han experimentado uno o más incidentes de deepfake.
Considere estos ejemplos:
- Emiratos Árabes Unidos (2020), donde un gerente de banco perdió aproximadamente u$s 35.000.000 tras ser víctima de un ataque de phishing impulsado por IA. Los actores de amenazas utilizaron tecnología de voz deepfake para hacerse pasar por el director de una empresa, cuya voz fue clonada a partir de muestras de audio disponibles públicamente. Los correos electrónicos falsificados del «director» y un «abogado» aportaron mayor legitimidad.
- Hong Kong (enero de 2024), donde una empresa multinacional sufrió una pérdida de u$s 25.000.000 debido a una estafa de vídeo deepfake. Los atacantes utilizaron vídeos deepfake generados por IA para hacerse pasar por el director financiero de la empresa y otros empleados durante una videoconferencia, aprovechando la dinámica de grupo para disipar las dudas de un trabajador financiero.
- Reino Unido (mayo de 2024), donde en un intento fallido pero alarmante, los atacantes utilizaron una cuenta falsa de WhatsApp, clonación de voz generada por IA y grabaciones de YouTube manipuladas. Se hicieron pasar por un director ejecutivo durante una reunión de Microsoft Teams, con el objetivo de engañar a un líder de agencia para que estableciera una nueva entidad comercial para solicitar fondos y datos personales.
Análisis de IA que impulsa el reconocimiento
El papel de la IA en el phishing no se limita a la generación de contenido y los deepfakes. El análisis de datos impulsado por IA permite a los atacantes recopilar y analizar grandes conjuntos de datos de redes sociales, registros públicos y bases de datos vulneradas a una velocidad sin precedentes.
Esto facilita campañas de phishing selectivo altamente dirigidas y adaptadas a individuos u organizaciones específicas.
La IA puede predecir el comportamiento de las víctimas y optimizar el momento del ataque. Por ejemplo, la IA puede analizar los patrones de comunicación dentro de una organización para determinar el momento ideal para enviar un correo electrónico de phishing que imita el tono y el estilo de un director ejecutivo, lo que aumenta significativamente las tasas de éxito.
A medida que los modelos de IA se vuelven más potentes, los actores de amenazas reciben las mismas mejoras para un reconocimiento altamente específico. Las funciones avanzadas en modelos como Grok 3 y ChatGPT 4.0 permiten un análisis rápido de información pública.
Esto significa que la IA puede predecir oportunidades de alto valor, creando campañas que explotan las tendencias antes de que las organizaciones puedan implementar defensas.
Un ejemplo práctico en India a principios de 2024 fue el de una importante institución financiera víctima de una campaña de phishing impulsada por IA que comprometió datos confidenciales de sus clientes.
Los atacantes utilizaron PLN e IA generativa para redactar correos electrónicos de phishing selectivo que imitaban el estilo de escritura del director ejecutivo, incorporando formato y terminología oficiales extraídos de LinkedIn y sitios web corporativos.
Estos correos dirigían a los altos directivos a un portal interno fraudulento, lo que permitía a los atacantes acceder a bases de datos financieras.
De hecho, se ha registrado un aumento del 175% en los ataques de phishing financiero en India durante el primer semestre de 2024, con un papel fundamental de la IA.
Estamos presenciando un cambio significativo, donde la inteligencia artificial (IA) no es solo una herramienta de defensa, sino también una herramienta poderosa.
