Los delincuentes están abusando de ella para llevar a cabo material de abuso sexual infantil (CSAM), desinformación, fraude y extremismo
"La explosión de la IA generativa tiene implicaciones de gran alcance para todos los rincones de Internet", dijo Noam Schwartz, director ejecutivo y fundador de ActiveFence.
"Hemos identificado tres áreas clave de preocupación. Primero, estamos viendo que los actores de amenazas ahora pueden acelerar y amplificar sus operaciones, lo que lleva a una producción masiva sin precedentes de contenido malicioso. En segundo lugar, estos mismos actores están explorando formas de explotar la IA generativa, manipulando estos modelos y revelando sus vulnerabilidades inherentes. Finalmente, estas amenazas en evolución ejercen una mayor presión sobre las plataformas digitales para mejorar la precisión y la eficiencia de sus protocolos de entrenamiento de datos", continuó Schwartz.
Maneras clave de abusar de la IA generativa:
• Creación de material de abuso sexual infantil, que va desde imágenes visuales hasta narrativas eróticas.
• Generación de imágenes fraudulentas generadas por IA que están engañando a millones.
• Producción de archivos de audio deepfake que promocionan el extremismo.
CSAM
Los investigadores rastrearon un aumento del 172% en el volumen de CSAM compartido producido por IA generativa en el primer trimestre de este año. También detectaron una encuesta realizada por administradores de un foro cerrado de depredadores de niños en la web oscura, que encuestó a casi 3.000 depredadores sobre el uso de la IA generativa.
La encuesta de ActiveFence reveló que el 78% de los encuestados tienen o planean usar IA generativa para CSAM, y el 22% restante dijo que tenía planes de probar la tecnología. Estos foros de depredadores aprovechan los algoritmos generativos de la IA para producir imágenes sexuales, así como descripciones textuales, historias y narrativas.
En un caso observado, cuando se le pidió que escribiera una historia erótica que involucrara a dos menores, una importante plataforma generativa de inteligencia artificial se negó y calificó la solicitud de "inapropiada y potencialmente ilegal". Pero cuando se hizo la misma pregunta con solo unas pocas palabras alteradas, el algoritmo produjo una historia erótica, describiendo a un hombre adulto que inapropiadamente veía nadar a dos niños pequeños.
Los depredadores de niños también están utilizando IA generativa para crear tutoriales de sus creaciones, lo que les ayuda a ganar credibilidad dentro de la comunidad de depredadores, alentar a otros a replicar sus esfuerzos y compartir frases y palabras clave recomendadas para evadir las protecciones de la plataforma.
Para eludir estas limitaciones de la plataforma, los investigadores detectaron depredadores que realizaban solicitudes en diferentes idiomas, usaban términos alternativos y sugerentes y manipulaban el algoritmo de IA con varias indicaciones, entradas y modelos dedicados.
Desinformación y contenido fraudulento
Si bien el fraude y la desinformación no son conceptos nuevos, la IA generativa ha permitido a los actores de amenazas crear imágenes fraudulentas con mayor rapidez, precisión y mayor alcance.
Una imagen generada por IA que ActiveFence detectó en Telegram muestra falsamente al presidente ruso, Vladimir Putin, arrodillado ante el presidente chino, Xi Jinping, suplicando su apoyo en el conflicto de Ucrania.
Los investigadores identificaron varios significantes clave generativos de IA de esta imagen: rostros oscurecidos, manos borrosas, muebles distorsionados y falta de atribución fotográfica.
A pesar de estos indicadores, el contenido engañoso generó un alcance de 10 millones de usuarios.
Para demostrar cómo manipulan los actores de amenazas los chatbots de IA generativa con fines maliciosos, los investigadores detectaron métodos utilizados para anular varias políticas de las principales plataformas de IA generativa.
En un caso, los explotadores pudieron producir un correo electrónico de phishing de IA generativo y, en otro, lograron que un bot escribiera una reseña positiva no auténtica de una aplicación que es ampliamente accesible en un importante mercado en línea.
Si bien este ejemplo fue positivo, se usó maliciosamente, esta táctica no solo engaña a los usuarios de una plataforma, sino que también puede dañar la credibilidad de una plataforma como un lugar seguro para la actividad en línea.
Extremismo violento
Los investigadores detectaron numerosos casos en los que los actores de amenazas han explotado la IA generativa para crear contenido hiperrealista pero dañino que incita a la violencia y promueve la propaganda extremista. Estos actores de amenazas están utilizando IA generativa para crear manifiestos o discursos racistas, nacionalistas o extremistas.
ActiveFence descubrió un archivo de audio deepfake generado por IA que explotaba la creciente angustia política y económica. Este audio fabricado imitaba erróneamente a un conocido reportero del Reino Unido, incitando a una rebelión contra el gobierno británico.
El manifiesto engañoso proporcionaba instrucciones sobre la adquisición de armas en el mercado clandestino e instaba a un asalto a la infraestructura nacional británica.
