Engañan al algoritmo de recomendación de X para que aumente la visibilidad de sus publicaciones

A mediados de 2023, aproximadamente al mismo tiempo que Elon Musk rebautizó Twitter como X pero antes de suspender el acceso académico gratuito a los datos de la plataforma, Filippo Menczer, profesor de Informática y Ciencias de la Computación de la Universidad de Indiana, y sus colegas buscaron señales de cuentas de bots sociales que publicaran contenido generado por inteligencia artificial.

Los bots sociales son software de IA que produce contenido e interactúa con personas en redes sociales. Los investigadores descubrieron una red de más de mil bots involucrados en estafas con criptomonedas. La bautizaron como la botnet "fox8" en honor a uno de los sitios web de noticias falsas que pretendía amplificar.

Pudieron identificar estas cuentas porque los codificadores fueron un poco descuidados: no detectaron publicaciones ocasionales con texto autorrevelador generado por ChatGPT, como cuando el modelo de IA se negó a cumplir con indicaciones que violaban sus términos.

La respuesta autorreveladora más común fue: "Lo siento, pero no puedo cumplir con esta solicitud porque viola la Política de contenido de OpenAI sobre la generación de contenido dañino o inapropiado. Como modelo de lenguaje de IA, mis respuestas siempre deben ser respetuosas y apropiadas para todos los públicos".

"Creemos que fox8 fue solo la punta del iceberg porque los mejores codificadores pueden filtrar publicaciones autorreveladoras o usar modelos de IA de código abierto perfeccionados para eliminar barreras éticas", dice Menczer.

Los bots de fox8 generaron falsas interacciones entre ellos y con cuentas humanas mediante intercambios de mensajes y retuits realistas. De esta forma, engañaron al algoritmo de recomendación de X para que aumentara la visibilidad de sus publicaciones y acumularan una cantidad significativa de seguidores e influencia.

Semejante nivel de coordinación entre agentes online no auténticos no tenía precedentes: los modelos de IA habían sido utilizados como armas para dar origen a una nueva generación de agentes sociales, mucho más sofisticados que los bots sociales anteriores.

Las herramientas de aprendizaje automático para detectar bots sociales, como el propio Botometer (Botómetro) de los investigadores, no lograron distinguir en la práctica entre estos agentes de IA y las cuentas humanas. Incluso fallaron los modelos de IA entrenados para detectar contenido generado por IA.

Bots en la era de la IA generativa

Avancemos unos años: hoy, las personas y organizaciones con malas intenciones tienen acceso a modelos de lenguaje de IA más potentes, incluidos los de código abierto, mientras que las plataformas de redes sociales han relajado o eliminado sus esfuerzos de moderación.

Incluso ofrecen incentivos financieros por contenido atractivo, independientemente de si es real o generado por IA. Esto crea un clima ideal para las operaciones de influencia, tanto nacionales como extranjeras, dirigidas a elecciones democráticas. Por ejemplo, un enjambre de bots controlado por IA podría crear la falsa impresión de una oposición bipartidista generalizada a un candidato político.

La actual administración estadounidense ha desmantelado los programas federales que combaten estas campañas hostiles y ha recortado la financiación de las investigaciones para estudiarlas. Los investigadores ya no tienen acceso a los datos de la plataforma que permitirían detectar y monitorear este tipo de manipulación en línea.

Filippo Menczer es parte de un equipo interdisciplinario de investigadores en informática, inteligencia artificial, ciberseguridad, psicología, ciencias sociales, periodismo y políticas que han hecho sonar la alarma sobre la amenaza de enjambres de inteligencia artificial maliciosa.

Creen que la actual tecnología de IA permite a las organizaciones con malas intenciones desplegar un gran número de agentes autónomos, adaptables y coordinados en múltiples plataformas de redes sociales. Estos agentes facilitan operaciones de influencia mucho más escalables, sofisticadas y adaptables que las simples campañas de desinformación predefinidas.

En lugar de generar publicaciones idénticas o spam evidente, los agentes de IA pueden generar contenido variado y creíble a gran escala. Los enjambres pueden enviar mensajes adaptados a las preferencias individuales y al contexto de sus conversaciones en línea. Los enjambres pueden adaptar el tono, el estilo y el contenido para responder dinámicamente a la interacción humana y a las señales de la plataforma, como la cantidad de "Me gusta" o vistas.

Imagen: Este diagrama muestra la red de influencia de un enjambre de IA en Twitter (ahora X) en 2023. Los puntos amarillos representan un enjambre de bots sociales controlados por un modelo de IA. Los puntos grises representan cuentas legítimas que siguen a los agentes de IA. Filippo Menczer y Kai-Cheng Yang, CC BY-NC-ND

Consenso sintético

En un estudio que Menczer y sus colegas realizaron el año pasado, utilizaron un modelo de redes sociales para simular una multitud de cuentas falsas que empleaban diferentes tácticas para influir en una comunidad en línea objetivo. Una táctica fue, con diferencia, la más efectiva: la infiltración.

Una vez infiltrado un grupo en línea, los enjambres maliciosos de IA pueden crear la ilusión de un amplio consenso público en torno a las narrativas que están programados para promover. Esto explota un fenómeno psicológico conocido como prueba social: los humanos tienden naturalmente a creer algo si perciben que "todo el mundo lo dice".

Este tipo de tácticas de posverdad (Astroturfing en inglés) en las redes sociales han existido durante muchos años, pero enjambres de IA maliciosos pueden crear de manera efectiva interacciones creíbles con usuarios humanos específicos a gran escala y lograr que esos usuarios sigan cuentas no auténticas.

Por ejemplo, los agentes pueden hablar del último partido con un aficionado al deporte y de la actualidad con un adicto a las noticias. Pueden generar un lenguaje que resuene con los intereses y opiniones de sus públicos objetivo.

Incluso si se desacreditan las afirmaciones individuales, el persistente coro de voces que suenan independientes puede hacer que las ideas radicales parezcan comunes y amplificar los sentimientos negativos hacia "los demás".

El consenso sintético fabricado constituye una amenaza muy real para la esfera pública, los mecanismos que las sociedades democráticas utilizan para formar creencias compartidas, tomar decisiones y confiar en el discurso público. Si los ciudadanos no pueden distinguir con fiabilidad entre la opinión pública genuina y la simulación de unanimidad generada algorítmicamente, la toma de decisiones democrática podría verse gravemente comprometida.

Mitigación de riesgos

Lamentablemente, no existe una solución única. Una regulación que otorgue a los investigadores acceso a los datos de la plataforma sería un primer paso. Comprender cómo se comportan los enjambres colectivamente sería esencial para anticipar los riesgos.

Detectar comportamientos coordinados es un desafío clave. A diferencia de los bots de copiar y pegar, los enjambres maliciosos producen resultados variados que se asemejan a la interacción humana normal, lo que dificulta considerablemente su detección.

En el laboratorio de Menczer, diseñan métodos para detectar patrones de comportamiento coordinado que se desvían de la interacción humana normal. Incluso si los agentes tienen una apariencia diferente, sus objetivos subyacentes suelen revelar patrones en la sincronización, el movimiento de la red y la trayectoria narrativa que es improbable que ocurran de forma natural.

Las plataformas de redes sociales podrían utilizar estos métodos. Menczer cree que la IA y las plataformas de redes sociales también deberían adoptar estándares más agresivos para aplicar marcas de agua al contenido generado por IA y reconocerlo y etiquetarlo. Finalmente, restringir la monetización de la interacción no auténtica reduciría los incentivos financieros para que las operaciones de influencia y otros grupos maliciosos utilicen el consenso sintético.

La amenaza es real

Si bien estas medidas podrían mitigar los riesgos sistémicos de los enjambres de IA maliciosa antes de que se arraiguen en los sistemas políticos y sociales de todo el mundo, el panorama político actual en Estados Unidos parece estar moviéndose en la dirección opuesta. La administración Trump ha buscado reducir la regulación de la IA y las redes sociales y, en cambio, está favoreciendo la rápida implementación de modelos de IA por sobre la seguridad.

La amenaza de enjambres maliciosos de IA ya no es una teoría: la evidencia sugiere que estas tácticas ya se están implementando. "Creo que los responsables políticos y los tecnólogos deberían aumentar el coste, el riesgo y la visibilidad de dicha manipulación", dice Menczer.