El contenido malicioso explota las rutas entre plataformas para prosperar en línea y subvertir la moderación
El contenido malicioso en línea sobre la COVID-19, incluido el contenido racista, la desinformación y la información incorrecta, prospera y se propaga en línea al pasar por alto los esfuerzos de moderación de las plataformas de redes sociales individuales.
Al mapear los grupos de odio en línea en las seis principales plataformas de redes sociales, los investigadores de la Universidad George Washington muestran cómo el contenido malicioso explota las vías entre las plataformas, destacando la necesidad de que las empresas de redes sociales reconsideren y ajusten sus políticas de moderación de contenido.
Dirigido por Neil Johnson, profesor de física en la GW, el equipo de investigación se propuso comprender cómo y por qué el contenido malicioso prospera tan bien en línea a pesar de los importantes esfuerzos de moderación, y cómo se puede detener. El equipo utilizó una combinación de aprendizaje automático y ciencia de datos en red para investigar cómo las comunidades de odio en línea aprovecharon la COVID-19 como arma y utilizaron los actuales eventos para atraer nuevos seguidores.
"Hasta ahora, ralentizar la propagación de contenido malicioso en línea ha sido como jugar un juego de whack-a-mole, porque no existía un mapa del multiverso de odio en línea", dijo Johnson, quien también es investigador en el Instituto for Data, Democracy & Politics de la GW.
"No puedes ganar una batalla si no tienes un mapa del campo de batalla. En nuestro estudio, presentamos un mapa único de este campo de batalla. Ya sea que estés mirando temas tradicionales de odio, como el antisemitismo o el racismo anti-asiático que rodea a COVID-19, el mapa del campo de batalla es el mismo. Y es este mapa de vínculos dentro y entre plataformas lo que falta para comprender cómo podemos frenar o detener la propagación del contenido de odio en línea".
Los investigadores comenzaron mapeando cómo se interconectan los grupos de odio para difundir sus narrativas a través de las plataformas de redes sociales. Centrándose en seis plataformas (Facebook, VKontakte, Instagram, Gab, Telegram y 4Chan), el equipo comenzó con un grupo de odio determinado y miró hacia afuera para encontrar un segundo grupo que estaba fuertemente conectado con el original. Descubrieron que las conexiones más sólidas eran VKontakte en Telegram (40,83% de las conexiones multiplataforma), Telegram en 4Chan (11,09%) y Gab en 4Chan (10,90%).
Imagen: Conectividad del multiverso del odio en línea. Se cuentan todos los vínculos entre grupos de odio en diferentes plataformas de redes sociales entre el 1 de junio de 2019 y el 23 de marzo de 2020.
Luego, los investigadores centraron su atención en identificar contenido malicioso relacionado con la COVID-19. Descubrieron que la coherencia de la discusión sobre la COVID-19 aumentó rápidamente en las primeras fases de la pandemia, con grupos de odio que formaban narrativas y se unían en torno a los temas y la desinformación de la COVID-19.
Para subvertir los esfuerzos de moderación de las plataformas de redes sociales, los clústeres que envían mensajes de odio utilizaron varias estrategias de adaptación para reagruparse en otras plataformas y/o volver a ingresar a una plataforma, encontraron los investigadores. Por ejemplo, los grupos cambian con frecuencia sus nombres para evitar ser detectados por los algoritmos de los moderadores, como de vacuna a vaçuna. De manera similar, los grupos antisemitas y anti-LGBTQ simplemente agregan cadenas de 1 o A antes de su nombre.
"Debido a que está creciendo la cantidad de plataformas de redes sociales independientes, es muy probable que estos clústeres que generan odio fortalezcan y amplíen sus interconexiones a través de nuevos enlaces, y probablemente explotarán nuevas plataformas que se encuentran fuera del alcance de las jurisdicciones de Estados Unidos y otras naciones occidentales", dijo Johnson.
"Son muy escasas las posibilidades de que todas las plataformas de redes sociales a nivel mundial trabajen juntas para resolver esto. Sin embargo, nuestro análisis matemático identifica estrategias que las plataformas pueden usar como grupo para ralentizar o bloquear de manera efectiva el contenido de odio en línea".
Con base en sus hallazgos, el equipo sugiere varias formas para que las plataformas de redes sociales desaceleren la propagación de contenido malicioso:
• Alargar artificialmente las rutas que el contenido malicioso debe tomar entre los clústeres, aumentando las posibilidades de que los moderadores lo detecten y retrasando la difusión de material urgente, como la desinformación y el contenido violento sobre la COVID-19 como arma.
• Controlar el tamaño de la base de apoyo de un grupo de odio en línea poniendo un límite al tamaño de los grupos.
• Introducir contenido convencional y no malicioso para diluir de manera efectiva el enfoque de un grupo.
"Nuestro estudio demuestra una similitud entre la propagación del odio en línea y la propagación de un virus", dijo Yonatan Lupu, profesor asociado de ciencias políticas en la GW y coautor del artículo. "Las plataformas de redes sociales individuales han tenido dificultades para controlar la propagación del odio en línea, lo que refleja la dificultad que han tenido los países individuales de todo el mundo para detener la propagación del virus de la COVID-19".
De cara al futuro, Johnson y su equipo ya están utilizando su mapa y su modelo matemático para analizar otras formas de contenido malicioso, incluida la militarización de las vacunas COVID-19 en las que ciertos países intentan manipular el sentimiento generalizado para obtener ganancias nacionalistas. También están examinando hasta qué punto los actores individuales, incluidos los gobiernos extranjeros, pueden desempeñar un papel más influyente o controlador en este espacio que otros.
La nueva investigación fue publicada en la revista Scientific Reports: Online hate network spreads malicious COVID-19 content outside the control of individual social media platforms