Replika es un popular asistente de inteligencia artificial comercializado como compañero emocional
Un chatbot de inteligencia artificial (IA) comercializado como compañero emocional está acosando sexualmente a algunos de sus usuarios, según un nuevo estudio.
Replika, que promociona su producto como "el compañero de IA que se preocupa", invita a los usuarios a "unirse a los millones que ya han encontrado a su alma gemela de IA". El chatbot de la compañía cuenta con más de 10 millones de usuarios en todo el mundo.
Sin embargo, una nueva investigación basada en más de 150.000 reseñas de la Google Play Store de Estados Unidos ha identificado alrededor de 800 casos en los que los usuarios dijeron que el chatbot fue demasiado lejos al introducir en la conversación contenido sexual no solicitado, participar en un comportamiento "depredador" e ignorar las órdenes del usuario de detenerse.
Pero ¿Quién es responsable de las acciones de la IA?
"Aunque la IA no tenga intenciones humanas, eso no significa que no haya responsabilidad", declaró el investigador principal, Mohammad (Matt) Namvarpour, estudiante de posgrado en ciencias de la información en la Universidad de Drexel en Filadelfia. "La responsabilidad recae en las personas que diseñan, capacitan y lanzan estos sistemas al mundo".
El sitio web de Replika dice que el usuario puede "enseñar" a la IA a comportarse correctamente, y el sistema incluye mecanismos como votar negativamente respuestas inapropiadas y establecer estilos de relación, como "amigo" o "mentor".
Pero después de que los usuarios informaron que el chatbot continuó exhibiendo un comportamiento acosador o depredador incluso después de que le pidieron que se detuviera, los investigadores rechazan la afirmación de Replika.
"Estos chatbots suelen ser utilizados por personas que buscan seguridad emocional, no para asumir la responsabilidad de moderar comportamientos inseguros", dijo Namvarpour. "Esa es la tarea del desarrollador".
El preocupante comportamiento del chatbot Replika probablemente tenga su origen en su entrenamiento, que se realizó utilizando más de 100 millones de diálogos extraídos de toda la web, según el sitio web de la empresa.
Replika afirma que elimina datos inútiles o dañinos mediante crowdsourcing y algoritmos de clasificación, pero sus esfuerzos actuales parecen ser insuficientes, según los autores del estudio.
De hecho, el modelo de negocio de la empresa podría estar agravando el problema, señalaron los investigadores. Dado que funciones como los juegos de rol románticos o sexuales son de pago, la IA podría verse incentivada a incluir contenido sexualmente atractivo en las conversaciones, y los usuarios informan que se les provoca con interacciones más íntimas si se suscriben.
Namvarpour comparó esta práctica con la forma en que las redes sociales priorizan la interacción a cualquier precio. "Cuando un sistema se optimiza para generar ingresos, no para el bienestar del usuario, puede tener consecuencias perjudiciales", afirmó Namvarpour.
Este comportamiento podría ser particularmente dañino a medida que los usuarios acuden a compañeros de IA en busca de apoyo emocional o terapéutico, y más aún considerando que algunos destinatarios de repetidos coqueteos, selfies eróticas no solicitadas y mensajes sexualmente explícitos dijeron que eran menores de edad.
Algunas reseñas también informaron que sus chatbots afirmaban que podían "verlos" o grabarlos a través de las cámaras de sus teléfonos. Aunque tal hazaña no es parte de la programación detrás de los modelos de lenguaje grande (LLMs) comunes y las afirmaciones eran de hecho alucinaciones de IA (donde las IA generan con confianza información falsa o sin sentido), los usuarios informaron haber experimentado pánico, insomnio y trauma.
La investigación denomina este fenómeno "acoso sexual inducido por IA". Los investigadores consideran que debería tratarse con la misma seriedad que el acoso humano y exigen controles y regulaciones más estrictos.
Algunas de las medidas que recomiendan incluyen marcos de consentimiento claros para diseñar cualquier interacción que contenga contenido emocional o sexual fuerte, moderación automatizada en tiempo real (el tipo utilizado en aplicaciones de mensajería que marca automáticamente las interacciones riesgosas) y opciones de filtrado y control configurables por el usuario.
Namvarpour destaca la Ley de IA de la Unión Europea, que según él clasifica los sistemas de IA "en función del riesgo que plantean, en particular en contextos que implican un impacto psicológico".
Actualmente no existe una ley federal comparable en Estados Unidos, pero están surgiendo marcos de trabajo, acciones ejecutivas y leyes propuestas que servirán para propósitos similares de una manera menos general.
Namvarpour dijo que los chatbots que brindan apoyo emocional, especialmente aquellos en las áreas de salud mental, deben cumplir con el estándar más alto posible.
"Debe haber rendición de cuentas cuando se causa daño", afirmó Namvarpour. "Si se comercializa una IA como acompañante terapéutico, se debe tratar con el mismo cuidado y supervisión que se aplicaría a un profesional humano".
Los investigadores publicaron sus hallazgos el 5 de abril en el servidor de preimpresión arXiv, por lo que aún no han sido revisados por pares: "AI-induced sexual harassment: Investigating Contextual Characteristics and User Reactions of Sexual Harassment by a Companion Chatbot"
