Los chatbots de IA se dejan engañar fácilmente con tonterías
Al investigar los errores de los chatbots, los científicos profundizan en la cognición humana
Probablemente hayas conversado con un chatbot de Inteligencia Artificial (IA), como ChatGPT o Bard de Google, y te hayas maravillado de su capacidad para imitar la conversación humana. Pero la palabra clave aquí es "mimetismo", ya que estos robots en realidad no son máquinas pensantes.
Por ejemplo, los investigadores lanzaron intencionalmente "una bola curva" a algunos de los chatbots más populares disponibles actualmente, demostrando que pueden dejarse engañar fácilmente por oraciones que suenan sin sentido para nuestros oídos.
Estas IA, impulsadas por inmensas redes neuronales y entrenadas con millones y millones de ejemplos, percibieron estas oraciones sin sentido como lenguaje ordinario. Es un buen ejemplo de las limitaciones de estos sistemas que a menudo son muy exagerados y publicitados en las redes sociales. Si estos resultados sirven de indicación, todavía estamos muy lejos de Skynet (¡gracias a Dios!).
Sin embargo, los mismos resultados también ofrecen una intrigante revelación: estudiar estos errores de la IA no sólo podría aumentar la eficiencia de los chatbots de IAchatbots de IA, sino también revelar secretos sobre el funcionamiento interno del procesamiento del lenguaje humano.
De transformadores y redes recurrentes
Investigadores de la Universidad de Columbia compilaron cientos de pares de oraciones (una que tenía sentido, la otra con mayor probabilidad de ser juzgada como un galimatías) e hicieron que los humanos calificaran cuál sonaba más "natural". Luego retaron a nueve diferentes modelos de lenguaje grande (LLM) con los mismos pares de oraciones. ¿La IA juzgaría las sentencias como lo hicimos nosotros?
Los resultados del enfrentamiento fueron reveladores. Las IA construidas sobre lo que se conoce en el mundo tecnológico como "redes neuronales transformadoras", como ChatGPT, superaron a sus pares que se basan en modelos estadísticos y de redes neuronales recurrentes más simples. Sin embargo, todos los modelos, independientemente de su sofisticación, fallaron. Muchas veces, preferían frases que pudieran hacerte rascarte la cabeza confundido.
A continuación se muestra un ejemplo de un par de oraciones utilizado en el estudio:
• Esa es la narrativa que nos han vendido.
• Esta es la semana en la que has estado muriendo.
¿Cuál crees que escucharías con más frecuencia en una conversación y tiene más sentido? Los humanos en el estudio gravitaron hacia la primera. Sin embargo, BERT, un modelo de primer nivel, abogó por lo último. GPT-2 estuvo de acuerdo en esto con nosotros, los humanos, pero incluso falló estrepitosamente durante otras pruebas.
"Cada modelo presentaba limitaciones, a veces etiquetando frases como lógicas cuando los humanos las consideraban un galimatías", comentó Christopher Baldassano, profesor de psicología en Columbia.
"El hecho de que los modelos avanzados funcionen bien implica que han comprendido algo fundamental que pasan por alto los modelos más simples. Sin embargo, su susceptibilidad a oraciones sin sentido indica una disparidad entre los cálculos de la IA y el procesamiento del lenguaje humano", dice Nikolaus Kriegeskorte, investigador clave del Instituto Zuckerman de Columbia.
Los límites de la IA y cerrar la brecha
Esto nos lleva a una apremiante preocupación: la IA todavía tiene puntos ciegos y no es tan "inteligente" como podría pensar, lo cual es una buena y una mala noticia dependiendo de cómo se vea esto.
En muchos sentidos, esto es una paradoja. Hemos escuchado cómo los LLM como ChatGPT pueden aprobar los exámenes médicos y de abogados de EE. UU. Al mismo tiempo, el mismo chatbot a menudo no puede resolver problemas matemáticos simples ni deletrear palabras como "piruleta" al revés.
Como muestra la presente investigación, existe una gran brecha entre estos LLM y la inteligencia humana. Desenredar esta brecha de desempeño contribuirá en gran medida a catalizar avances en los modelos lingüísticos.
Para los investigadores de Columbia, sin embargo, lo que está en juego es aún mayor. Su agenda no implica mejorar los LLM, sino más bien desmenuzar sus idiosincrasias para aprender más sobre lo que nos motiva, específicamente cómo el cerebro humano procesa el lenguaje.
Un niño humano expuesto a un vocabulario doméstico muy limitado puede aprender muy rápidamente a hablar y articular sus pensamientos. Mientras tanto, ChatGPT se entrenó en millones de libros, artículos y páginas web y todavía se deja engañar por tonterías absolutas.
"Las herramientas de inteligencia artificial son poderosas pero distintas en el procesamiento del lenguaje en comparación con los humanos. Evaluar su comprensión del lenguaje en yuxtaposición con la nuestra ofrece una nueva perspectiva sobre la comprensión de la cognición humana", dice Tal Golan, líder del artículo, quien recientemente se mudó del Instituto Zuckerman a la Universidad Ben-Gurion del Negev.
En esencia, al analizar los errores de la IA, podríamos toparnos con una visión más profunda de nosotros mismos. Después de todo, en palabras del antiguo filósofo Lao Tzu: "De asombro en asombro, se abre la existencia".
Los hallazgos aparecieron en la revista Nature Machine Intelligence: Testing the limits of natural language models for predicting human language judgements
