Percepción, rendimiento y detectabilidad de la inteligencia artificial conversacional en 32 cursos universitarios
ChatGPT puede igualar o incluso superar la calificación promedio de los estudiantes universitarios al responder preguntas de evaluación en una variedad de materias que incluyen ciencias de la computación, estudios políticos, ingeniería y psicología, según un nuevo estudio.
La investigación también encontró que casi tres cuartas partes de los estudiantes encuestados usarían ChatGPT para ayudarse con sus tareas, a pesar de que muchos educadores consideran que su uso es plagio.
Para investigar cómo se desempeñó ChatGPT al redactar evaluaciones universitarias en comparación con los estudiantes, Talal Rahwan y Yasir Zaki invitaron a profesores que impartieron 32 cursos diferentes en la Universidad de Nueva York en Abu Dhabi (NYUAD) para proporcionar tres presentaciones de estudiantes cada una para 10 preguntas de evaluación que habían establecido.
Luego se pidió a ChatGPT que produjera tres conjuntos de respuestas a las diez preguntas, que luego fueron evaluadas junto con las respuestas escritas por los estudiantes por tres calificadores (que desconocían la fuente de las respuestas). Las respuestas generadas por ChatGPT lograron una calificación promedio similar o superior a la de los estudiantes en nueve de 32 cursos.
Sólo en los cursos de matemáticas y economía los estudiantes superaron consistentemente a ChatGPT. ChatGPT superó notablemente a los estudiantes en el curso "Introducción a las Políticas Públicas", donde su calificación promedio fue de 9,56 en comparación con 4,39 de los estudiantes.
Los autores también encuestaron las opiniones sobre si ChatGPT podría usarse para ayudar con las tareas universitarias entre 1.601 personas de Brasil, India, Japón, EE. UU. y el Reino Unido (incluidos al menos 200 estudiantes y 100 educadores de cada país). Alrededor del 74% de los estudiantes indicaron que usarían ChatGPT en su trabajo.
Por el contrario, en todos los países, los educadores subestimaron la proporción de estudiantes que planean usar ChatGPT y el 70% de los educadores informaron que tratarían su uso como plagio.
Finalmente, los autores informan que dos herramientas para identificar texto generado por IA (GPTZero y el clasificador de texto AI) clasificaron erróneamente las respuestas ChatGPT generadas en esta investigación como escritas por un humano el 32% y el 49% de las veces, respectivamente.
En conjunto, estos hallazgos ofrecen ideas que podrían informar las políticas para el uso de herramientas de Inteligencia artificial en entornos educativos.
El artículo se ha publicado en Scientific Reports: Perception, performance, and detectability of conversational artificial intelligence across 32 university courses
