Escollos y riesgos de la IA generativa en el aprendizaje automático

Una investigación publicada recientemente por un destacado científico informático advierte que el uso de la IA generativa para diseñar, entrenar o realizar pasos dentro de un sistema de aprendizaje automático podría aumentar gravemente los riesgos.

Michael Lones, profesor de la Facultad de Ciencias Matemáticas e Informáticas de la Universidad Heriot-Watt, argumenta en un nuevo artículo que la IA generativa podría exponer a las organizaciones y al público a daños no deseados.

Esto incluye ciberataques, filtraciones de datos y prejuicios contra grupos subrepresentados, a pesar de los posibles beneficios en términos de costes y eficiencia.

El estudio del profesor Lones explora cómo la IA generativa se está utilizando cada vez más para diseñar, construir y operar sistemas de aprendizaje automático en una amplia gama de sectores.

"Los desarrolladores de aprendizaje automático deben ser conscientes de los riesgos que conlleva el uso de la IA generativa en el aprendizaje automático y encontrar un equilibrio sensato entre las mejoras en las capacidades y los riesgos que esto podría implicar", dijo el profesor Lones.

"Dadas las limitaciones actuales de la IA generativa, diría que este es un claro ejemplo de que el hecho de que puedas hacer algo no significa que debas hacerlo".

Los sistemas de aprendizaje automático son algoritmos que aprenden a reconocer patrones en los datos, los cuales pueden utilizar posteriormente para realizar predicciones y tomar decisiones con respecto a nuevos datos.

El aprendizaje automático existe desde hace décadas, y la mayoría de las personas lo encuentran en su vida diaria en forma de filtros de spam, recomendaciones de productos en sitios web de comercio electrónico y noticias en redes sociales. Pero también se utiliza en situaciones de alto riesgo, como la asignación de pacientes a ensayos clínicos de medicamentos y la tramitación de reclamaciones de seguros.

En los últimos dos años, aproximadamente, se ha impulsado la incorporación de la IA generativa (principalmente en forma de modelos de lenguaje natural) en los sistemas de aprendizaje automático, pero hacerlo conlleva riesgos y limitaciones que deben conocer los desarrolladores y el público en general.

El profesor Lones añade: "Si la IA generativa funciona de diversas maneras dentro de sus flujos de trabajo o sistema de aprendizaje automático, entonces pueden interactuar de formas impredecibles y difíciles de comprender".

"Mi consejo por el momento es evitar añadir demasiada complejidad en cuanto a cómo utilizamos la IA generativa en el aprendizaje automático, especialmente si se trata de un sector con mucho en juego que afecta a la vida y el sustento de las personas".

El trabajo del profesor Lones explora cuatro formas en que la IA generativa se está aplicando actualmente en el aprendizaje automático: como un componente dentro de un proceso de aprendizaje automático, para diseñar y codificar procesos de aprendizaje automático, para sintetizar datos de entrenamiento y para analizar los resultados del aprendizaje automático.

Todas estas aplicaciones conllevan riesgos, y estos riesgos se agravan si los modelos de lenguaje natural (LLM) se utilizan para múltiples tareas dentro de un sistema de aprendizaje automático, o si los LLM son "agentes", lo que significa que pueden utilizar de forma autónoma herramientas externas para resolver problemas.

Uno de los mayores riesgos es, sencillamente, que los LLM a veces cometen errores, toman malas decisiones y fabrican o "alucinan" información.

Estos errores no son necesariamente predecibles y pueden ser difíciles de evaluar porque los LLM operan de manera poco transparente, lo que supone un problema adicional para el cumplimiento legal.

El profesor Lones añadió: "En ámbitos como la medicina o las finanzas, existen leyes que exigen poder demostrar que el sistema de aprendizaje automático es fiable y que se puede explicar cómo llega a sus decisiones".

"En cuanto empiezas a usar modelos LLM, la cosa se complica mucho, porque son muy opacos. Es importante que el público en general sea consciente de las limitaciones de los sistemas GenAI".

"Las empresas implementarán estos sistemas para, entre otras cosas, reducir costes, lo que puede mejorar la experiencia de los usuarios finales, pero también puede tener consecuencias negativas, como sesgos e injusticias".

El estudio se ha publicado en la revista Patterns: Pitfalls and risks of generative AI in machine learning