Mu es un modelo de lenguaje de tamaño micro y específico para tareas
Son tendencia los modelos de lenguaje grandes (LLM), pero los modelos de lenguaje pequeños también son importantes para ciertas tareas, especialmente en dispositivos con consumo limitado de energía, como teléfonos y portátiles. Microsoft acaba de presentar su nuevo modelo de lenguaje "Mu", que ya está presente en algunas funciones de Windows 11.
Microsoft ya utiliza en Windows 11 un modelo de lenguaje pequeño llamado Phi Silica, lo que permite que las características de Copilot+ PC funcionen sin ralentizaciones en conjuntos de chips como el Snapdragon X Plus.
Populares chatbots de IA como ChatGPT, Copilot y Gemini utilizan LLM más avanzados que requieren potentes GPU, pero modelos más pequeños como Phi Silica y Mu pueden lograr resultados similares con una fracción del poder de procesamiento, a costa de una menor versatilidad.
Mu es un “modelo de lenguaje de tamaño micro y específico para tareas” diseñado para ejecutarse de manera eficiente en una unidad de procesamiento neuronal, o NPU, como las que se encuentran en las recientes computadoras Copilot+ PC.
Microsoft utilizó muchas diferentes técnicas de optimización para lograr un alto rendimiento con limitada energía, incluida una arquitectura de codificador-decodificador de transformador, distribución de peso en ciertos componentes para reducir el recuento total de parámetros y el uso exclusivo de operaciones aceleradas por hardware.
Microsoft dice que Mu puede funcionar a más de 200 tokens por segundo en una Surface Laptop 7, lo que es una respuesta más rápida de la que normalmente obtendrías de las versiones gratuitas de ChatGPT o Gemini en un navegador web.
El modelo Mu se está utilizando primero para la barra de búsqueda de la aplicación de configuración de Windows 11, que se lanzó recientemente para los usuarios de Windows Insider en PC con Snapdragon. Puede entender indicaciones como "cómo controlar mi PC con la voz" o "el puntero del ratón es demasiado pequeño" y localizar la configuración correcta. No está claro si Mu se utilizará para otras funciones de Copilot+ para PC.
Microsoft dijo en una publicación de blog: "Administrar la amplia gama de configuraciones de Windows planteó sus propios desafíos, particularmente con funcionalidades superpuestas. Por ejemplo, incluso una consulta sencilla como "Aumentar brillo" podría referirse a varios cambios de configuración: si un usuario tiene dos monitores, ¿Significa eso aumentar el brillo del monitor principal o del secundario? Para solucionar esto, refinamos nuestros datos de entrenamiento para priorizar las configuraciones más utilizadas a medida que seguimos perfeccionando la experiencia para tareas más complejas".
Los modelos de lenguaje ligeros que se ejecutan localmente son uno de los mejores usos de la IA generativa, ya que la capacidad de respuesta y la privacidad de los datos son mucho más fáciles cuando no hay servidores en la nube involucrados. Sin embargo, esto no impidió que Recall casi fuera un desastre de seguridad.
