Microsoft Corp. ha desarrollado un nuevo modelo de lenguaje grande que, según afirma, es significativamente más eficiente que las principales alternativas de código abierto.
El grupo de investigación de inteligencia artificial de la compañía detalló el algoritmo el jueves.
MAI-Base-2 no es un LLM completo sino más bien un modelo base, una especie de prototipo sencillo. Los desarrolladores convierten los modelos básicos en LLM sometiéndolos a varias rondas adicionales de capacitación. Esa capacitación adicional generalmente se enfoca en agregar funciones de razonamiento y barandillas de seguridad.
El modelo base de código abierto más capaz del mercado actual es DeepSeek-V4-Pro-Base. Microsoft dice que MAI-Base-2 lo superó en una serie de puntos de referencia internos que contenían preguntas de ciencia, programación y matemáticas. Además, MAI-Base-2 es hasta 12 veces más eficiente en hardware según ciertas medidas.
MAI-Base-2 presenta una arquitectura mixta de expertos, o MoE, lo que significa que solo utiliza un subconjunto de sus neuronas artificiales para procesar indicaciones. Eso es más eficiente que activar toda la red neuronal. MAI-Base-2 tiene 2 billones de parámetros y activa 80 mil millones de ellos cuando recibe un mensaje.
Las neuronas artificiales de un modelo de lenguaje están organizadas en grupos llamados capas. El modelo base de la generación anterior de Microsoft mezclaba capas MoE con módulos basados en un diseño menos eficiente llamado FFN. MAI-Base-2 se compone enteramente de capas MoE, que es uno de los factores que contribuyen a su rendimiento.
Microsoft entrenó el modelo durante 38 días utilizando 16.000 chips GB200 de Nvidia Corp.. El conjunto de datos de entrenamiento utilizado en el proyecto comprendía 50 billones de tokens. Aproximadamente una quinta parte de los tokens se utilizó para entrenar un módulo de visión por computadora integrado en MAI-Base-2. El módulo hace que el modelo sea mejor que su predecesor en tareas como la comprensión de gráficos científicos.
Los desarrolladores capacitan a los LLM observando la forma en que completan las tareas y brindando comentarios sobre cómo pueden mejorar. Esa retroalimentación, que se genera algorítmicamente, toma la forma de un objeto matemático llamado gradiente. El gradiente viaja a través de las capas del modelo que se está entrenando y recalibra cada una para mejorar la calidad de su resultado.
Los gradientes cambian cada vez que pasan por una capa LLM. En determinadas circunstancias, esos cambios provocan errores que pueden interrumpir el flujo de trabajo de la formación. Microsoft empleó un método llamado recorte de gradiente para evitar que ese problema afectara a MAI-Base-2. También utilizó Muon, una popular herramienta de inteligencia artificial de código abierto, para acelerar el flujo de trabajo de capacitación.
Microsoft otorgará licencias de pesas de MAI-Base-2 a “socios confiables” a través de su plataforma en la nube Azure. Además, utilizará el modelo para impulsar una nueva serie de LLM. La compañía planea compartir más información sobre esos modelos en un futuro próximo.
