Investigación Aleph Alpha En el Día de la Reunificación Alemana, la empresa de IA Aleph Alpha publicó Kolibri, un nuevo modelo Transformer de peso abierto basado en mezcla de expertos con 78B parámetros totales y 3B parámetros activos. El modelo admite longitudes de contexto de hasta 1M tokens y se publica bajo la licencia Apache 2.0 a través de Hugging Face. Kolibri representa una evolución significativa desde el anterior modelo Kolibri Origin de la empresa, un modelo de 30B parámetros con una ventana de contexto de 65k tokens.
El equipo de desarrollo aprovechó una canalización de entrenamiento robusta para ejecutar cientos de experimentos de ablación y lograr un preentrenamiento estable a pesar de fallos en el hardware. Kolibri está especializado en lenguaje alemán, razonamiento, matemáticas y comportamiento agente, dirigido a trabajos soberanos críticos en sectores regulados como la administración pública, las industrias y la aeroespacial. El modelo optimiza la relación entre capacidad y costos de implementación, posicionándose en la frontera de Pareto para calidad frente al costo de servicio tanto en inglés como en alemán.
Aleph Alpha enfatiza la plena integridad y transparencia de la cadena de suministro, ofreciendo a los clientes libertad de implementación y seguridad de propiedad intelectual como propiedades de cumplimiento heredadas. El pequeño y eficiente tamaño del modelo permite que funcione eficazmente en las instalaciones, evitando la necesidad de enviar datos internos a servicios de inferencia de terceros. Lea el informe técnico completo para obtener un análisis detallado de los resultados.
Fuente: Hacker News · Resumido por HeadlinesBriefing