Investigación Aleph Alpha03/10/2026 En el Día de la Reunificación Alemana, estamos lanzando nuestro nuevo modelo: Kolibri. Kolibri es un Transformador Mixture-of-Experts inglés-alemán con 78B parámetros totales, 3B activos. Admite longitudes de contexto de hasta 1M tokens. El modelo puede descargarse con los pesos completos en Hugging Face y utilizarse bajo los términos de la licencia Apache 2.0.
Kolibri es el resultado de una iteración continua de nuestro esfuerzo de entrenamiento de modelos. Primero construimos una canalización de entrenamiento de modelos y la validamos construyendo Kolibri Origin, un modelo de 30B total, 3B activo con una ventana de contexto mucho más corta de 65k tokens. Kolibri pasó por la misma canalización: desde la ingesta y curación de datos, a pruebas ablacionales, preentrenamiento y postentrenamiento, hasta las evaluaciones finales.
Optimizamos Kolibri para el rendimiento en una amplia gama de sectores considerando sus particulares realidades de lenguaje, normativa y procedimientos específicos del dominio. Su pequeño y eficiente tamaño brinda a nuestros clientes flexibilidad para ejecutarlo eficientemente en el local, sin enviar datos internos a servicios de inferencia de terceros.
Entidades clave: Empresas: Aleph Alpha
Preguntas frecuentes: ¿Cuáles son las especificaciones clave de Kolibri?
Kolibri es un Transformador Mixture-of-Experts inglés-alemán con 78B parámetros totales y 3B activos, admite longitudes de contexto de hasta 1M tokens. Puede descargarse con pesos completos desde Hugging Face bajo licencia Apache 2.0.
Fuente: Hacker News · Resumido por HeadlinesBriefing