Recherche Aleph Alpha03/10/2026 À l'occasion de la Journée de la Réunification allemande, nous lançons notre nouveau modèle : Kolibri. Kolibri est un Transformateur Mixture-of-Experts anglais-allemand avec 78B paramètres au total, 3B actifs. Il prend en charge des longueurs de contexte pouvant atteindre 1M tokens. Le modèle peut être téléchargé avec les poids complets sur Hugging Face et utilisé sous les termes de la licence Apache 2.0.
Kolibri est le résultat d'une itération continue de notre effort d'entraînement de modèles. Nous avons d'abord construit une chaîne de production pour l'entraînement des modèles et la validé en construisant Kolibri Origin, un modèle de 30B paramètres au total, 3B actifs, avec une fenêtre de contexte beaucoup plus courte de 65k tokens. Kolibri a passé par la même chaîne : de l'ingestion et de la curation des données, aux ablations, à la pré-formation et à la post-formation, jusqu'aux évaluations finales.
Nous avons optimisé Kolibri pour les performances sur une grande gamme de secteurs en considérant leurs réalités linguistiques, réglementaires et procédurales propres à leur domaine. Sa petite taille et son efficacité offrent à nos clients la flexibilité de l'exécuter efficacement sur site, sans envoyer de données internes à des services d'inférence tiers.
Entités clés : Entreprises : Aleph Alpha
FAQ : Quelles sont les spécifications clés de Kolibri ?
Kolibri est un Transformateur Mixture-of-Experts anglais-allemand avec 78B paramètres au total et 3B actifs, prenant en charge des longueurs de contexte pouvant atteindre 1M tokens. Il peut être téléchargé avec les poids complets depuis Hugging Face sous licence Apache 2.0.
Source: Hacker News · Résumé par HeadlinesBriefing