Kolibri est un modèle de langage grand (LLM) open source de Aleph Alpha pour l'allemand et l'anglais : un mélange d'experts avec 78 milliards de paramètres qui n'utilise que environ 3,5 milliards de paramètres pour chaque token qu'il lit ou écrit. Il est sorti le 3 octobre 2026 sous la licence Apache 2.0, les poids sont sur Hugging Face, et il a été entraîné à partir de zéro sur l'infrastructure en Allemagne et en Finlande. Aleph Alpha appelle Kolibri souverain, ce qui signifie qu'il a été créé en Allemagne et en Finlande selon le droit européen et allemand sans contrôle étranger, et les clients bénéficient d'une pleine liberté de déploiement et de sécurité de la propriété intellectuelle.
Le modèle possède 78,1 milliards de paramètres au total, 3,46 milliards actifs par token, prend en charge nativement un contexte de 262.144 tokens, et a été entraîné sur environ 24 billions de tokens, plus d'un cinquième en allemand, sur 768 GPU NVIDIA B200. Il obtient des scores supérieurs aux modèles comparables dans l'évaluation d'Aleph Alpha pour l'allemand et l'anglais.
Source: Hacker News · Résumé par HeadlinesBriefing