Recherche Aleph Alpha Le jour de la Réunification allemande, l'entreprise d'IA Aleph Alpha a publié Kolibri, un nouveau modèle Transformer ouvert basé sur un mélange d'experts avec 78B paramètres au total et 3B paramètres actifs. Le modèle prend en charge des longueurs de contexte allant jusqu'à 1M tokens et est publié sous licence Apache 2.0 via Hugging Face. Kolibri représente une évolution significative par rapport au modèle Kolibri Origin précédent de l'entreprise, un modèle de 30B paramètres avec une fenêtre de contexte de 65k tokens.
L'équipe de développement a exploité un pipeline d'entraînement robuste pour exécuter des centaines d'expériences d'ablations et obtenir un pré-entraînement stable malgré des pannes matérielles. Kolibri est spécialisé dans la langue allemande, le raisonnement, les mathématiques et le comportement agentique, ciblant un travail souverain critique dans des secteurs réglementés tels que l'administration publique, les industries et l'aérospatiale. Le modèle optimise le compromis entre capacité et coûts de déploiement, se positionnant sur la frontière de Pareto pour la qualité par rapport au coût de service en anglais et en allemand.
Aleph Alpha met l'accent sur l'intégrité et la transparence de toute la chaîne d'approvisionnement, offrant aux clients la liberté de déploiement et la sécurité de la propriété intellectuelle comme propriétés de conformité héritées. La petite taille et l'efficacité du modèle lui permettent de fonctionner efficacement sur site, évitant la nécessité d'envoyer des données internes aux services d'inférence de tiers. Lisez le rapport technique complet pour une analyse détaillée des références.
Source: Hacker News · Résumé par HeadlinesBriefing