Forschung Aleph Alpha03/10/2026 Anlass des Tag der Deutschen Wiedervereinigung, geben wir unser neues Modell frei: Kolibri. Kolibri ist ein Mixture-of-Experts-Transformer auf Englisch-Deutsch mit 78B Gesamtparametern, 3B aktiven. Er unterstützt Kontextlängen bis zu 1M Tokens. Das Modell kann mit den vollständigen Gewichten auf Hugging Face heruntergeladen werden und wird unter den Bedingungen der Apache 2.0-Lizenz verwendet.
Kolibri ist das Ergebnis einer kontinuierlichen Iteration unserer Modelltrainingsbemühungen. Wir haben zuerst eine Trainingspipeline für Modelle aufgebaut und sie durch die Erstellung von Kolibri Origin validiert, ein Modell mit 30B Gesamtparametern, 3B aktiven und einem deutlich kürzeren 65k Token-Kontextfenster. Kolibri lief durch dieselbe Pipeline: von der Datenerfassung und -curated Verarbeitung über Ablationen, Pre-Training und Post-Training bis zu den abschließenden Bewertungen.
Wir optimierten Kolibri für die Leistung in einem breiten Spektrum an Branchen unter Berücksichtigung ihrer besonderen, branchenspezifischen Sprache, regulatorischen und Verfahrenrealitäten. Seine kleine und effiziente Größe bietet unseren Kunden Flexibilität, sie effizient vor Ort auszuführen, ohne interne Daten an Drittanbieter-Inferenceservices zu senden.
Schlüsselentitäten: Unternehmen: Aleph Alpha
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing