Forschung Aleph Alpha Am Tag der Deutschen Einheit veröffentlichte das KI-Unternehmen Aleph Alpha Kolibri, ein neues Open-Weight-Mixture-of-Experts-Transformer-Modell mit 78B Gesamtparametern und 3B aktiven Parametern. Das Modell unterstützt Kontextlängen von bis zu 1M Tokens und wird über Hugging Face unter der Apache 2.0-Lizenz veröffentlicht. Kolibri repräsentiert eine bedeutende Entwicklung vom früheren Modell der Firma Kolibri Origin, ein 30B-Parameter-Modell mit einem 65k-Token-Kontextfenster.
Das Entwicklungsteam nutzte eine robuste Trainings-Pipeline, um Hunderte von Ablationsversuchen durchzuführen und trotz Hardware-Ausfällen ein stabiles Pre-Training zu erreichen. Kolibri ist auf Deutsch, Reasoning, Mathematik und agentisches Verhalten spezialisiert und zielt auf souveräne, kritische Aufgaben in regulierten Sektoren wie der öffentlichen Verwaltung, der Industrie und der Luft- und Raumfahrt ab. Das Modell optimiert den Trade-off zwischen Leistungsfähigkeit und Implementierungskosten und positioniert sich auf der Pareto-Front für Qualität im Vergleich zu Service-Kosten sowohl im Englischen als auch im Deutschen.
Aleph Alpha legt Wert auf vollständige Integrität und Transparenz der Lieferkette und bietet Kunden Implementierungsfreiheit und Schutz des geistigen Eigentums als ererbte Compliance-Eigenschaften. Die kleine und effiziente Größe des Modells ermöglicht es, effektiv vor Ort eingesetzt zu werden und die Notwendigkeit, interne Daten an Drittanbieter-Inferenzdienste zu senden, zu vermeiden. Lesen Sie den vollständigen Tech-Bericht für eine detaillierte Benchmark-Analyse.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing