Riset Aleph Alpha03/10/2026 Pada Hari Reunifikasi Jerman, kami merilis model baru kami: Kolibri. Kolibri adalah sebuah Transformer Mixture-of-Experts Inggris-Jerman dengan 78B total parameter, 3B aktif. Ia mendukung panjang konteks hingga 1M token. Model ini dapat diunduh dengan bobot lengkap di Hugging Face dan digunakan di bawah istilah lisensi Apache 2.0.
Kolibri adalah hasil dari iterasi berkelanjutan dari upaya pelatihan model kami. Kami pertama-tama membangun pipeline pelatihan model dan memvalidasinya dengan membangun Kolibri Origin, sebuah model dengan total 30B parameter, 3B aktif dengan jendela konteks yang jauh lebih pendek 65k token. Kolibri melewati pipeline yang sama: dari ingestasi dan pemilihan data, melalui ablation, pra-pelatihan, dan post-pelatihan, hingga evaluasi akhir.
Kami mengoptimalkan Kolibri untuk kinerja di berbagai bidang yang luas dengan mempertimbangkan bahasa, regulasi, dan realitas prosedural khusus domain mereka. Ukuran yang kecil dan efisien ini memberikan fleksibilitas bagi pelanggan kami untuk menjalankannya secara efisien on-premise, tanpa mengirimkan data internal ke layanan inferensi pihak ketiga.
Entitas Kunci: Perusahaan: Aleph Alpha
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing