Penelitian Aleph Alpha Pada Hari Reunifikasi Jerman, perusahaan AI Aleph Alpha merilis Kolibri, model Transformer open-weight Mixture-of-Experts baru dengan 78B parameter total dan 3B parameter aktif. Model ini mendukung panjang konteks hingga 1M token dan dirilis di bawah lisensi Apache 2.0 melalui Hugging Face. Kolibri mewakili evolusi signifikan dari model sebelumnya perusahaan Kolibri Origin, sebuah model dengan 30B parameter dan jendela konteks 65k token.
Tim pengembang memanfaatkan pipeline pelatihan yang tangguh untuk menjalankan ratusan eksperimen ablasi dan mencapai pelatihan pra-stabilisasi yang stabil meskipun terjadi kegagalan perangkat keras. Kolibri dioptimalkan untuk bahasa Jerman, penalaran, matematika, dan perilaku ajan, menargetkan pekerjaan kritis kedaulatan dalam sektor yang diatur seperti administrasi publik, industri, dan aeroangkasa. Model mengoptimalkan kompromi antara kemampuan dan biaya penerapan, memosisikan dirinya di batas Pareto untuk kualitas versus biaya layanan dalam bahasa Inggris dan Jerman.
Aleph Alpha menekankan integritas dan transparansi pasokan penuh, menawarkan kebebasan penerapan dan keamanan kekayaan intelektual sebagai properti kepatuhan yang diwarisi. Ukuran model yang kecil dan efisien memungkinkan ia berjalan secara efektif secara on-premise, menghindari kebutuhan untuk mengirimkan data internal ke layanan inferensi pihak ketiga. Baca laporan teknis lengkap untuk analisis pengukuran rinci.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing