LFM2.5-24B-A2B: Agen AI di Perangkat

Hari ini, kami merilis LFM2.5-24B-A2B, model penalaran dengan 24 miliar parameter yang hanya 2 miliar parameternya aktif, dirancang untuk agen yang cepat dan privat di perangkat. Ini adalah model terbesar sekaligus terakhir dalam keluarga LFM2.5, yang kini mencakup dua orde besaran, dari LFM2.5-230M hingga LFM2.5-24B-A2B.

LFM2.5-24B-A2B bersaing dengan Qwen3.6-35B-A3B, model dengan sekitar 50% lebih banyak parameter total dan aktif, pada lima dari delapan benchmark agen dan penggunaan alat. Model ini meraih skor 48,09 di Live Claw dibandingkan 38,19, dan 27,69 di Automation Bench dibandingkan 8,72. Karena hanya 2B parameter yang aktif per token, model ini berjalan hingga 1,7× lebih cepat daripada MoE sebanding di perangkat, mencapai 184 token/detik di Apple M5 Max dan hingga 21 ribu token keluaran/detik pada satu GPU NVIDIA B300.

Model dasar (LFM2.5-24B-A2B-Base) dan model pasca-latihan (LFM2.5-24B-A2B) bersifat open-weight dan tersedia hari ini di Hugging Face serta Playground perusahaan. Dokumentasi tentang cara menjalankan dan melakukan fine-tuning model secara lokal juga tersedia.

Dibandingkan pendahulunya, LFM2-24B-A2B, model baru ini memiliki kosakata dan jendela konteks yang diperluas, pralatihan berskala lebih besar, serta reinforcement learning berskala besar. Ini adalah model khusus penalaran yang menghasilkan rantai pemikiran eksplisit sebelum jawaban akhirnya, sebuah strategi yang diadopsi untuk memanfaatkan kecepatan decode-nya yang tinggi dan meningkatkan kualitas jawaban.

Sumber: Hacker News · Diringkas oleh HeadlinesBriefing