HeadlinesBriefing favicon HeadlinesBriefing.com

Slotstream কম মেমরি वाले Mac-এ Qwen3.8-Flash-Next চালায়

Hacker News •
×

Slotstream মডেল এক্সপার্টদের SSD-থেকে স্ট্রিম করে 125 বিলিয়ন প্যারামিটারযুক্ত Qwen3.8-Flash-Next মিক্সচার-অফ-এক্সপার্টস মডেল কম RAM वाले Mac-এ চালাতে সক্ষম করে। 4-বিট প্রিসিশনে মডেলটি ডিস্কে 104 GB প্রয়োজন হয়, কিন্তু MLX এবং Swift-এর মাধ্যমে সেটি সেটির শুধু একটি অংশ মেমরিতে ব্যবহার করে চলে। এটি একটি Ollama-সামঞ্জস্যপূর্ণ API প্রদান করে এবং কোনো Python নির্ভরতা ছাড়াই একটি একক Swift বাইনারি হিসেবে বিতরণ করা হয়। 48 GB M5 Pro-তে, এটি অটো মোডে 32 GB পিক মেমরি ব্যবহার সহ ~12 টোকেন/সেকেন্ড অর্জন করে। ন্যূনতম প্রয়োজনীয়তাগুলো شامل Apple Silicon, macOS 14+, এবং ~110 GB ফ্রি ডিস্ক স্পেস, যেখানে 512 GB Mac হলো বাস্তব বেসলাইন। টুলটি বিভিন্ন RAM কনফিগারেশনে পারফরম্যান্স অনুকরণের জন্য একটি 'ডাক্তার' মোড অন্তর্ভুক্ত করে। ইনস্টলেশন একটি এক-লাইন শেল স্ক্রিপ্টের মাধ্যমে হয়, এবং ওজনগুলো প্রথম ব্যবহারে SHA-256 হ্যাশের মাধ্যমে ইন্টিগ্রিটি চেক সহ ডাউনলোড হয়। পুল অপারেশনগুলো দ্রুত ট্রান্সফারের জন্য একাধিক TCP কানেকশন ব্যবহার করে, এবং বাধাগুলো রিজুমেবল ডাউনলোডের কারণে নিরাপদ। ভবিষ্যতের কাজ شامل MTP মডিউল ইমপ্লিমেন্ট করা স্পেকুলেটিভ ডিকোডিং-এর জন্য।