HeadlinesBriefing favicon HeadlinesBriefing.com

ARGODRIVE Deltafin: Apple Silicon-এ Kimi K3 2.8T MoE

Hacker News •
×

ARGODRIVE Deltafin 128 GB সহ M5 Max MacBook Pro-তে সম্পূর্ণ Kimi K3 (2.8T-প্যারামিটার MoE, 1.45 TB বিশেষজ্ঞ) চালায়, চারটি SSD থেকে বিশেষজ্ঞদের স্ট্রিম করে। এটি 512-টোকেন উত্তরে 1.00 tok/s স্থির ডিকোড, 128 টোকেনে 1.13 এবং 17-টোকেন প্রম্পটে 0.96 (আপস্ট্রিম: 0.68) অর্জন করে। সৎ সীমা: 512-টোকেন প্রম্পটে প্রথম টোকেন পর্যন্ত ~6.3 মিনিট লাগে। কারণ পাওয়া গেছে: প্রিফিল প্রতিটি স্তরের বিশেষজ্ঞদের 8 বার পুনরায় পড়ে; সমাধান পরিকল্পিত কিন্তু তৈরি নয়। দরকারী ফলাফল: একটি ড্রাইভ চার-ড্রাইভ গতির ~52% দেয়, দুটি ~73%, তিনটি ~90% — প্রতিটি স্তরের 16টি রিডে সবচেয়ে ধীর ড্রাইভ গতি নির্ধারণ করে, মোট ব্যান্ডউইথ নয়। প্রতিটি সংখ্যা সঠিক প্রম্পট সহ একটি ঠান্ডা রান; প্রতি-রান লগ এবং প্লেসমেন্ট ম্যানিফেস্ট k3-public-bench/-এ রয়েছে। gavamedia/deltafin (MIT)-এর এই ফর্ক ইঞ্জিন (CREDITS.md দেখুন) এবং বেঞ্চমার্ক যন্ত্র অন্তর্ভুক্ত করে। পরিমাপ 2026-09-08 তারিখে এই ফর্কের রেকর্ড কনফিগারেশন (k3-public-bench/env.sh) সহ। ফলাফল: 0.9232 tok/s স্থির ডিকোড (512 টোকেন), 1.0015 tok/s (128 টোকেন), 0.92611 tok/s (17-টোকেন প্রম্পট, 3-এর মধ্যমা; আপস্ট্রিম 0.684)। প্রথম টোকেনের সময়: 512-টোকেন প্রম্পটের জন্য ~376 সেকেন্ড। ড্রাইভ-সংখ্যা সিঁড়ি: একটি ড্রাইভ ~52% চার-ড্রাইভ গতির, দুটি ~73%, তিনটি ~90% (results/SCALING.md)। প্রিফিল ধীর কেন এবং সমাধান: results/PREFILL.md। সংজ্ঞা, পরিচয় পরিসর, নির্ভুলতা: k3-public-bench/README.md। ভোক্তা হার্ডওয়্যারে সম্পূর্ণ, কখনও-ছাঁটা নয় Kimi K3 চালান, যত দ্রুত সম্ভব। Deltafin একটি একক নেটিভ বাইনারি, কিছুই ছাঁটা বা বাদ দেওয়া হয়নি। K3 প্রতিটি টোকেন, সমস্ত 16 বিশেষজ্ঞের সিদ্ধান্ত নেয়, কোনো শর্টকাট নেই। গুণমান নিয়ম: K3 নিজেই সিদ্ধান্ত নেয়, কোনো ছোট খসড়া মডেল নেই। M1 Max ল্যাপটপে আপস্ট্রিম বেঞ্চমার্ক (gavamedia/deltafin, অপরিবর্তিত) 0.2901 tok/s (3.447 s/token) দেখায় — শেষ আপডেটের চেয়ে 1.9% বেশি থ্রুপুট। ঐতিহাসিক M1 বেঞ্চমার্ক: 0.2847 tok/s (2 আগস্ট, 2026), 0.2660 tok/s (30 জুলাই, 2026), 0.1311 tok/s (28 জুলাই, 2026), 0.0141 tok/s (27 জুলাই, 2026)। মিশন: খাঁটি, অকাট K3 গুণমান, মডেল গুণমান না কমিয়ে গতি। Deltafin সমস্ত 16 রাউটেড বিশেষজ্ঞ এবং সম্পূর্ণ K3 লক্ষ্যকে প্রতিটি টোকেনের জন্য একমাত্র কর্তৃপক্ষ হিসাবে রাখে। লক্ষ্য: K3-এর মতো বিশাল মডেল চালানোর সময় প্রতিটি দক্ষতা নিংড়ে নেওয়া, গুণমান কমানো ছাড়া সব বিকল্প টেবিলে। এটি একটি পণ্য পিচ নয় বরং ভোক্তা হার্ডওয়্যারকে ঠেলে দেওয়া এবং প্রচেষ্টা থেকে শেখার একটি পরীক্ষা। Kimi K3 ~4.8 TB সমষ্টিগত VRAM সহ 16 নোডের স্কেলে অবকাঠামো লক্ষ্য করে। একটি একক MacBook-এ এটি চালানো একটি চরম সীমাবদ্ধতা, এবং প্রতিটি 1% উন্নতি কঠিনভাবে অর্জিত। প্রতিটি লাভ কিছু শেখায়; গবেষণা এবং অনুসন্ধানই মূল বিষয়। সবকিছু VC-কে প্রভাবিত করার জন্য ন্যূনতম কার্যকর পণ্য হতে হবে না। যদি Deltafin $2,000,000 অবকাঠামোর পরিবর্তে $15,000 হোম সেটআপে ফ্রন্টিয়ার মডেলগুলিকে ব্যবহারযোগ্য করতে সাহায্য করে, তবে এটি স্ব-হোস্টেড AI-এর জন্য মূল্যবান অগ্রগতি। উপরন্তু, যা কিছু শেখা হয়েছে তা উপকৃত হতে পারে...