HeadlinesBriefing HeadlinesBriefing.com

জেলব্রেক করা PS5-এ GGUF LLM চালান

Hacker News •
×

PS5LM একটি ওপেন প্রকল্প, যা জেলব্রেক করা PS5-কে বাড়িতে একটি ব্যক্তিগত মডেল সার্ভারে পরিণত করে। এটি কনসোলের GPU-তে llama.cpp চালায়, যেকোনো GGUF মডেল লোড করে এবং আপনার নেটওয়ার্কের ল্যাপটপ, ফোন ও কোডিং টুলে সরবরাহ করে। চলাকালীন কোনো PC, ক্লাউড বা অ্যাকাউন্টের প্রয়োজন হয় না।

কনসোল OpenAI-এর /v1/chat/completions এবং Anthropic-এর /v1/messages API উন্মুক্ত করে, তাই Claude Code এর সাথে কাজ করতে পারে, এবং যেকোনো ব্রাউজারে একটি চ্যাট পেজ কাজ করে। টিভি ইন্টারফেস প্রতিটি আসা অনুরোধকে একটি চ্যাট হিসেবে দেখায়, যেখানে কোন ডিভাইস জিজ্ঞাসা করেছে, কী জিজ্ঞাসা করেছে এবং স্ট্রিম করা উত্তর দেখা যায়। একটি কনসোল পেজ শেষ দুই মিনিট বা এক ঘণ্টার তাপমাত্রা, পাওয়ার, GPU ও CPU লোডের চার্ট দেখায়।

ডিসিশন মডেলও সমর্থিত। d1 Omni 600M-এর মতো একটি মডেল লোড করলে কনসোল Ollaya-এর /v1/systemone API-তে সাড়া দিতে পারে, যা এক সেকেন্ডের ভগ্নাংশে ক্যালিব্রেটেড সম্ভাব্যতাসহ টাইপ করা বিকল্প, স্কোর ও হ্যাঁ-বা-না উত্তর ফেরত দেয়। Gemma 4, Mini CPM-V ও d1 সহ ইমেজ প্রজেক্টর আছে এমন মডেল চ্যাট ও সিদ্ধান্তে ছবি প্রক্রিয়া করতে পারে।

কর্মক্ষমতা মডেলভেদে আলাদা। PS5 Slim-এ Qwen 3.5 9B (Q4_K_M, 5.3 GB) প্রায় প্রতি সেকেন্ডে 55 টোকেন পৌঁছায়, আর ছোট Qwen 3.5 0.8B চলে প্রতি সেকেন্ডে 207 টোকেনে। অন্তর্নির্মিত প্ল্যানার প্রতিটি GGUF পড়ে এবং উপলব্ধ মেমরিতে যতটা সম্ভব দীর্ঘ কনটেক্সট ও সেরা ক্যাশ বেছে নেয়। সেটআপের জন্য ফার্মওয়্যার 7.00 থেকে 13.60 সহ জেলব্রেক করা PS5 এবং তালিকাভুক্ত পেলোড প্রয়োজন; এরপর অ্যাপ Hugging Face থেকে সরাসরি অভ্যন্তরীণ স্টোরেজ, M.2 ড্রাইভ বা USB ড্রাইভে মডেল ডাউনলোড করতে পারে।

উৎস: Hacker News · সারাংশ: HeadlinesBriefing