HeadlinesBriefing HeadlinesBriefing.com

脱獄済みPS5でGGUF LLMを実行

Hacker News •
×

PS5LMは、脱獄済みのPS5を自宅のプライベートモデルサーバーに変えるオープンソースプロジェクトです。本体のGPUでllama.cppを動かし、任意のGGUFモデルを読み込んで、ネットワーク上のノートパソコン、スマートフォン、コーディングツールに提供します。動作中にPC、クラウド、アカウントは必要ありません。

本体はOpenAIの/v1/chat/completionsとAnthropicの/v1/messages APIを公開しているため、Claude Codeからも利用でき、どのブラウザからもチャットページを使えます。テレビ画面のインターフェースでは、受信したリクエストごとに、どのデバイスが、何を尋ね、ストリーミングで返された応答を、チャット形式で表示します。コンソールページでは、直近2分間または1時間の温度、電力、GPUとCPUの負荷をグラフで確認できます。

判定モデルにも対応しています。d1 Omni 600Mなどのモデルを読み込むと、本体はOllayaの/v1/systemone APIに応答でき、型付きの選択肢、スコア、校正済みの確率付きのはい/いいえの回答を一瞬で返します。Gemma 4、Mini CPM-V、d1などの画像プロジェクターを備えたモデルは、チャットと判定の両方で画像を処理できます。

性能はモデルによって異なります。PS5 Slimでは、Qwen 3.5 9B(Q4_K_M、5.3 GB)が約毎秒55トークンに達し、より小さいQwen 3.5 0.8Bは毎秒207トークンで動作します。内蔵のプランナーは各GGUFを読み取り、利用可能なメモリに収まる最長のコンテキストと最適なキャッシュを選びます。セットアップには、ファームウェア7.00から13.60の脱獄済みPS5と、記載のペイロードが必要です。その後はHugging Faceからモデルを内蔵ストレージ、M.2ドライブ、またはUSBドライブへ直接ダウンロードできます。

出典: Hacker News · 要約:HeadlinesBriefing