HeadlinesBriefing HeadlinesBriefing.com

Запуск GGUF LLM на взломанной PS5

Hacker News •
×

PS5LM — открытый проект, который превращает взломанную PS5 в личный сервер моделей дома. Он запускает llama.cpp на GPU консоли, загружает любую модель GGUF и предоставляет её ноутбукам, телефонам и инструментам для программирования в вашей сети. Во время работы не нужны ни ПК, ни облако, ни аккаунт.

Консоль предоставляет API OpenAI /v1/chat/completions и Anthropic /v1/messages, поэтому Claude Code может работать с ней, а страница чата открывается в любом браузере. Интерфейс на телевизоре показывает каждый входящий запрос в виде чата: какое устройство обратилось, что было спрошено и потоковый ответ. Страница Console строит графики температуры, мощности, загрузки GPU и CPU за последние две минуты или последний час.

Поддерживаются и модели решений. Загрузив модель вроде d1 Omni 600M, консоль может отвечать на API /v1/systemone от Ollaya, возвращая типизированные варианты, оценки и ответы «да или нет» с откалиброванными вероятностями за доли секунды. Модели с проекторами изображений, включая Gemma 4, Mini CPM-V и d1, могут обрабатывать картинки в чате и при принятии решений.

Производительность зависит от модели. На PS5 Slim Qwen 3.5 9B (Q4_K_M, 5,3 ГБ) выдаёт около 55 токенов в секунду, а меньшая Qwen 3.5 0.8B работает со скоростью 207 токенов в секунду. Встроенный планировщик читает каждый GGUF и выбирает наибольший контекст и лучший кэш, которые помещаются в свободную память. Для настройки нужна PS5 с взломом на прошивке от 7.00 до 13.60 и перечисленными payload-модулями; после этого приложение может загружать модели с Hugging Face прямо во внутреннюю память, на диск M.2 или USB-накопитель.

Источник: Hacker News · Сводку подготовил HeadlinesBriefing