PS5LM é um projeto aberto que transforma um PS5 com jailbreak em um servidor de modelos privado em casa. Ele executa o llama.cpp na GPU do console, carrega qualquer modelo GGUF e o disponibiliza para notebooks, celulares e ferramentas de programação na sua rede. Nenhum PC, nuvem ou conta é necessário enquanto está em execução.
O console expõe as APIs /v1/chat/completions da OpenAI e /v1/messages da Anthropic, para que o Claude Code possa trabalhar com ele, e uma página de chat funciona em qualquer navegador. A interface da TV mostra cada solicitação recebida como um chat, incluindo qual dispositivo perguntou, o que foi perguntado e a resposta transmitida em tempo real. Uma página de Console exibe gráficos de temperatura, potência e carga de GPU e CPU nos últimos dois minutos ou na última hora.
Modelos de decisão também são suportados. Ao carregar um modelo como o d1 Omni 600M, o console pode responder à API /v1/systemone da Ollaya, retornando escolhas tipadas, pontuações e respostas de sim ou não com probabilidades calibradas em uma fração de segundo. Modelos com projetores de imagem, incluindo Gemma 4, Mini CPM-V e d1, podem processar imagens no chat e nas decisões.
O desempenho varia conforme o modelo. Em um PS5 Slim, o Qwen 3.5 9B (Q4_K_M, 5,3 GB) alcança cerca de 55 tokens por segundo, enquanto o Qwen 3.5 0.8B, menor, roda a 207 tokens por segundo. O planejador integrado lê cada GGUF e seleciona o maior contexto e o melhor cache que caibam na memória disponível. A configuração exige um PS5 com jailbreak no firmware 7.00 a 13.60 e os payloads listados; depois disso, o aplicativo pode baixar modelos do Hugging Face diretamente para o armazenamento interno, o drive M.2 ou um pen drive USB.
Fonte: Hacker News · Resumido por HeadlinesBriefing