Janus — это один бинарный файл Go, который запускает модели .gguf на вашем компьютере (GPU или CPU) и предоставляет API, совместимый с Open AI. Не требуется Python, Docker или Ollama. Используйте его по-своему: вызывайте из командной строки (curl, Power Shell, скрипты), подключайте к Cursor / Cline / любому клиенту Open AI — те же локальные модели, любой подходящий вам рабочий процесс.
Что вы получаете: локальный вывод через llama.cpp через Vulkan (AMD / Intel / NVIDIA) или запасной вариант CPU, API, совместимый с Open AI, с конечными точками, такими как /v1/chat/completions и /v1/models, горячая замена моделей без перезапуска, поддержка моделей мышления с разделением рассуждений, автоматическое определение шаблона чата из метаданных GGUF и нулевые зависимости — один .exe на Windows.
Требования: Windows 10/11 с Go 1.22+ и GPU с поддержкой Vulkan рекомендуется, Linux с Go 1.22+ и Vulkan или CPU, или macOS с Go 1.22+ и CPU бэкендом. Дисковое пространство включает размер модели (часто 2–8 ГБ на модель) плюс ~50 МБ для Janus + llama.dll. Быстрый старт включает клонирование репозитория, сборку с помощью build.ps1, загрузку файла .gguf, настройку файла .env (например, INFERENCE_BACKEND=vulkan, JANUS_MODEL_PATH) и запуск сервера на 127.0.0.1:8990.
Структура проекта включает cmd/janus/ для основного сервера, cmd/modelget/ для загрузки моделей и internal/engine/ для раннера llama.cpp Vulkan. Подводные камни включают обеспечение отсутствия остаточных процессов, занимающих порт 8990, правильного пути JANUS_MODEL_PATH и обновленных драйверов GPU.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing