HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev Эксперимент модель решений браузер

Hacker News •
×

openjev представляет браузерный эксперимент, исследующий, может ли модель принятия решений работать локально без зависимостей бэкенда. Проект позволяет пользователям выбирать размеры моделей, включая Mini CPM 5 2B по умолчанию или Qwen3 0.6B для более маленьких устройств, и измерять различия в производительности между прямыми вероятностными выдачами и поэтокенной генерацией. Пользователи загружают квантизированные веса из Hugging Face, которые остаются кэшированными локально, с входными данными, остающимися полностью на странице. Эксперимент сравнивает два метода: прямой вывод, который нормализует softmax по предоставленным вариантам без декодирования, и генерацию, которая просит модель писать вероятности вариантов как текст JSON по токенам. Оба метода выполняются последовательно на одной и той же загруженной модели, чтобы избежать конфликтов GPU. Веса происходят из Hugging Face и сохраняются в кэше браузера. Первоначальная загрузка модели может занять несколько минут в зависимости от выбора, сети и оборудования. Демонстрация использует закрепленные сборки GGUF через wllama, отмечая, что квантизация влияет как на качество, так и на скорость. Этот локальный эксперимент предлагает немедленный доступ без списков ожидания, позволяя пользователям напрямую оценивать производительность модели принятия решений в их браузерной среде.