HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJev Experimento Modelo Decisión Navegador

Hacker News •
×

openjev presenta un experimento basado en el navegador que explora si un modelo de decisión puede ejecutarse localmente sin dependencias de backend. El proyecto permite a los usuarios seleccionar tamaños de modelo, incluyendo Mini CPM 5 2B como valor predeterminado o Qwen3 0.6B para dispositivos más pequeños, y medir las diferencias de rendimiento entre lecturas de probabilidad directas y generación token por token. Los usuarios cargan pesos cuantizados desde Hugging Face, que permanecen almacenados localmente, con entradas que permanecen completamente en la página.

El experimento compara dos métodos: lectura directa, que normaliza softmax a través de las opciones proporcionadas sin decodificación, y generación, que pide al modelo escribir las probabilidades de las opciones como texto JSON token por token. Ambos se ejecutan secuencialmente en el mismo modelo cargado para evitar la contención de GPU. Los pesos provienen de Hugging Face y persisten en la caché del navegador.

La carga inicial del modelo puede tomar varios minutos según la selección, la red y el hardware. La demostración utiliza construcciones GGUF fijas a través de wllama, señalando que la cuantización afecta tanto la calidad como la velocidad. Este experimento local ofrece acceso inmediato sin listas de espera, permitiendo a los usuarios evaluar el rendimiento del modelo de decisión directamente en su entorno de navegador.