openjev präsentiert ein browserbasiertes Experiment, das erkundet, ob ein Entscheidungsmodell lokal ohne Backend-Abhängigkeiten laufen kann. Das Projekt ermöglicht es Benutzern, Modellgrößen auszuwählen, einschließlich Mini CPM 5 2B als Standard oder Qwen3 0.6B für kleinere Geräte, und Leistungsunterschiede zwischen direkten Wahrscheinlichkeitsausgaben und tokenweiser Generierung zu messen. Benutzer laden quantisierte Gewichte von Hugging Face herunter, die lokal im Cache verbleiben, wobei Eingaben vollständig auf der Seite bleiben.

Das Experiment vergleicht zwei Methoden: die direkte Ausgabe, die Softmax über die bereitgestellten Optionen normalisiert, ohne zu dekodieren, und die Generierung, die das Modell bittet, die Optionswahrscheinlichkeiten als JSON-Text tokenweise zu schreiben. Beide laufen sequenziell auf demselben geladenen Modell, um GPU-Konflikte zu vermeiden. Die Gewichte stammen von Hugging Face und bleiben im Browser-Cache erhalten.

Das erste Laden des Modells kann je nach Auswahl, Netzwerk und Hardware mehrere Minuten dauern. Die Demo verwendet fixierte GGUF-Builds über wllama und weist darauf hin, dass Quantisierung sowohl die Qualität als auch die Geschwindigkeit beeinflusst. Dieses lokale Experiment bietet sofortigen Zugriff ohne Wartelisten und ermöglicht es den Benutzern, die Leistung des Entscheidungsmodells direkt in ihrer Browserumgebung zu testen.