HeadlinesBriefing favicon HeadlinesBriefing.com

OpenJevブラウザ意思決定モデル実験

Hacker News •
×

openjevは、意思決定モデルがバックエンド依存なしでローカルで実行できるかを探索するブラウザベースの実験を提示します。このプロジェクトでは、ユーザーがモデルサイズを選択でき、デフォルトではMini CPM 5 2B、または小型デバイス向けのQwen3 0.6Bを選択し、直接的な確率読み出しとトークンごとの生成のパフォーマンスの違いを測定できます。ユーザーはHugging Faceから量子化された重みを読み込み、これらはローカルにキャッシュされ、入力は完全にページ上に留まります。実験では、デコードなしで提供されたオプション間のsoftmaxを正規化する直接読み出し、およびモデルにオプションの確率をJSONテキストとしてトークンごとに書き出すように要求する生成の2つの方法を比較します。両者はGPUの競合を避けるために、同じ読み込まれたモデル上で順次実行されます。重みはHugging Faceから取得され、ブラウザのキャッシュに永続化されます。最初のモデルの読み込みは、選択内容、ネットワーク、ハードウェアに応じて数分かかる場合があります。デモはwllamaを通じて固定されたGGUFビルドを使用し、量子化が品質と速度の両方に影響を与えることに注意しています。このローカル実験は、ウォートリストなしで即座にアクセスでき、ユーザーがブラウザ環境で直接意思決定モデルのパフォーマンスをベンチマークできるようにします。