このHacker News投稿の著者は、モデル開発における自身の専門性は限られていると認めた上で、strands-decider-2BがBERTのようなエンコーダではなく改良されたLLMとして構築された理由を尋ねる読者に答えています。直感的には、各トークンを前後両方のトークンを使って表現する双方向エンコーダは、後ろだけを見る因果モデルより優れているはずです。著者は、このプロジェクトが実質的にデコーダをエンコーダとして使っていることを認めており、その疑問はもっともだとしています。
これを検証するため、5つの設計を比較しました。Qwen3.5をベースとする最終版strands-decider であるv19、T5Gemma 2をベースとした総パラメータ数2Bと8Bのエンコーダ・デコーダモデル2つ、そしてT5Gemmaから派生したエンコーダ単体の2つの変種です。後者の一方は、複数の質問を並列に評価できるようマスク付きの状態キャッシュを使用しています。8Bのエンコーダ・デコーダモデルは精度とBrierスコアでv19を上回りますが、サイズが約4倍あるため、同条件の比較にはなっていません。より意味のある比較は、v19と遅延を最適化したエンコーダe1bとの比較です。e1bはあるベンチマークの精度指標でv19をわずかに上回りますが、実行ごとのばらつきの範囲内であり、較正ではやや劣ります。
レイテンシでは、エンコーダ単体のモデルが明確に優位で、中央値は約35ミリ秒であり、v19の65ミリ秒と比べてかなり速いです。ただし、プロンプトが長くなるにつれてこの優位性は縮まります。エンコーダは全層で全結合の注意機構を使い、その計算量は二次関数的に増加します。一方、v19の大半の層は線形コストのGated Delta Netを使っています。これらの層は固定コストが高いものの、スケーリングが優れているため、レイテンシの下限が高くなります。ベンチマークの処理内容は短いプロンプトに偏っているため、実際にはエンコーダが有利になります。
マスクなしのエンコーダe1aは9つのタスクのうち7つでv19を上回りますが、主要なベンチマーク2つでは劣ります。このことから、マスクなしで質問が状態に注意を向けられることが弱点になっている可能性が示唆されます。著者は、エンコーダのアプローチには将来性があるものの、全体にわたって明確に優れているわけではないと結論づけています。
出典: Hacker News · 要約：HeadlinesBriefing