Strands Decider: Why Not an Encoder?

The author of this Hacker News post, who admits limited expertise in model development, responds to readers asking why strands-decider-2B is built as a modified LLM rather than an encoder like BERT. The intuition is that bidirectional encoders, where each token is represented using both earlier and later tokens, should outperform causal models that only look backward. The author concedes that the project is essentially using a decoder as an encoder, so the question is fair.

To test this, five designs were compared: v19, the final Qwen3.5-based strands-decider; two encoder-decoder models based on T5Gemma 2 at 2B and 8B total parameters; and two encoder-only variants derived from T5Gemma, one of which uses a masked state cache so multiple questions can be evaluated in parallel. The 8B encoder-decoder model beats v19 on accuracy and Brier scores, but it is roughly four times larger, so the comparison is not apples-to-apples. The more meaningful comparison is v19 against the latency-optimized encoder e1b, which slightly beats v19 on one benchmark accuracy measure, though within run-to-run variance, and performs slightly worse on calibration.

On latency, the encoder-only models win clearly, with a median near 35ms versus 65ms for v19. However, the advantage shrinks as prompts grow longer. The encoder uses full attention across all layers, which scales quadratically, while most of v19's layers use Gated Delta Net with linear cost. These layers have a higher fixed cost but scale better, creating a higher latency floor. Since the benchmark workloads skew toward short prompts, the encoder benefits in practice.

The unmasked encoder e1a beats v19 on seven of nine tasks but performs worse on two key benchmarks, suggesting that allowing questions to attend to the state may be a weakness without masking. The author concludes that the encoder approach shows promise but is not a clear win across the board.

يرد كاتب منشور Hacker News هذا، الذي يعترف بخبرة محدودة في تطوير النماذج، على قراء يسألون لماذا بُني strands-decider-2B كنموذج لغوي كبير معدّل بدلاً من مشفّر مثل BERT. والفكرة الأساسية أن المشفّرات ثنائية الاتجاه، حيث يُمثَّل كل رمز باستخدام الرموز السابقة واللاحقة له، ينبغي أن تتفوق على النماذج السببية التي تنظر إلى الوراء فقط. ويقر الكاتب بأن المشروع يستخدم في جوهره مفكِّكاً كمشفّر، لذا فالسؤال منطقي.

ولاختبار ذلك، قورنت خمسة تصاميم: v19، وهو نموذج strands-decider النهائي المبني على Qwen3.5؛ ونموذجان من نوع المشفّر-المفكّك مبنيان على T5Gemma 2 بإجمالي معلمات يبلغ 2B و8B؛ وشكلان مشتقان من T5Gemma يقتصران على المشفّر، أحدهما يستخدم ذاكرة حالة مقنّعة تتيح تقييم عدة أسئلة بالتوازي. ويتفوق نموذج المشفّر-المفكّك البالغ 8B على v19 في الدقة ودرجات Brier، لكنه أكبر بنحو أربع مرات، لذا فالمقارنة ليست متكافئة. أما المقارنة الأكثر دلالة فهي بين v19 والمشفّر المحسّن لزمن الاستجابة e1b، الذي يتفوق بقليل على v19 في مقياس دقة واحد للاختبار المعياري، لكن ضمن تباين التشغيلات المتكررة، ويكون أداؤه أضعف قليلاً في المعايرة.

في زمن الاستجابة، تتفوق النماذج المقتصرة على المشفّر بوضوح، بوسيط يقارب 35 ملي ثانية مقابل 65 ملي ثانية لـ v19. غير أن هذه الميزة تتقلص مع طول المطالبات. فالمشفّر يستخدم الانتباه الكامل عبر جميع الطبقات، وتكلفته تنمو تربيعياً، بينما تستخدم معظم طبقات v19 شبكة Gated Delta Net ذات التكلفة الخطية. وهذه الطبقات لها تكلفة ثابتة أعلى لكنها تتوسع بشكل أفضل، ما يخلق حداً أدنى أعلى لزمن الاستجابة. ولأن أحمال الاختبار المعياري تميل نحو المطالبات القصيرة، يستفيد المشفّر عملياً.

أما المشفّر غير المقنّع e1a فيتفوق على v19 في سبع من تسع مهام، لكنه أداؤه أسوأ في اختبارين أساسيين، ما يوحي بأن السماح للأسئلة بالانتباه إلى الحالة قد يكون نقطة ضعف دون إخفاء. ويخلص الكاتب إلى أن نهج المشفّر واعد لكنه ليس فوزاً واضحاً في كل المجالات.

এই Hacker News পোস্টের লেখক, যিনি স্বীকার করেন যে মডেল তৈরিতে তাঁর অভিজ্ঞতা সীমিত, পাঠকদের প্রশ্নের উত্তর দিচ্ছেন যে কেন strands-decider-2B একটি BERT-এর মতো এনকোডারের বদলে সংশোধিত LLM হিসেবে তৈরি করা হয়েছে। ধারণাটি হলো, দ্বিমুখী এনকোডার, যেখানে প্রতিটি টোকেন আগের ও পরের টোকেন ব্যবহার করে উপস্থাপিত হয়, শুধু পেছনের দিকে তাকানো কার্যকারণ মডেলের চেয়ে ভালো হওয়া উচিত। লেখক স্বীকার করেন যে প্রকল্পটি মূলত একটি ডিকোডারকে এনকোডার হিসেবে ব্যবহার করছে, তাই প্রশ্নটি যুক্তিসঙ্গত।

এটি পরীক্ষা করতে পাঁচটি ডিজাইনের তুলনা করা হয়েছে: v19, Qwen3.5-ভিত্তিক চূড়ান্ত strands-decider; T5Gemma 2-ভিত্তিক দুটি এনকোডার-ডিকোডার মডেল, যাদের মোট প্যারামিটার যথাক্রমে 2B ও 8B; এবং T5Gemma থেকে উদ্ভূত দুটি শুধু-এনকোডার রূপ, যার একটি একাধিক প্রশ্ন সমান্তরালে মূল্যায়নের জন্য মাস্কড স্টেট ক্যাশ ব্যবহার করে। 8B এনকোডার-ডিকোডার মডেল নির্ভুলতা ও Brier স্কোরে v19-কে ছাড়িয়ে যায়, কিন্তু এটি প্রায় চারগুণ বড়, তাই তুলনাটি সমতুল্য নয়। আরও অর্থবহ তুলনা হলো v19 বনাম লেটেন্সি-অপটিমাইজড এনকোডার e1b, যা একটি বেঞ্চমার্ক নির্ভুলতা পরিমাপে v19-কে সামান্য ছাড়িয়ে যায়, তবে তা প্রতিবার চালানোর তারতম্যের মধ্যেই, এবং ক্যালিব্রেশনে সামান্য খারাপ করে।

লেটেন্সিতে শুধু-এনকোডার মডেলগুলো স্পষ্টভাবে এগিয়ে, যাদের মধ্যমা প্রায় 35ms, আর v19-এর 65ms। তবে প্রম্পট দীর্ঘ হলে এই সুবিধা কমে আসে। এনকোডার সব স্তরে পূর্ণ অ্যাটেনশন ব্যবহার করে, যার খরচ বর্গাকারে বাড়ে, অথচ v19-এর বেশিরভাগ স্তর রৈখিক খরচের Gated Delta Net ব্যবহার করে। এই স্তরগুলোর স্থির খরচ বেশি হলেও এগুলো ভালোভাবে স্কেল করে, ফলে লেটেন্সির নিম্নসীমা বেশি হয়। বেঞ্চমার্কের কাজ ছোট প্রম্পটের দিকে ঝোঁকে বলে বাস্তবে এনকোডার লাভবান হয়।

মাস্কবিহীন এনকোডার e1a নয়টির মধ্যে সাতটি কাজে v19-কে ছাড়িয়ে যায়, কিন্তু দুটি মূল বেঞ্চমার্কে খারাপ করে, যা ইঙ্গিত দেয় যে মাস্কিং ছাড়া প্রশ্নগুলোকে স্টেটে অ্যাটেনশন দিতে দিলে এটি দুর্বলতা হতে পারে। লেখক উপসংহারে বলেন, এনকোডার পদ্ধতি সম্ভাবনাময় হলেও সব দিক থেকে স্পষ্ট জয় নয়।

Der Autor dieses Hacker-News-Beitrags, der zugibt, nur begrenzte Erfahrung in der Modellentwicklung zu haben, antwortet auf Leserfragen, warum strands-decider-2B als modifiziertes LLM statt als Encoder wie BERT gebaut wurde. Die Intuition lautet, dass bidirektionale Encoder, bei denen jedes Token anhand früherer und späterer Tokens dargestellt wird, kausale Modelle übertreffen sollten, die nur rückwärts schauen. Der Autor räumt ein, dass das Projekt im Grunde einen Decoder als Encoder verwendet, die Frage ist also berechtigt.

Zur Überprüfung wurden fünf Designs verglichen: v19, der finale, auf Qwen3.5 basierende strands-decider; zwei Encoder-Decoder-Modelle auf Basis von T5Gemma 2 mit insgesamt 2B und 8B Parametern; und zwei reine Encoder-Varianten, abgeleitet von T5Gemma, von denen eine einen maskierten Zustandscache nutzt, sodass mehrere Fragen parallel bewertet werden können. Das 8B-Encoder-Decoder-Modell schlägt v19 bei Genauigkeit und Brier-Scores, ist jedoch etwa viermal so groß, weshalb der Vergleich nicht fair ist. Aussagekräftiger ist der Vergleich zwischen v19 und dem latenzoptimierten Encoder e1b, der bei einem Benchmark-Genauigkeitsmaß knapp vor v19 liegt, allerdings innerhalb der Schwankungen zwischen Durchläufen, und bei der Kalibrierung etwas schlechter abschneidet.

Bei der Latenz gewinnen die reinen Encoder-Modelle deutlich, mit einem Median von knapp 35 ms gegenüber 65 ms bei v19. Der Vorteil schrumpft jedoch, je länger die Prompts werden. Der Encoder nutzt volle Aufmerksamkeit über alle Schichten, die quadratisch skaliert, während die meisten Schichten von v19 Gated Delta Net mit linearen Kosten verwenden. Diese Schichten haben einen höheren festen Aufwand, skalieren aber besser, was zu einer höheren Latenzuntergrenze führt. Da die Benchmark-Lasten eher kurze Prompts enthalten, profitiert der Encoder in der Praxis.

Der unmaskierte Encoder e1a schlägt v19 bei sieben von neun Aufgaben, schneidet jedoch bei zwei zentralen Benchmarks schlechter ab, was darauf hindeutet, dass ohne Maskierung der Zugriff der Fragen auf den Zustand eine Schwäche sein könnte. Der Autor kommt zu dem Schluss, dass der Encoder-Ansatz vielversprechend ist, aber keinen eindeutigen Gewinn über alle Bereiche hinweg darstellt.

El autor de esta publicación en Hacker News, que admite tener experiencia limitada en el desarrollo de modelos, responde a lectores que preguntan por qué strands-decider-2B se construyó como un LLM modificado en lugar de un encoder como BERT. La intuición es que los encoders bidireccionales, donde cada token se representa usando tokens anteriores y posteriores, deberían superar a los modelos causales que solo miran hacia atrás. El autor reconoce que el proyecto básicamente usa un decoder como encoder, por lo que la pregunta es justa.

Para probarlo se compararon cinco diseños: v19, el strands-decider final basado en Qwen3.5; dos modelos encoder-decoder basados en T5Gemma 2 de 2B y 8B parámetros totales; y dos variantes solo encoder derivadas de T5Gemma, una de las cuales usa una caché de estados enmascarada para evaluar varias preguntas en paralelo. El modelo encoder-decoder de 8B supera a v19 en precisión y puntuaciones Brier, pero es aproximadamente cuatro veces más grande, por lo que la comparación no es equitativa. La comparación más significativa es v19 frente al encoder optimizado en latencia e1b, que supera ligeramente a v19 en una medida de precisión de un benchmark, aunque dentro de la variación entre ejecuciones, y tiene un rendimiento ligeramente peor en calibración.

En latencia, los modelos solo encoder ganan con claridad, con una mediana cercana a 35 ms frente a 65 ms de v19. Sin embargo, la ventaja se reduce a medida que los prompts se alargan. El encoder usa atención completa en todas las capas, que escala de forma cuadrática, mientras que la mayoría de las capas de v19 usan Gated Delta Net con coste lineal. Estas capas tienen un coste fijo más alto pero escalan mejor, lo que crea un piso de latencia más elevado. Como las cargas de trabajo del benchmark se inclinan hacia prompts cortos, el encoder se beneficia en la práctica.

El encoder sin máscara e1a supera a v19 en siete de nueve tareas, pero rinde peor en dos benchmarks clave, lo que sugiere que permitir que las preguntas atiendan al estado puede ser una debilidad sin enmascaramiento. El autor concluye que el enfoque encoder es prometedor, pero no es una victoria clara en todos los aspectos.

L'auteur de ce message Hacker News, qui reconnaît une expertise limitée en développement de modèles, répond à des lecteurs qui demandent pourquoi strands-decider-2B a été conçu comme un LLM modifié plutôt que comme un encodeur tel que BERT. L'intuition est que les encodeurs bidirectionnels, où chaque token est représenté à l'aide des tokens précédents et suivants, devraient surpasser les modèles causaux qui ne regardent qu'en arrière. L'auteur concède que le projet utilise essentiellement un décodeur comme encodeur, la question est donc légitime.

Pour la tester, cinq conceptions ont été comparées : v19, le strands-decider final basé sur Qwen3.5 ; deux modèles encodeur-décodeur basés sur T5Gemma 2, de 2B et 8B paramètres au total ; et deux variantes uniquement encodeur dérivées de T5Gemma, dont l'une utilise un cache d'états masqué permettant d'évaluer plusieurs questions en parallèle. Le modèle encodeur-décodeur de 8B dépasse v19 en précision et en scores de Brier, mais il est environ quatre fois plus grand, la comparaison n'est donc pas équitable. La comparaison la plus pertinente oppose v19 à l'encodeur optimisé pour la latence e1b, qui dépasse légèrement v19 sur une mesure de précision d'un benchmark, mais dans la marge de variation entre exécutions, et qui est un peu moins bon en calibration.

En latence, les modèles uniquement encodeur l'emportent nettement, avec une médiane proche de 35 ms contre 65 ms pour v19. Cependant, cet avantage diminue à mesure que les prompts s'allongent. L'encodeur utilise une attention complète sur toutes les couches, dont le coût croît de façon quadratique, alors que la plupart des couches de v19 utilisent le Gated Delta Net, au coût linéaire. Ces couches ont un coût fixe plus élevé mais passent mieux à l'échelle, ce qui crée un plancher de latence plus haut. Comme les charges de travail du benchmark penchent vers des prompts courts, l'encodeur en tire profit en pratique.

L'encodeur non masqué e1a bat v19 sur sept des neuf tâches, mais il est moins bon sur deux benchmarks clés, ce qui suggère que laisser les questions accéder à l'état pourrait être une faiblesse sans masquage. L'auteur conclut que l'approche encodeur est prometteuse, mais qu'elle n'est pas une victoire nette sur tous les plans.

इस Hacker News पोस्ट के लेखक, जो मॉडल विकास में अपनी सीमित विशेषज्ञता स्वीकार करते हैं, उन पाठकों का जवाब देते हैं जो पूछते हैं कि strands-decider-2B को BERT जैसे एनकोडर के बजाय संशोधित LLM के रूप में क्यों बनाया गया है। इसका तर्क यह है कि द्विदिश एनकोडर, जहाँ प्रत्येक टोकन को पहले और बाद के दोनों टोकनों का उपयोग करके दर्शाया जाता है, केवल पीछे देखने वाले कारण (causal) मॉडलों से बेहतर प्रदर्शन करने चाहिए। लेखक स्वीकार करते हैं कि यह परियोजना मूल रूप से डिकोडर को एनकोडर के रूप में उपयोग कर रही है, इसलिए प्रश्न उचित है।

इसे परखने के लिए पाँच डिज़ाइनों की तुलना की गई: v19, जो Qwen3.5 पर आधारित अंतिम strands-decider है; T5Gemma 2 पर आधारित दो एनकोडर-डिकोडर मॉडल, जिनके कुल पैरामीटर 2B और 8B हैं; और T5Gemma से निकले दो केवल-एनकोडर संस्करण, जिनमें से एक मास्क्ड स्टेट कैश का उपयोग करता है ताकि कई प्रश्नों का समानांतर मूल्यांकन हो सके। 8B एनकोडर-डिकोडर मॉडल सटीकता और Brier स्कोर में v19 से आगे है, लेकिन यह लगभग चार गुना बड़ा है, इसलिए यह बराबरी की तुलना नहीं है। अधिक सार्थक तुलना v19 और लेटेंसी-अनुकूलित एनकोडर e1b के बीच है, जो एक बेंचमार्क सटीकता माप पर v19 से थोड़ा आगे है, हालाँकि यह बार-बार चलाने पर होने वाले अंतर के भीतर है, और कैलिब्रेशन में थोड़ा कमज़ोर है।

लेटेंसी में केवल-एनकोडर मॉडल स्पष्ट रूप से आगे हैं, जिनका माध्यिका मान लगभग 35 मिलीसेकंड है, जबकि v19 का 65 मिलीसेकंड है। लेकिन प्रॉम्प्ट लंबे होने पर यह बढ़त घटती जाती है। एनकोडर सभी परतों में पूर्ण अटेंशन का उपयोग करता है, जो द्विघात रूप से बढ़ता है, जबकि v19 की अधिकांश परतें रैखिक लागत वाले Gated Delta Net का उपयोग करती हैं। इन परतों की स्थिर लागत अधिक है, लेकिन वे बेहतर तरीके से बढ़ती हैं, जिससे लेटेंसी की निचली सीमा ऊँची हो जाती है। चूँकि बेंचमार्क कार्यभार छोटे प्रॉम्प्ट की ओर झुका है, व्यवहार में एनकोडर को लाभ मिलता है।

बिना मास्क वाला एनकोडर e1a नौ में से सात कार्यों पर v19 से बेहतर है, लेकिन दो प्रमुख बेंचमार्क पर उसका प्रदर्शन खराब है, जो सुझाता है कि मास्किंग के बिना प्रश्नों को स्टेट पर ध्यान देने देना एक कमज़ोरी हो सकती है। लेखक का निष्कर्ष है कि एनकोडर दृष्टिकोण आशाजनक है, लेकिन हर दृष्टि से यह स्पष्ट जीत नहीं है।

Penulis postingan Hacker News ini, yang mengakui keahliannya dalam pengembangan model terbatas, menanggapi pembaca yang bertanya mengapa strands-decider-2B dibangun sebagai LLM yang dimodifikasi alih-alih encoder seperti BERT. Intuisinya adalah bahwa encoder dua arah, yang setiap tokennya direpresentasikan menggunakan token sebelumnya dan sesudahnya, seharusnya lebih unggul daripada model kausal yang hanya melihat ke belakang. Penulis mengakui bahwa proyek ini pada dasarnya menggunakan decoder sebagai encoder, sehingga pertanyaan tersebut wajar.

Untuk menguji hal ini, lima desain dibandingkan: v19, strands-decider final berbasis Qwen3.5; dua model encoder-decoder berbasis T5Gemma 2 dengan total parameter 2B dan 8B; serta dua varian hanya-encoder yang diturunkan dari T5Gemma, salah satunya menggunakan cache status bertopeng agar beberapa pertanyaan dapat dievaluasi secara paralel. Model encoder-decoder 8B mengungguli v19 dalam akurasi dan skor Brier, tetapi ukurannya sekitar empat kali lebih besar sehingga perbandingannya tidak setara. Perbandingan yang lebih bermakna adalah v19 dengan encoder yang dioptimalkan untuk latensi, e1b, yang sedikit mengungguli v19 pada satu ukuran akurasi benchmark, meskipun masih dalam variasi antar-proses, dan sedikit lebih buruk dalam kalibrasi.

Dalam hal latensi, model hanya-encoder jelas unggul, dengan median sekitar 35 ms dibandingkan 65 ms untuk v19. Namun, keunggulan ini menyusut seiring prompt yang semakin panjang. Encoder menggunakan perhatian penuh di semua lapisan, yang skalanya kuadratik, sedangkan sebagian besar lapisan v19 menggunakan Gated Delta Net yang biayanya linear. Lapisan-lapisan ini memiliki biaya tetap yang lebih tinggi, tetapi skalanya lebih baik, sehingga menciptakan batas bawah latensi yang lebih tinggi. Karena beban kerja benchmark condong ke prompt pendek, encoder diuntungkan dalam praktiknya.

Encoder tanpa masker, e1a, mengungguli v19 pada tujuh dari sembilan tugas, tetapi berkinerja lebih buruk pada dua benchmark utama, yang menunjukkan bahwa membiarkan pertanyaan memperhatikan status tanpa masking mungkin menjadi kelemahan. Penulis menyimpulkan bahwa pendekatan encoder menjanjikan, tetapi bukan kemenangan yang jelas di semua aspek.

このHacker News投稿の著者は、モデル開発における自身の専門性は限られていると認めた上で、strands-decider-2BがBERTのようなエンコーダではなく改良されたLLMとして構築された理由を尋ねる読者に答えています。直感的には、各トークンを前後両方のトークンを使って表現する双方向エンコーダは、後ろだけを見る因果モデルより優れているはずです。著者は、このプロジェクトが実質的にデコーダをエンコーダとして使っていることを認めており、その疑問はもっともだとしています。

これを検証するため、5つの設計を比較しました。Qwen3.5をベースとする最終版strands-decider であるv19、T5Gemma 2をベースとした総パラメータ数2Bと8Bのエンコーダ・デコーダモデル2つ、そしてT5Gemmaから派生したエンコーダ単体の2つの変種です。後者の一方は、複数の質問を並列に評価できるようマスク付きの状態キャッシュを使用しています。8Bのエンコーダ・デコーダモデルは精度とBrierスコアでv19を上回りますが、サイズが約4倍あるため、同条件の比較にはなっていません。より意味のある比較は、v19と遅延を最適化したエンコーダe1bとの比較です。e1bはあるベンチマークの精度指標でv19をわずかに上回りますが、実行ごとのばらつきの範囲内であり、較正ではやや劣ります。

レイテンシでは、エンコーダ単体のモデルが明確に優位で、中央値は約35ミリ秒であり、v19の65ミリ秒と比べてかなり速いです。ただし、プロンプトが長くなるにつれてこの優位性は縮まります。エンコーダは全層で全結合の注意機構を使い、その計算量は二次関数的に増加します。一方、v19の大半の層は線形コストのGated Delta Netを使っています。これらの層は固定コストが高いものの、スケーリングが優れているため、レイテンシの下限が高くなります。ベンチマークの処理内容は短いプロンプトに偏っているため、実際にはエンコーダが有利になります。

マスクなしのエンコーダe1aは9つのタスクのうち7つでv19を上回りますが、主要なベンチマーク2つでは劣ります。このことから、マスクなしで質問が状態に注意を向けられることが弱点になっている可能性が示唆されます。著者は、エンコーダのアプローチには将来性があるものの、全体にわたって明確に優れているわけではないと結論づけています。

O autor deste post no Hacker News, que admite ter experiência limitada em desenvolvimento de modelos, responde a leitores que perguntam por que o strands-decider-2B foi construído como um LLM modificado em vez de um encoder como o BERT. A intuição é que encoders bidirecionais, em que cada token é representado usando tokens anteriores e posteriores, deveriam superar modelos causais que olham apenas para trás. O autor reconhece que o projeto essencialmente usa um decoder como encoder, então a pergunta é justa.

Para testar isso, foram comparados cinco designs: o v19, o strands-decider final baseado no Qwen3.5; dois modelos encoder-decoder baseados no T5Gemma 2, com 2B e 8B de parâmetros totais; e duas variantes apenas encoder derivadas do T5Gemma, uma das quais usa um cache de estados mascarado para que várias perguntas possam ser avaliadas em paralelo. O modelo encoder-decoder de 8B supera o v19 em precisão e nas pontuações de Brier, mas é cerca de quatro vezes maior, então a comparação não é equivalente. A comparação mais significativa é entre o v19 e o encoder otimizado para latência e1b, que supera ligeiramente o v19 em uma medida de precisão de um benchmark, porém dentro da variação entre execuções, e tem desempenho levemente pior em calibração.

Em latência, os modelos apenas encoder vencem com clareza, com mediana próxima de 35 ms contra 65 ms do v19. No entanto, a vantagem diminui à medida que os prompts crescem. O encoder usa atenção completa em todas as camadas, que escala de forma quadrática, enquanto a maioria das camadas do v19 usa Gated Delta Net, de custo linear. Essas camadas têm um custo fixo mais alto, mas escalam melhor, criando um piso de latência mais elevado. Como as cargas de trabalho do benchmark se concentram em prompts curtos, o encoder se beneficia na prática.

O encoder sem máscara e1a supera o v19 em sete das nove tarefas, mas tem desempenho pior em dois benchmarks importantes, sugerindo que permitir que as perguntas acessem o estado pode ser uma fraqueza sem o mascaramento. O autor conclui que a abordagem com encoder é promissora, mas não é uma vitória clara em todos os aspectos.

Автор этого поста на Hacker News, который признаёт ограниченный опыт в разработке моделей, отвечает читателям, спрашивающим, почему strands-decider-2B построен как модифицированная LLM, а не как энкодер вроде BERT. Интуиция такова: двунаправленные энкодеры, где каждый токен представляется с учётом как предыдущих, так и последующих токенов, должны превосходить каузальные модели, которые смотрят только назад. Автор признаёт, что проект по сути использует декодер в качестве энкодера, поэтому вопрос справедлив.

Для проверки сравнили пять архитектур: v19, финальный strands-decider на базе Qwen3.5; две модели энкодер-декодер на основе T5Gemma 2 с общим числом параметров 2B и 8B; и две энкодер-только варианта, производных от T5Gemma, один из которых использует кэш замаскированных состояний, позволяющий параллельно оценивать несколько вопросов. Энкодер-декодер на 8B превосходит v19 по точности и оценкам Брайера, но примерно в четыре раза больше, поэтому сравнение не является равноценным. Более содержательно сравнение v19 с оптимизированным по задержке энкодером e1b, который немного опережает v19 по одной метрике точности бенчмарка, но в пределах разброса между запусками, и немного уступает по калибровке.

По задержке энкодер-только модели явно выигрывают: медиана около 35 мс против 65 мс у v19. Однако преимущество уменьшается с ростом длины промптов. Энкодер использует полное внимание во всех слоях, масштабирующееся квадратично, тогда как большинство слоёв v19 используют Gated Delta Net с линейной стоимостью. Эти слои имеют более высокие фиксированные накладные расходы, но лучше масштабируются, что создаёт более высокий нижний порог задержки. Поскольку нагрузка бенчмарков смещена в сторону коротких промптов, на практике энкодер получает выгоду.

Энкодер без маски e1a опережает v19 в семи из девяти задач, но показывает худшие результаты на двух ключевых бенчмарках, что говорит о возможной слабости: без маскирования вопросы могут обращаться к состоянию. Автор заключает, что энкодерный подход перспективен, но не даёт явного выигрыша во всём.

这篇 Hacker News 帖子的作者承认自己在模型开发方面经验有限,他回应了读者的疑问:为什么 strands-decider-2B 采用改进的 LLM,而不是像 BERT 那样的编码器。直觉上,双向编码器中每个词元都利用了前后两侧的词元来表示,因此应当优于只能向后看的因果模型。作者承认,该项目本质上是把解码器当作编码器使用,因此这个问题是合理的。

为了验证这一点,作者比较了五种设计:基于 Qwen3.5 的最终版本 strands-decider v19;两个基于 T5Gemma 2 的编码器-解码器模型,总参数量分别为 2B 和 8B;以及两个从 T5Gemma 衍生的纯编码器变体,其中一个使用掩码状态缓存,以便并行评估多个问题。8B 编码器-解码器模型在准确率和 Brier 分数上优于 v19,但其规模约为 v19 的四倍,因此这并非同等条件下的比较。更有意义的比较是 v19 与延迟优化的编码器 e1b:后者在一项基准准确率指标上略微领先 v19,但差距处于多次运行的方差范围之内,而在校准方面则略逊一筹。

在延迟方面,纯编码器模型优势明显,中位数约为 35 毫秒,而 v19 为 65 毫秒。然而,随着提示词变长,这一优势会逐渐缩小。编码器在所有层中使用全注意力,其计算量随长度呈二次方增长;而 v19 的大多数层采用线性成本的 Gated Delta Net。这些层的固定开销较高,但扩展性更好,因此形成了更高的延迟下限。由于基准测试的工作负载以短提示词为主,编码器在实际中因此受益。

未加掩码的编码器 e1a 在九项任务中的七项上优于 v19,但在两项关键基准上表现较差,这表明如果不加掩码,允许问题关注状态可能是一个弱点。作者的结论是,编码器方法颇具潜力,但并非在所有方面都明显胜出。