Der Autor dieses Hacker-News-Beitrags, der zugibt, nur begrenzte Erfahrung in der Modellentwicklung zu haben, antwortet auf Leserfragen, warum strands-decider-2B als modifiziertes LLM statt als Encoder wie BERT gebaut wurde. Die Intuition lautet, dass bidirektionale Encoder, bei denen jedes Token anhand früherer und späterer Tokens dargestellt wird, kausale Modelle übertreffen sollten, die nur rückwärts schauen. Der Autor räumt ein, dass das Projekt im Grunde einen Decoder als Encoder verwendet, die Frage ist also berechtigt.
Zur Überprüfung wurden fünf Designs verglichen: v19, der finale, auf Qwen3.5 basierende strands-decider; zwei Encoder-Decoder-Modelle auf Basis von T5Gemma 2 mit insgesamt 2B und 8B Parametern; und zwei reine Encoder-Varianten, abgeleitet von T5Gemma, von denen eine einen maskierten Zustandscache nutzt, sodass mehrere Fragen parallel bewertet werden können. Das 8B-Encoder-Decoder-Modell schlägt v19 bei Genauigkeit und Brier-Scores, ist jedoch etwa viermal so groß, weshalb der Vergleich nicht fair ist. Aussagekräftiger ist der Vergleich zwischen v19 und dem latenzoptimierten Encoder e1b, der bei einem Benchmark-Genauigkeitsmaß knapp vor v19 liegt, allerdings innerhalb der Schwankungen zwischen Durchläufen, und bei der Kalibrierung etwas schlechter abschneidet.
Bei der Latenz gewinnen die reinen Encoder-Modelle deutlich, mit einem Median von knapp 35 ms gegenüber 65 ms bei v19. Der Vorteil schrumpft jedoch, je länger die Prompts werden. Der Encoder nutzt volle Aufmerksamkeit über alle Schichten, die quadratisch skaliert, während die meisten Schichten von v19 Gated Delta Net mit linearen Kosten verwenden. Diese Schichten haben einen höheren festen Aufwand, skalieren aber besser, was zu einer höheren Latenzuntergrenze führt. Da die Benchmark-Lasten eher kurze Prompts enthalten, profitiert der Encoder in der Praxis.
Der unmaskierte Encoder e1a schlägt v19 bei sieben von neun Aufgaben, schneidet jedoch bei zwei zentralen Benchmarks schlechter ab, was darauf hindeutet, dass ohne Maskierung der Zugriff der Fragen auf den Zustand eine Schwäche sein könnte. Der Autor kommt zu dem Schluss, dass der Encoder-Ansatz vielversprechend ist, aber keinen eindeutigen Gewinn über alle Bereiche hinweg darstellt.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing