L'auteur de ce message Hacker News, qui reconnaît une expertise limitée en développement de modèles, répond à des lecteurs qui demandent pourquoi strands-decider-2B a été conçu comme un LLM modifié plutôt que comme un encodeur tel que BERT. L'intuition est que les encodeurs bidirectionnels, où chaque token est représenté à l'aide des tokens précédents et suivants, devraient surpasser les modèles causaux qui ne regardent qu'en arrière. L'auteur concède que le projet utilise essentiellement un décodeur comme encodeur, la question est donc légitime.
Pour la tester, cinq conceptions ont été comparées : v19, le strands-decider final basé sur Qwen3.5 ; deux modèles encodeur-décodeur basés sur T5Gemma 2, de 2B et 8B paramètres au total ; et deux variantes uniquement encodeur dérivées de T5Gemma, dont l'une utilise un cache d'états masqué permettant d'évaluer plusieurs questions en parallèle. Le modèle encodeur-décodeur de 8B dépasse v19 en précision et en scores de Brier, mais il est environ quatre fois plus grand, la comparaison n'est donc pas équitable. La comparaison la plus pertinente oppose v19 à l'encodeur optimisé pour la latence e1b, qui dépasse légèrement v19 sur une mesure de précision d'un benchmark, mais dans la marge de variation entre exécutions, et qui est un peu moins bon en calibration.
En latence, les modèles uniquement encodeur l'emportent nettement, avec une médiane proche de 35 ms contre 65 ms pour v19. Cependant, cet avantage diminue à mesure que les prompts s'allongent. L'encodeur utilise une attention complète sur toutes les couches, dont le coût croît de façon quadratique, alors que la plupart des couches de v19 utilisent le Gated Delta Net, au coût linéaire. Ces couches ont un coût fixe plus élevé mais passent mieux à l'échelle, ce qui crée un plancher de latence plus haut. Comme les charges de travail du benchmark penchent vers des prompts courts, l'encodeur en tire profit en pratique.
L'encodeur non masqué e1a bat v19 sur sept des neuf tâches, mais il est moins bon sur deux benchmarks clés, ce qui suggère que laisser les questions accéder à l'état pourrait être une faiblesse sans masquage. L'auteur conclut que l'approche encodeur est prometteuse, mais qu'elle n'est pas une victoire nette sur tous les plans.
Source: Hacker News · Résumé par HeadlinesBriefing