O autor deste post no Hacker News, que admite ter experiência limitada em desenvolvimento de modelos, responde a leitores que perguntam por que o strands-decider-2B foi construído como um LLM modificado em vez de um encoder como o BERT. A intuição é que encoders bidirecionais, em que cada token é representado usando tokens anteriores e posteriores, deveriam superar modelos causais que olham apenas para trás. O autor reconhece que o projeto essencialmente usa um decoder como encoder, então a pergunta é justa.
Para testar isso, foram comparados cinco designs: o v19, o strands-decider final baseado no Qwen3.5; dois modelos encoder-decoder baseados no T5Gemma 2, com 2B e 8B de parâmetros totais; e duas variantes apenas encoder derivadas do T5Gemma, uma das quais usa um cache de estados mascarado para que várias perguntas possam ser avaliadas em paralelo. O modelo encoder-decoder de 8B supera o v19 em precisão e nas pontuações de Brier, mas é cerca de quatro vezes maior, então a comparação não é equivalente. A comparação mais significativa é entre o v19 e o encoder otimizado para latência e1b, que supera ligeiramente o v19 em uma medida de precisão de um benchmark, porém dentro da variação entre execuções, e tem desempenho levemente pior em calibração.
Em latência, os modelos apenas encoder vencem com clareza, com mediana próxima de 35 ms contra 65 ms do v19. No entanto, a vantagem diminui à medida que os prompts crescem. O encoder usa atenção completa em todas as camadas, que escala de forma quadrática, enquanto a maioria das camadas do v19 usa Gated Delta Net, de custo linear. Essas camadas têm um custo fixo mais alto, mas escalam melhor, criando um piso de latência mais elevado. Como as cargas de trabalho do benchmark se concentram em prompts curtos, o encoder se beneficia na prática.
O encoder sem máscara e1a supera o v19 em sete das nove tarefas, mas tem desempenho pior em dois benchmarks importantes, sugerindo que permitir que as perguntas acessem o estado pode ser uma fraqueza sem o mascaramento. O autor conclui que a abordagem com encoder é promissora, mas não é uma vitória clara em todos os aspectos.
Fonte: Hacker News · Resumido por HeadlinesBriefing