El autor de esta publicación en Hacker News, que admite tener experiencia limitada en el desarrollo de modelos, responde a lectores que preguntan por qué strands-decider-2B se construyó como un LLM modificado en lugar de un encoder como BERT. La intuición es que los encoders bidireccionales, donde cada token se representa usando tokens anteriores y posteriores, deberían superar a los modelos causales que solo miran hacia atrás. El autor reconoce que el proyecto básicamente usa un decoder como encoder, por lo que la pregunta es justa.
Para probarlo se compararon cinco diseños: v19, el strands-decider final basado en Qwen3.5; dos modelos encoder-decoder basados en T5Gemma 2 de 2B y 8B parámetros totales; y dos variantes solo encoder derivadas de T5Gemma, una de las cuales usa una caché de estados enmascarada para evaluar varias preguntas en paralelo. El modelo encoder-decoder de 8B supera a v19 en precisión y puntuaciones Brier, pero es aproximadamente cuatro veces más grande, por lo que la comparación no es equitativa. La comparación más significativa es v19 frente al encoder optimizado en latencia e1b, que supera ligeramente a v19 en una medida de precisión de un benchmark, aunque dentro de la variación entre ejecuciones, y tiene un rendimiento ligeramente peor en calibración.
En latencia, los modelos solo encoder ganan con claridad, con una mediana cercana a 35 ms frente a 65 ms de v19. Sin embargo, la ventaja se reduce a medida que los prompts se alargan. El encoder usa atención completa en todas las capas, que escala de forma cuadrática, mientras que la mayoría de las capas de v19 usan Gated Delta Net con coste lineal. Estas capas tienen un coste fijo más alto pero escalan mejor, lo que crea un piso de latencia más elevado. Como las cargas de trabajo del benchmark se inclinan hacia prompts cortos, el encoder se beneficia en la práctica.
El encoder sin máscara e1a supera a v19 en siete de nueve tareas, pero rinde peor en dos benchmarks clave, lo que sugiere que permitir que las preguntas atiendan al estado puede ser una debilidad sin enmascaramiento. El autor concluye que el enfoque encoder es prometedor, pero no es una victoria clara en todos los aspectos.
Fuente: Hacker News · Resumido por HeadlinesBriefing