Автор этого поста на Hacker News, который признаёт ограниченный опыт в разработке моделей, отвечает читателям, спрашивающим, почему strands-decider-2B построен как модифицированная LLM, а не как энкодер вроде BERT. Интуиция такова: двунаправленные энкодеры, где каждый токен представляется с учётом как предыдущих, так и последующих токенов, должны превосходить каузальные модели, которые смотрят только назад. Автор признаёт, что проект по сути использует декодер в качестве энкодера, поэтому вопрос справедлив.
Для проверки сравнили пять архитектур: v19, финальный strands-decider на базе Qwen3.5; две модели энкодер-декодер на основе T5Gemma 2 с общим числом параметров 2B и 8B; и две энкодер-только варианта, производных от T5Gemma, один из которых использует кэш замаскированных состояний, позволяющий параллельно оценивать несколько вопросов. Энкодер-декодер на 8B превосходит v19 по точности и оценкам Брайера, но примерно в четыре раза больше, поэтому сравнение не является равноценным. Более содержательно сравнение v19 с оптимизированным по задержке энкодером e1b, который немного опережает v19 по одной метрике точности бенчмарка, но в пределах разброса между запусками, и немного уступает по калибровке.
По задержке энкодер-только модели явно выигрывают: медиана около 35 мс против 65 мс у v19. Однако преимущество уменьшается с ростом длины промптов. Энкодер использует полное внимание во всех слоях, масштабирующееся квадратично, тогда как большинство слоёв v19 используют Gated Delta Net с линейной стоимостью. Эти слои имеют более высокие фиксированные накладные расходы, но лучше масштабируются, что создаёт более высокий нижний порог задержки. Поскольку нагрузка бенчмарков смещена в сторону коротких промптов, на практике энкодер получает выгоду.
Энкодер без маски e1a опережает v19 в семи из девяти задач, но показывает худшие результаты на двух ключевых бенчмарках, что говорит о возможной слабости: без маскирования вопросы могут обращаться к состоянию. Автор заключает, что энкодерный подход перспективен, но не даёт явного выигрыша во всём.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing