ThinkingCap выпустила свою пятую модель, эффективную по токенам, основанную на gemma-4-26B-A4B-it от Google. Цель состояла в том, чтобы сократить объём рассуждений модели перед ответом, не меняя ничего другого, включая её знания, способность к логическому мышлению, качество ответов, следование инструкциям и поведение в вопросах безопасности. В двенадцати бенчмарках токены рассуждений в среднем сократились на 38,9%, при этом в отдельных тестах снижение достигало 69,1%.
Потеря точности оказалась минимальной. В среднем по всем двенадцати бенчмаркам точность изменилась всего на -0,15 п.п., что, по словам команды, меньше разброса результатов между отдельными запусками на большинстве тестов. Следование инструкциям и агентные задачи выросли на 0,65 п.п., математика — на 0,39 п.п., а код практически не изменился. Знания и рассуждения снизились на 0,51 п.п., а задачи с длинным контекстом и мультимодальные — на 0,92 п.п.. Зацикливание, когда модель повторяет саму себя, снизилось с 3,6% ответов исходной модели до 0,8%.
Наибольшее сокращение пришлось на задачи с длинным контекстом и мультимодальные задачи — 54,4%, далее следовали знания и рассуждения — 44,4%, математика — 36,1% и код — 27,6%. Наименьшие изменения зафиксированы в следовании инструкциям и агентных задачах — 17,2%.
Модель является прямой заменой и использует те же настройки семплирования и тот же стек обслуживания. Сообщается, что версия PRO сокращает токены рассуждений до 87,6%, или в среднем на 62%, что интересно компаниям, стремящимся снизить затраты на инференс в больших масштабах.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing