A ThinkingCap lançou seu quinto modelo eficiente em tokens, baseado no gemma-4-26B-A4B-it do Google. O objetivo era reduzir o quanto o modelo raciocina antes de responder, sem alterar mais nada, incluindo seu conhecimento, raciocínio, qualidade das respostas, seguimento de instruções e comportamento de segurança. Em doze benchmarks, os tokens de raciocínio caíram 38,9% em média, com reduções de até 69,1% em testes individuais.
O custo em precisão foi mínimo. Considerando a média dos doze benchmarks, a precisão mudou apenas -0,15pp, o que a equipe observa ser menor que a variação entre execuções na maior parte da suíte. O seguimento de instruções e as tarefas agênticas ganharam 0,65pp e a matemática ganhou 0,39pp, enquanto o código ficou praticamente estável. Conhecimento e raciocínio perderam 0,51pp, e tarefas de contexto longo e multimodais perderam 0,92pp. As repetições em loop, em que o modelo se repete, caíram de 3,6% das respostas do modelo original para 0,8%.
As reduções foram maiores em tarefas de contexto longo e multimodais, com 54,4%, seguidas por conhecimento e raciocínio com 44,4%, matemática com 36,1% e código com 27,6%. O seguimento de instruções e as tarefas agênticas tiveram a menor mudança, de 17,2%.
O modelo é um substituto direto e usa as mesmas configurações de amostragem e a mesma pilha de serviço. Segundo relatos, uma versão PRO reduz os tokens de raciocínio em até 87,6%, ou 62% em média, para empresas que buscam menores custos de inferência em escala.
Fonte: Hacker News · Resumido por HeadlinesBriefing