Criei o Lathoa para crianças de 10 a 14 anos. Um robô chamado Errol resolve problemas matemáticos passo a passo, mas um passo está intencionalmente errado. A criança deve encontrar o erro e explicar por que está errado para ganhar XP. Às vezes nada está errado, então adivinhar 'há um erro' não funciona—explicações são necessárias.
A velocidade também afeta a pontuação. Não há chat direto de LLM; o Lathoa usa estabilização com passos de avaliação para capturar inconsistências e injecções de prompt. Você pode jogar um caso na página inicial sem se cadastrar. É difícil fazer uma LLM errar intencionalmente: metade do tempo ela dá a resposta correta e a chama errada, ou marca um passo correto como erro.
Por isso, cada caso é pré-verificado. Sempre que possível, uma verificação aritmética básica refaz os cálculos exatamente. Um segundo modelo resolve o problema sem ver o trabalho do Errol.
Se eles discordarem, o caso é descartado. A fraqueza é que o segundo modelo pode cometer a mesma falha que o primeiro. A verificação aritmética ajuda, mas até agora só funciona para casos em inglês—alemão e grego usam vírgulas para decimais, e a análise ainda não foi corrigida.
Me pergunto: encontrar o erro de outra pessoa ensina mais do que resolver o problema você mesmo? Não tenho certeza, e gostaria de opiniões de educadores.
Fonte: Hacker News · Resumido por HeadlinesBriefing