Creé Lathoa para niños de 10 a 14 años. Un robot llamado Errol resuelve problemas matemáticos paso a paso, pero un paso está intencionalmente mal. El niño debe encontrar el error y explicar por qué está mal para ganar XP.
A veces no hay nada malo, por lo que adivinar 'hay un error' no funciona—se requieren explicaciones. La velocidad también afecta la puntuación. No hay chat directo de LLM; Lathoa usa estabilización con pasos de evaluación para capturar inconsistencias e inyecciones de indicaciones.
Puedes jugar un caso en la página principal sin registrarte. Es difícil que un LLM esté equivocado a propósito: la mitad de las veces da la respuesta correcta y la llama incorrecta, o marca un paso correcto como error. Por eso, cada caso se verifica previamente.
Donde sea posible, una verificación aritmética básica vuelve a realizar los cálculos exactos. Un segundo modelo resuelve el problema sin ver el trabajo de Errol. Si no coinciden, el caso se descarta.
La debilidad es que el segundo modelo podría cometer la misma equivocación que el primero. La verificación aritmética ayuda, pero solo funciona para casos en inglés hasta ahora—el alemán y el griego usan comas para decimales, y el análisis aún no está arreglado. Me pregunto: ¿encontrar el error de otra persona enseña más que resolver el problema tú mismo? No tengo certeza, y me gustaría opiniones de educadores.
Fuente: Hacker News · Resumido por HeadlinesBriefing