J'ai créé Lathoa pour les enfants âgés de 10 à 14 ans. Un robot nommé Errol résout les problèmes de mathématiques étape par étape, mais une étape est intentionnellement fausse. L'enfant doit trouver l'erreur et expliquer pourquoi elle est fausse pour gagner des points d'expérience.
Parfois, rien n'est faux, donc deviner qu'il y a une erreur ne fonctionne pas—des explications sont nécessaires. La vitesse affecte également le score. Il n'y a pas de chat LLM direct ; Lathoa utilise une stabilisation avec des étapes d'évaluation pour capturer les incohérences et les injections de prompt.
Vous pouvez jouer à un cas sur la page d'accueil sans vous inscrire. Il est difficile de faire en sorte qu'une LLM soit erronée intentionnellement : la moitié du temps, elle donne la bonne réponse et l'appelle incorrecte, ou marque une étape correcte comme une erreur. Par conséquent, chaque cas est vérifié à l'avance.
Lorsque possible, une vérification arithmétique basique refait exactement les calculs. Un deuxième modèle résout le problème sans voir le travail d'Errol. S'ils ne sont pas d'accord, le cas est rejeté.
La faiblesse est que le deuxième modèle pourrait commettre la même erreur que le premier. La vérification arithmétique aide, mais ne fonctionne pour l'instant que pour les cas en anglais—l'allemand et le grec utilisent des virgules pour les décimaux, et le parsing n'est pas encore corrigé. Je me demande : trouver l'erreur d'une autre personne apprend-il plus en résolvant le problème soi-même ? Je ne suis pas sûr, et j'aimerais des retours d'enseignants.
Source: Hacker News · Résumé par HeadlinesBriefing