Saya membuat Lathoa untuk anak berusia 10 hingga 14 tahun. Sebuah robot bernama Errol memecahkan masalah matematika langkah demi langkah, tetapi satu langkah secara sengaja salah. Anak harus menemukan kesalahan dan menjelaskan mengapa salah untuk memperoleh XP.
Kadang tidak ada yang salah, jadi menebak 'ada kesalahan' tidak akan berhasil—penjelasan diperlukan. Kecepatan juga memengaruhi skor. Tidak ada obrolan LLM langsung; Lathoa menggunakan stabilisasi dengan langkah evaluasi untuk menangkap inkonsistensi dan injeksi prompt.
Anda dapat bermain satu kasus di beranda tanpa mendaftar. Membuat LLM salah secara sengaja sulit: setengah waktunya memberikan jawaban yang benar dan memanggilnya salah, atau menandai langkah yang benar sebagai kesalahan. Jadi setiap kasus sudah dipastikan telah diperiksa.
Di mana memungkinkan, pemeriksaan aritmetika dasar mengulangi matematika dengan tepat. Model kedua memecahkan masalah tanpa melihat pekerjaan Errol. Jika mereka tidak setuju, kasus akan dibuang.
Kelemahannya adalah model kedua bisa membuat kesalahan yang sama seperti model pertama. Pemeriksaan aritmetika membantu, tetapi hanya berfungsi untuk kasus bahasa Inggris hingga saat ini—Jerman dan Yunani menggunakan koma untuk desimal, dan pemparaan belum perbaiki. Saya bertanya-tanya: apakah menemukan kesalahan orang lain lebih belajar daripada memecahkan masalah sendiri? Saya tidak yakin, dan saya ingin mendengar masukan dari pendidik.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing