Agen AI yang hanya mengobrol membawa risiko kecil, karena jawaban yang salah cukup diminta ulang. Namun begitu agen itu bisa memanggil alat, satu kesalahan bisa berarti email terkirim atau pembayaran berpindah. Solusi umum dengan menempatkan model kedua di depan untuk memeriksa model pertama terasa seperti mempekerjakan magang untuk mengawasi magang lainnya.
Satu kasus sederhana memperlihatkan masalahnya. Seorang pelanggan ditagih dua kali untuk pembelian senilai 12 dolar dan meminta pengembalian dana kepada agen AI. Agen memilih alat yang tepat dan pelanggan yang tepat, tetapi menyiapkan jumlah 120.000 sen, bukan 1.200 sen per tagihan. ID pelanggan valid, nilainya berupa bilangan bulat, dan skema menerimanya, sehingga tidak ada yang tampak rusak. Jumlahnya meleset seratus kali lipat, jenis kesalahan yang muncul ketika dolar dikonversi ke sen dua kali. Batas sederhana 500 dolar akan menangkap versi 1.200 dolar, tetapi tidak kesalahan 120 dolar yang tetap sepuluh kali lipat dari jumlah yang disetujui pelanggan.
Celah itu membawa penulis ke model Jev dari Type Safe AI, yang dirilis pada 15 September sebagai yang pertama dari apa yang disebut perusahaan sebagai System One Models. Model ini masih dalam tahap akses awal. Alih-alih menghasilkan teks, Jev menerima kondisi aplikasi dan pertanyaan yang terbatas, lalu mengembalikan jawaban probabilistik yang bertipe, tugas yang berbeda dari model chat biasa. Pengaman untuk masukan dan keluaran termasuk dalam penggunaan yang dimaksudkan.
Penulis mencatat bahwa validasi skema menangani kesalahan struktural tetapi tidak kesalahan semantik, misalnya mengirim email ke penerima yang salah meski kedua alamat valid. Model seperti Jev bisa cocok sebagai lapisan keputusan dalam sistem agen, meski artikel ini berfokus pada di mana model itu seharusnya ditempatkan dan keputusan apa yang tidak boleh dipercayakan kepadanya, bukan pada hasil benchmark.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing