Saya harus berpikir cermat tentang cara hasil teknis dirumuskan, terutama ketika sebuah kalimat ditulis ulang agar terdengar lebih rapi. Kesalahan yang umum adalah mengubah penurunan kesalahan 20% menjadi peningkatan akurasi 20%. Karena penurunan kesalahan 20% mengecilkan sisa angka yang kecil, akurasi itu sendiri hampir tidak berubah. Angkanya bertahan setelah penulisan ulang, tetapi apa yang digambarkannya berubah sepenuhnya, dan kesalahan itu bisa lolos dari pembacaan cepat.
Evidence Desk adalah alat peramban yang saya buat bersama Codex untuk menangkap kesalahan seperti ini. Anda memberikan draf beserta file sumbernya. Alat ini memecah draf menjadi klaim, mencari bagian terdekat dalam sumber untuk setiap klaim, dan menjalankan pemeriksaan numerik, metrik, dan kausal yang eksplisit. Setiap klaim diberi label Didukung, Potensi ketidaksesuaian, atau Bukti tidak cukup. Codex membantu mengimplementasikan antarmuka, logika pemeriksaan, dan pengujian, sementara saya memutuskan apa yang harus diperiksa alat ini dan meninjau perilakunya.
Memeriksa adalah pekerjaan yang berbeda dari menulis. Pertanyaannya adalah apakah bukti benar-benar mengatakan apa yang dikatakan klaim, yang lebih sempit daripada menanyakan apakah klaim itu benar. Alih-alih memakai model generatif kedua sebagai peninjau, Evidence Desk melampirkan setiap peringatan pada bagian yang menjadi dasarnya beserta alasan yang dinyatakan, sehingga penulis punya sesuatu yang spesifik untuk dibantah.
Proses ini punya batas. Ekstraksi klaim dilakukan secara kasar, dan pencarian bergantung pada kemiripan kata sederhana dengan ambang batas yang ditetapkan secara manual. Skor kecocokan yang tinggi hanya menunjukkan seberapa dekat sebuah kalimat diturunkan dari sumbernya, dan tulisan ulang yang terdistorsi justru merupakan turunan yang dekat menurut definisinya. Dalam contoh bawaan, alat menemukan bagian yang benar tetapi tetap melewatkan ketidaksesuaiannya, yang menunjukkan di mana pemeriksaan berbasis aturan mulai gagal.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing