Dalam proyek tahun akhir, saya melatih enam model untuk deteksi penipuan menggunakan dua dataset publik: PaySim (uang seluler) dan IEEE-CIS (transaksi kartu). Meskipun mencapai akurasi tinggi, model dengan kinerja terbaik tidak di-deploy karena kendala produksi. Model yang di-deploy hanya menggunakan tiga fitur: jumlah transaksi, saluran one-hot encoded, dan dataset sumber, karena dataset tidak memiliki bidang yang sama.

Menangani ketidakseimbangan kelas memerlukan SMOTE, tetapi metode interpolasi cadangan digunakan untuk deployment. Proyek ini menyoroti kesenjangan antara metrik offline dan keputusan produksi dunia nyata. Model terbaik, kemungkinan XGBoost, dikalahkan dalam praktik oleh model yang lebih sederhana yang menggeneralisasi lebih baik.

Pengalaman ini mengajarkan saya bahwa pemilihan model harus mempertimbangkan kelayakan deployment, bukan hanya metrik kinerja.