في مشروع السنة النهائية، قمت بتدريب ستة نماذج لكشف الاحتيال باستخدام مجموعتي بيانات عامتين: PaySim (الأموال عبر الهاتف المحمول) وIEEE-CIS (معاملات البطاقات). على الرغم من تحقيق دقة عالية، لم يتم نشر النموذج الأفضل أداءً بسبب قيود الإنتاج. يستخدم النموذج المنشور ثلاث ميزات فقط: مبلغ المعاملة، القناة المشفرة one-hot، ومجموعة البيانات المصدر، لأن مجموعات البيانات كانت تفتقر إلى حقول مشتركة. تطلب التعامل مع عدم توازن الفئات استخدام SMOTE، ولكن تم استخدام طريقة استيفاء احتياطية للنشر. أبرز المشروع فجوة بين المقاييس غير المتصلة وقرارات الإنتاج في العالم الحقيقي. النموذج الأفضل، على الأرجح XGBoost، تفوق عليه في الممارسة نموذج أبسط كان أفضل في التعميم. علمتني هذه التجربة أن اختيار النموذج يجب أن يأخذ في الاعتبار جدوى النشر، وليس فقط مقاييس الأداء.