البيانات هي أثمن جزء في تعلم الآلة، لكن جمع البيانات الخاصة بمهمة معينة وتصنيفها يكون غالباً صعباً. فالالتقاط اليدوي معرّض لإدخال التحيّز، والتحقق من التعليقات التوضيحية الصادرة عن أطراف ثالثة أو عن نماذج الرؤية واللغة المستخدمة في التعليق المسبق يضيف جهداً إضافياً. وتوفر البيانات المولَّدة اصطناعياً بديلاً، إذ تكون تعليقات الحقيقة الأرضية مدمجة فيها بالتصميم. والتحدي الرئيسي هو ما إذا كانت النماذج المدرّبة على الصور الاصطناعية قادرة على التعميم على بيانات العالم الحقيقي.
يستكشف هذا المشروع ما إذا كان مستخرج خصائص حديث ومدرّب مسبقاً يستطيع توليد تمثيلات غنية تسمح لرؤوس المهام الخفيفة، المدرّبة على البيانات الاصطناعية فقط، بالتعميم على الصور الحقيقية. والمجال المختار هو لعبة الورق SET، حيث يبحث اللاعبون عن ثلاثيات من البطاقات في حقل 4×3، تكون فيه كل خاصية (الشكل واللون والتظليل والعدد) إما متطابقة أو مختلفة عبر البطاقات الثلاث. واكتشاف هذه البطاقات مشكلة توليد قابلة للإدارة وتظل مثيرة للاهتمام.
اختار المؤلف DINOv3 من Meta لقدرته القوية على استخراج الخصائص الموضعية ولمتغيراته الأصغر المقطَّرة. وبالنظر إلى محدودية العتاد، اختير أصغر نموذج التفافي مقطَّر، وهو ConvNeXt Tiny بنحو 29 مليون معامل، مع إضافة رؤوس خاصة بالمهمة لمربعات الإحاطة أو النقاط المفتاحية أو أقنعة التجزئة. وكخطوة أولى، يحدد المشروع مواقع البطاقات دون تصنيف أنواعها بعد.
أما البيانات الاصطناعية فيرسم فيها OpenCV الأشكال الأساسية، إذ تُبنى البطاقات من مستطيلات ذات حواف دائرية ومركبات من مستطيلات ودوائر. ويمنح التوليد الإجرائي تحكماً غير محدود في مظهر البطاقات، ما يتيح تنويع المعاملات على نطاق واسع لتحسين الانتقال إلى الصور الفوتوغرافية الحقيقية.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing