Data adalah bagian paling berharga dalam pembelajaran mesin, tetapi mengumpulkan dan memberi label data khusus tugas sering kali sulit. Pengambilan gambar secara manual berisiko memasukkan bias, dan memverifikasi anotasi dari pihak ketiga atau dari model vision-language yang digunakan untuk pra-anotasi menambah upaya lagi. Data yang dihasilkan secara sintetis menawarkan alternatif, karena anotasi kebenaran dasar sudah tertanam sejak desainnya. Tantangan utamanya adalah apakah model yang dilatih pada gambar sintetis dapat digeneralisasi ke data dunia nyata.
Proyek ini mengeksplorasi apakah ekstraktor fitur pralatih mutakhir dapat menghasilkan representasi kaya yang memungkinkan kepala tugas ringan, yang hanya dilatih pada data sintetis, untuk digeneralisasi ke gambar nyata. Domain yang dipilih adalah permainan kartu SET, di mana pemain mencari tiga kartu sekaligus dalam bidang 4x3 di mana setiap fitur (bentuk, warna, shading, dan jumlah) identik atau berbeda di ketiga kartu. Mendeteksi kartu-kartu ini adalah masalah generasi yang dapat dikelola namun tetap menarik.
Penulis memilih DINOv3 dari Meta karena ekstraksi fitur lokalnya yang kuat dan varian kecilnya yang didistilasi. Mengingat keterbatasan perangkat keras, model konvolusional terdistilasi terkecil, ConvNeXt Tiny dengan sekitar 29 juta parameter, dipilih, dengan kepala khusus tugas yang ditambahkan untuk kotak pembatas, titik kunci, atau masker segmentasi. Sebagai langkah pertama, proyek ini melokalisasi kartu tanpa mengklasifikasikan jenisnya.
Untuk data sintetis, OpenCV menggambar bentuk dasar, membangun kartu dari persegi panjang bersudut membulat serta kombinasi persegi panjang dan lingkaran. Generasi prosedural memberikan kontrol tak terbatas atas tampilan kartu, sehingga parameter dapat divariasikan secara luas untuk meningkatkan transfer ke foto nyata.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing