Model machine learning biasanya dijelaskan berdasarkan jumlah parameter yang dapat dilatih, tetapi angka tersebut dapat menyesatkan. Sebuah model mungkin memiliki banyak parameter yang tidak menciptakan cara yang benar-benar independen untuk memengaruhi keluarannya, sementara model yang ringkas dapat memanfaatkan hampir setiap parameter dengan cara yang berbeda dan bermakna. Dimensi efektif adalah cara untuk mengukur perbedaan tersebut.
Pertimbangkan dua model dengan parameter θ1 dan θ2. Pada model pertama, parameter memengaruhi keluaran secara independen, sehingga model dapat berubah ke dalam dua arah yang independen. Pada model kedua, keluaran hanya bergantung pada jumlah keduanya, sehingga banyak pasangan parameter menghasilkan fungsi yang persis sama. Meskipun secara formal model tersebut memiliki dua parameter, ia hanya memiliki satu derajat kebebasan. Ini menggambarkan gagasan utama: jumlah parameter tidak selalu mencerminkan kompleksitas fungsional.
Dimensi efektif adalah ukuran kompleksitas informasi yang bergantung pada skala, awalnya dikembangkan dalam teori informasi statistik untuk menghitung parameter yang benar-benar aktif dalam sebuah model berdasarkan ukuran data yang tersedia. Sejak itu, ukuran ini diadopsi dalam machine learning klasik maupun kuantum untuk mengevaluasi ekspresivitas, kemampuan pelatihan, dan kemampuan generalisasi model. Tidak seperti akurasi, loss, atau jumlah parameter mentah, ukuran ini menanyakan berapa banyak arah parameter yang dapat dibedakan dimiliki sebuah model di seluruh wilayah parameter dan distribusi data yang dipilih.
Yang penting, dimensi efektif berkaitan dengan generalisasi. Berdasarkan asumsi kerangka kerjanya, ia dapat memberikan batas kinerja generalisasi yang bergantung pada kompleksitas. Ini adalah bagian pertama dari seri dua bagian; bagian kedua akan menunjukkan cara mengimplementasikan perhitungan dimensi efektif dalam eksperimen machine learning.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing