Q:
Bagaimana para insinyur mengevaluasi set pelatihan dan set tes untuk menemukan kemungkinan overfitting dalam pembelajaran mesin?
SEBUAH:Untuk memahami bagaimana hal ini dilakukan, perlu memiliki pemahaman dasar tentang peran set data yang berbeda dalam proyek pembelajaran mesin yang khas. Set pelatihan diatur untuk memberikan teknologi kerangka acuan - data dasar yang digunakan program untuk membuat keputusan prediktif dan probabilistik. Set tes adalah tempat Anda menguji mesin pada data.
Overfitting adalah sindrom dalam pembelajaran mesin di mana model tidak sepenuhnya sesuai dengan data atau tujuannya.
| Unduh Gratis: Pembelajaran Mesin dan Mengapa Itu Penting |
Salah satu perintah menyeluruh dari pembelajaran mesin adalah bahwa data pelatihan dan data uji harus merupakan kumpulan data yang terpisah. Ada konsensus yang cukup luas tentang ini, setidaknya dalam banyak aplikasi, karena beberapa masalah khusus dengan menggunakan set yang sama yang Anda gunakan untuk pelatihan untuk menguji program pembelajaran mesin.
Ketika sebuah program pembelajaran mesin menggunakan satu set pelatihan, yang pada dasarnya dapat disebut set input, itu bekerja pada set pelatihan untuk membuat keputusan tentang hasil prediksi. Satu cara yang sangat mendasar untuk memikirkannya adalah set pelatihan adalah "makanan" untuk proses komputasi intelektual.
Sekarang ketika set yang sama digunakan untuk pengujian, mesin seringkali dapat mengembalikan hasil yang sangat baik. Itu karena sudah melihat data itu sebelumnya. Tetapi seluruh tujuan pembelajaran mesin dalam banyak kasus adalah untuk membuat hasil tentang data yang belum pernah terlihat sebelumnya. Program pembelajaran mesin tujuan umum dibuat untuk beroperasi pada set data yang beragam. Dengan kata lain, prinsip pembelajaran mesin adalah penemuan, dan Anda biasanya tidak mendapatkan sebanyak itu dengan menggunakan set pelatihan awal untuk tujuan pengujian.
Dalam mengevaluasi set pelatihan dan set tes untuk kemungkinan overfitting, insinyur mungkin menilai hasil dan mencari tahu mengapa suatu program dapat melakukannya secara berbeda pada hasil komparatif dari dua set ini, atau dalam beberapa kasus bagaimana mesin mungkin melakukan terlalu baik pada data pelatihan itu sendiri .
Dalam menggambarkan dengan baik beberapa masalah ini dalam pembelajaran mesin di bagian 2014, Jason Brownlee di Machine Learning Mastery menjelaskan overfitting dengan cara ini:
"Model yang dipilih untuk keakuratannya pada dataset pelatihan daripada keakuratannya pada dataset tes yang tidak terlihat sangat mungkin memiliki akurasi yang lebih rendah pada dataset tes yang tidak terlihat, " tulis Brownlee. "Alasannya adalah bahwa modelnya tidak digeneralisasikan. Ini berspekulasi pada struktur dalam dataset pelatihan (huruf miring ditambahkan). Ini disebut overfitting, dan itu lebih berbahaya daripada yang Anda pikirkan."
Dalam istilah awam, Anda bisa mengatakan bahwa dalam mengkhususkan diri pada kumpulan data pelatihan, program menjadi terlalu kaku. Itu cara metaforis lain untuk melihat mengapa program pembelajaran mesin tidak dilayani secara optimal dengan menggunakan set pelatihan untuk set tes. Ini juga merupakan cara yang baik untuk pendekatan mengevaluasi dua set yang berbeda ini, karena hasilnya akan menunjukkan banyak insinyur tentang bagaimana program ini bekerja. Anda ingin kesenjangan yang lebih kecil antara akurasi untuk kedua model. Anda ingin memastikan bahwa sistem tidak makan berlebihan atau "menyatu secara presisi" dengan kumpulan data tertentu, tetapi itu lebih umum dan dapat tumbuh dan berkembang sesuai perintah.
