Q:
Mengapa jaringan saraf rekuren buatan sering sulit untuk dilatih?
SEBUAH:Kesulitan pelatihan jaringan saraf rekuren buatan berkaitan dengan kompleksitas mereka.
Salah satu cara paling sederhana untuk menjelaskan mengapa jaringan saraf berulang sulit untuk dilatih adalah bahwa mereka tidak memberi makan jaringan saraf maju.
Dalam jaringan saraf umpan maju, sinyal hanya bergerak satu arah. Sinyal bergerak dari lapisan input ke berbagai lapisan tersembunyi, dan maju, ke lapisan keluaran suatu sistem.
Sebaliknya, jaringan saraf berulang dan berbagai jenis jaringan saraf lainnya memiliki gerakan sinyal yang lebih kompleks. Digolongkan sebagai jaringan "umpan balik", jaringan saraf berulang dapat memiliki sinyal yang bergerak maju dan mundur, dan mungkin berisi berbagai "loop" di jaringan di mana angka atau nilai dimasukkan kembali ke dalam jaringan. Para ahli mengaitkan ini dengan aspek jaringan saraf berulang yang terkait dengan memori mereka.
Selain itu, ada jenis kompleksitas lain yang mempengaruhi jaringan saraf berulang. Salah satu contoh yang sangat baik dari ini adalah di bidang pemrosesan bahasa alami.
Dalam pemrosesan bahasa alami yang canggih, jaringan saraf harus dapat mengingat sesuatu. Perlu mengambil input dalam konteks juga. Misalkan ada program yang ingin menganalisis atau memprediksi kata dalam kalimat kata lain. Mungkin ada, misalnya, panjang tetap lima kata untuk sistem evaluasi. Itu berarti jaringan saraf harus memiliki input untuk setiap kata-kata ini, bersama dengan kemampuan untuk "mengingat" atau melatih pada konteks kata-kata ini. Untuk alasan tersebut dan alasan serupa lainnya, jaringan saraf berulang biasanya memiliki loop dan umpan balik tersembunyi kecil ini dalam sistem.
Para ahli meratapi bahwa komplikasi ini menyulitkan untuk melatih jaringan. Salah satu cara paling umum untuk menjelaskan ini adalah dengan mengutip masalah gradien meledak dan menghilang. Pada dasarnya, bobot jaringan akan menyebabkan nilai meledak atau menghilang dengan sejumlah besar lintasan.
Pelopor jaringan saraf Geoff Hinton menjelaskan fenomena ini di web dengan mengatakan bahwa lintasan linear mundur akan menyebabkan bobot yang lebih kecil menyusut secara eksponensial dan bobot yang lebih besar meledak.
Masalah ini, lanjutnya, memburuk dengan urutan yang panjang dan lebih banyak langkah waktu, di mana sinyal tumbuh atau membusuk. Inisialisasi berat mungkin membantu, tetapi tantangan-tantangan itu dibangun ke dalam model jaringan saraf berulang. Akan selalu ada masalah yang melekat pada desain dan bangunan khusus mereka. Pada dasarnya, beberapa jenis jaringan saraf yang lebih kompleks benar-benar menentang kemampuan kita untuk mengelolanya dengan mudah. Kita dapat menciptakan kompleksitas yang praktis tanpa batas, tetapi kita sering melihat tantangan prediktabilitas dan skalabilitas tumbuh.
