Q:
Mengapa "kemacetan informasi" merupakan teori penting dalam pembelajaran yang mendalam?
SEBUAH:Gagasan "bottleneck informasi" dalam jaringan saraf tiruan (JST) beroperasi pada prinsip khusus yang terkait dengan difusi berbagai jenis pensinyalan. Ini dilihat sebagai alat praktis untuk memeriksa pertukaran yang membuat sistem kecerdasan buatan ini mengoptimalkan diri. Sebuah artikel Wired yang menggambarkan konsep bottleneck informasi yang disajikan oleh Tishby et. Al. berbicara tentang "menghilangkan data input berisik dari detail luar seolah-olah dengan memeras informasi melalui hambatan" dan "mempertahankan hanya fitur yang paling relevan dengan konsep umum."
Sebagai konsep yang relatif baru, gagasan bottleneck informasi dapat membantu meningkatkan dan mengubah cara kami menggunakan JST dan sistem terkait untuk memodelkan fungsi kognitif. Salah satu cara teori ini dapat membantu adalah dengan membantu kita untuk lebih memahami paradigma yang mendukung fungsi jaringan saraf. Misalnya, jika prinsip tersebut menggambarkan bagaimana hanya set fitur tertentu yang dipertahankan oleh sistem, kita mulai melihat bagaimana "diskriminasi data" ini membuat jaringan "kera" otak manusia, dan insinyur dapat menambahkannya ke dalam model jaringan saraf. Idenya di sini adalah bahwa, pada akhirnya, teknologi jaringan saraf akan menjadi lebih dari konsep "universal", bukan hanya provinsi dari segelintir orang istimewa. Saat ini, perusahaan sedang mencari bakat AI yang langka; teori-teori seperti teori bottleneck informasi dapat membantu menyebarkan pengetahuan tentang jaringan saraf kepada orang awam dan "pengguna menengah" - mereka yang mungkin bukan "ahli" tetapi dapat membantu dalam kemunculan dan penyebaran teknologi jaringan saraf.
Nilai penting lainnya dari kemacetan informasi adalah para insinyur dapat mulai melatih sistem untuk bekerja dengan cara yang lebih tepat. Memiliki beberapa pedoman tingkat atas untuk arsitektur sistem dapat merampingkan evolusi jenis teknologi ini, dan memiliki gagasan yang lebih jelas tentang prinsip-prinsip pembelajaran yang dalam sangat berharga di dunia IT.
Secara umum, pelopor yang bekerja pada AI akan terus melihat secara khusus bagaimana jaringan saraf bekerja, termasuk gagasan tentang "informasi yang relevan" dan bagaimana sistem membedakan untuk melakukan fungsi. Salah satu contohnya adalah dalam pemrosesan gambar atau ucapan, di mana sistem harus belajar mengidentifikasi banyak variasi sebagai "objek." Secara umum, kemacetan informasi menunjukkan pandangan tertentu tentang bagaimana jaringan saraf akan bekerja dengan objek-objek itu, dan khususnya bagaimana model data ini memproses informasi.
