Jaringan saraf berulang yang menyimpulkan struktur temporal global berdasarkan contoh lokal
Sciences

Jaringan saraf berulang yang menyimpulkan struktur temporal global berdasarkan contoh lokal


Setelah melatih RNN pada beberapa versi terjemahan dari penarik Lorenz, RNN menyimpan penarik sebagai memori dan dapat menerjemahkan representasi internal Lorenz dengan mengubah variabel konteks. Kredit: Kim et al.

Sebagian besar sistem komputer dirancang untuk menyimpan dan memanipulasi informasi, seperti dokumen, gambar, file audio, dan data lainnya. Sementara komputer konvensional diprogram untuk melakukan operasi tertentu pada data terstruktur, sistem yang terinspirasi oleh saraf yang muncul dapat belajar menyelesaikan tugas secara lebih adaptif, tanpa harus direkayasa untuk melakukan jenis operasi yang ditetapkan.

Para peneliti di University of Pennsylvania dan University of California baru-baru ini melatih jaringan saraf berulang (RNN) untuk menyesuaikan representasi informasi kompleks hanya berdasarkan contoh data lokal. Dalam sebuah makalah yang diterbitkan di Kecerdasan Mesin Alam, mereka memperkenalkan RNN ini dan menguraikan mekanisme pembelajaran utama yang mendasari fungsinya.

“Setiap hari, kami memanipulasi informasi tentang dunia untuk membuat prediksi,” Jason Kim, salah satu peneliti yang melakukan penelitian, mengatakan kepada TechXplore. “Berapa lama lagi saya bisa memasak pasta ini sebelum menjadi lembek? Berapa lama lagi saya bisa berangkat kerja sebelum jam sibuk? Representasi dan komputasi informasi seperti itu secara luas termasuk dalam kategori memori kerja. Sementara kita dapat memprogram komputer untuk membuat model tekstur pasta atau waktu perjalanan, tujuan utama kami adalah untuk memahami bagaimana jaringan saraf belajar membuat model dan membuat prediksi hanya dengan mengamati contoh. “

Kim, mentornya Danielle S. Bassett dan anggota tim lainnya menunjukkan bahwa dua mekanisme utama yang digunakan jaringan saraf untuk membuat prediksi adalah asosiasi dan konteks. Misalnya, jika mereka ingin mengajarkan RNN mereka untuk mengubah nada sebuah lagu, mereka memberinya lagu asli dan dua versi lainnya, satu dengan nada yang sedikit lebih tinggi dan yang lainnya dengan nada yang sedikit lebih rendah.

Untuk setiap pergeseran nada, para peneliti ‘membiaskan’ RNN dengan variabel konteks. Selanjutnya, mereka melatihnya untuk menyimpan lagu asli dan modifikasi ke dalam memori kerjanya. Ini memungkinkan RNN untuk mengasosiasikan operasi pemindahan nada dengan variabel konteks dan memanipulasi memorinya untuk mengubah nada lagu lebih jauh, hanya dengan mengubah variabel konteks.

“Ketika salah satu kolaborator kami, Zhixin Lu, memberi tahu kami tentang RNN yang dapat belajar menyimpan informasi dalam memori kerja, kami tahu tujuan kami sudah di depan mata,” kata Kim. “Secara teoritis, RNN berkembang maju dalam waktu sesuai dengan persamaan. Kami menurunkan persamaan yang mengkuantifikasi bagaimana perubahan kecil dalam variabel konteks menyebabkan perubahan kecil dalam lintasan RNN dan menanyakan kondisi apa yang perlu dipenuhi untuk perubahan kecil dalam lintasan RNN untuk menghasilkan perubahan representasi yang diinginkan.”

Jaringan saraf berulang yang menyimpulkan struktur temporal global berdasarkan contoh lokal

Setelah melatih RNN pada beberapa lintasan stabil dari sistem Lorenz, RNN belajar menyimpulkan bifurkasi dengan benar ke dalam struktur Lorenz global. Kredit: Kim dkk.

Kim dan rekannya mengamati bahwa ketika perbedaan antara contoh data pelatihan kecil (misalnya, perbedaan kecil / perubahan nada), RNN mereka menghubungkan perbedaan tersebut dengan variabel konteks. Khususnya, penelitian mereka juga mengidentifikasi mekanisme sederhana di mana jaringan saraf dapat mempelajari komputasi menggunakan memori kerja mereka.

“Contoh yang bagus sebenarnya terlihat dalam video populer tentang kucing yang mengintai,” jelas Kim. “Di sini, kamera secara berkala bergerak masuk dan keluar dari tampilan dan kucing yang direkam hanya beberapa inci lebih dekat saat kamera tidak terlihat dan tetap diam saat kamera dalam pandangan. Hanya dengan mengamati beberapa gerakan pertama, kami dapat memprediksi hasil akhirnya. : kucing proksimal. “

Sementara banyak penelitian sebelumnya menunjukkan bagaimana jaringan saraf memanipulasi keluaran mereka, pekerjaan oleh Kim dan rekan-rekannya adalah yang pertama mengidentifikasi mekanisme saraf sederhana di mana RNN memanipulasi ingatan mereka, sambil mempertahankannya bahkan saat tidak ada masukan.

“Penemuan kami yang paling menonjol adalah, RNN tidak hanya belajar untuk terus menerus memanipulasi informasi dalam memori kerja, tetapi mereka benar-benar membuat kesimpulan yang akurat tentang struktur global ketika hanya dilatih pada contoh yang sangat lokal,” kata Kim. “Ini seperti secara akurat memprediksi melodi yang berkembang dari Fantaisie Impromptu Chopin setelah hanya mendengar beberapa nada pertama.”

Makalah baru-baru ini oleh Kim dan rekan-rekannya memperkenalkan model kuantitatif dengan hipotesis memori kerja yang dapat dipalsukan yang juga dapat relevan di bidang ilmu saraf. Selain itu, ini menguraikan prinsip-prinsip desain yang dapat membantu pemahaman jaringan saraf yang biasanya dianggap sebagai kotak hitam (yaitu, yang tidak menjelaskan dengan jelas proses di balik prediksi mereka).

“Temuan kami juga menunjukkan bahwa, ketika dirancang dengan benar, jaringan saraf memiliki kekuatan luar biasa untuk secara akurat menggeneralisasi di luar contoh pelatihan mereka,” kata Kim. “Kami sekarang mengeksplorasi banyak arah penelitian menarik lainnya. Ini mulai dari mempelajari perubahan dalam representasi internal RNN selama pembelajaran hingga menggunakan variabel konteks untuk beralih di antara ingatan, hingga pemrograman komputasi di RNN tanpa pelatihan.”


SurvNet: Prosedur eliminasi mundur untuk meningkatkan pemilihan variabel untuk jaringan saraf dalam


Informasi lebih lanjut:
Jason Z. Kim et al, Mengajarkan jaringan saraf berulang untuk menyimpulkan struktur temporal global dari contoh lokal, Kecerdasan Mesin Alam (2021). DOI: 10.1038 / s42256-021-00321-2

© 2021 Sains X Jaringan

Kutipan: Jaringan saraf berulang yang menyimpulkan struktur temporal global berdasarkan contoh lokal (2021, 1 Juni) diambil 1 Juni 2021 dari https://techxplore.com/news/2021-06-recurrent-neural-network-infers-global. html

Dokumen ini tunduk pada hak cipta. Terlepas dari transaksi wajar apa pun untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize