Arsitektur berbasis jaringan saraf tiruan yang ditambah memori
Ai

Arsitektur berbasis jaringan saraf tiruan yang ditambah memori


Arsitektur NHC. Kredit: Tanneberg, Rueckert & Peters

Selama dekade terakhir ini, para peneliti telah mengembangkan berbagai model komputasi berdasarkan jaringan saraf tiruan (JST). Sementara banyak dari model ini telah ditemukan untuk bekerja dengan baik pada tugas tertentu, mereka tidak selalu dapat mengidentifikasi strategi iteratif, sekuensial atau algoritmik yang dapat diterapkan pada masalah baru.

Penelitian sebelumnya menemukan bahwa penambahan komponen memori eksternal dapat meningkatkan kemampuan jaringan saraf untuk memperoleh strategi ini. Bahkan dengan memori eksternal, bagaimanapun, mereka tetap rentan terhadap kesalahan, sensitif terhadap perubahan dalam data yang disajikan kepada mereka dan membutuhkan data pelatihan dalam jumlah besar untuk bekerja dengan baik.

Para peneliti di Technische Universität Darmstadt baru-baru ini memperkenalkan arsitektur berbasis JST dengan penambahan memori yang dapat mempelajari strategi abstrak untuk memecahkan masalah. Arsitektur ini, disajikan dalam makalah yang diterbitkan di Kecerdasan Mesin Alam, memisahkan penghitungan algoritmik dari manipulasi yang bergantung pada data, membagi aliran informasi yang diproses oleh algoritme menjadi dua ‘aliran’ yang berbeda.

“Memperluas jaringan saraf dengan memori eksternal telah meningkatkan kapasitas mereka untuk mempelajari strategi semacam itu, tetapi mereka masih rentan terhadap variasi data, berjuang untuk mempelajari solusi yang dapat diskalakan dan dipindahtangankan, dan membutuhkan data pelatihan yang masif,” tulis para peneliti dalam makalah mereka. “Kami mempersembahkan komputer neural Harvard, arsitektur berbasis jaringan yang ditambah memori yang menggunakan abstraksi dengan memisahkan operasi algoritmik dari manipulasi data, yang diwujudkan dengan memisahkan aliran informasi dan modul yang terpisah.”

Komputer neural Harvard atau NHC, membagi aliran informasi yang diumpankan ke suatu algoritme menjadi dua aliran yang berbeda, yaitu aliran data (berisi manipulasi khusus data) dan aliran kontrol (berisi operasi algoritmik). Hal ini pada akhirnya memungkinkannya untuk membedakan antara modul yang terkait dengan data dan modul algoritmik, menciptakan dua memori yang terpisah dan belum digabungkan.

NHC memiliki tiga modul algoritmik utama, yang disebut sebagai pengontrol, memori, dan bus. Ketiga komponen ini memiliki fungsi yang berbeda tetapi berinteraksi satu sama lain untuk memperoleh abstraksi yang dapat diterapkan pada tugas-tugas mendatang.

“Mekanisme abstraksi dan pelatihan evolusioner ini memungkinkan pembelajaran solusi algoritmik yang kuat dan dapat diskalakan,” para peneliti menjelaskan dalam makalah mereka.

Tim di Technische Universität Darmstadt mengevaluasi NHC dengan menggunakannya untuk melatih dan menjalankan 11 algoritme berbeda. Mereka kemudian menguji kinerja algoritme ini, bersama dengan kemampuan generalisasi dan abstraksinya. Para peneliti menemukan bahwa NHC dapat dengan andal menjalankan semua 11 algoritme, sementara juga memungkinkan mereka untuk bekerja dengan baik pada tugas-tugas yang lebih kompleks daripada yang semula mereka latih untuk diselesaikan.

“Pada rangkaian 11 algoritme yang beragam dengan kompleksitas yang berbeda-beda, kami menunjukkan bahwa NHC andal mempelajari solusi algoritmik dengan generalisasi dan abstraksi yang kuat, mencapai generalisasi dan penskalaan yang sempurna untuk konfigurasi dan kompleksitas tugas yang berubah-ubah jauh melampaui yang terlihat selama pelatihan, dan tidak bergantung pada data representasi dan domain tugas, “tulis para peneliti dalam makalah mereka.

Studi terbaru yang dilakukan oleh tim peneliti ini mengonfirmasi potensi penggunaan komponen memori eksternal untuk meningkatkan kinerja dan generalisasi arsitektur berbasis jaringan saraf di seluruh tugas dengan berbagai kompleksitas. Di masa depan, arsitektur NHC dapat digunakan untuk menggabungkan dan meningkatkan kemampuan JST yang berbeda, membantu pengembangan model yang dapat mengidentifikasi strategi yang berguna untuk membuat prediksi yang akurat berdasarkan data baru.


Insinyur menawarkan ide cerdas dan tepat waktu untuk mengatasi hambatan AI


Informasi lebih lanjut:
Pelatihan evolusioner dan abstraksi menghasilkan generalisasi algoritmik komputer saraf. Kecerdasan Mesin Alam(2020). DOI: 10.1038 / s42256-020-00255-1.

© 2020 Science X Network

Kutipan: Arsitektur berbasis jaringan saraf tiruan yang ditingkatkan dengan memori (2020, 16 Desember) diambil pada 16 Desember 2020 dari https://techxplore.com/news/2020-12-memory-augmented-artificial-neural-network-based-architecture .html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Toto SGP