Jaringan neural binariasi menjanjikan pembelajaran mesin yang cepat dan akurat
Sciences

Jaringan neural binariasi menjanjikan pembelajaran mesin yang cepat dan akurat


Menghapus bit dan potongan di sepanjang cabang pengkodean dalam algoritma pembelajaran mesin dapat mengurangi kompleksitas dalam pohon keputusan dan meningkatkan kinerja prediktif. Kredit: Nathan Johnson | Laboratorium Nasional Pacific Northwest

Seperti yang diketahui siapa pun yang memiliki jempol hijau, pemangkasan dapat meningkatkan pertumbuhan vegetasi. Sebuah snip disini, sebuah snip disana, dan pertumbuhan dapat dikontrol dan diarahkan untuk sebuah tanaman yang lebih kuat.

Prinsip yang sama dapat diterapkan pada algoritme pembelajaran mesin. Menghapus bit dan potongan sepanjang cabang pengkodean dalam algoritma tersebut dapat mengurangi kompleksitas dalam pohon keputusan dan meningkatkan kinerja prediksi.

Para peneliti di Laboratorium Nasional Pasifik Barat Laut (PNNL) Departemen Energi AS telah melakukan hal itu. Menjelajahi dengan jaringan neural binarisasi (BNN), mereka menggunakan prinsip pemangkasan untuk secara signifikan mengurangi kompleksitas komputasi dan kebutuhan memori. BNN adalah sepupu dekat dengan jaringan neural dalam, yang membutuhkan komputasi dalam jumlah besar. Tetapi BNN berbeda secara signifikan: mereka menggunakan bit tunggal untuk menyandikan setiap neuron dan parameter, menggunakan energi dan daya yang jauh lebih sedikit untuk komputasi.

Pemangkasan untuk pertumbuhan yang lebih cepat

Peneliti mengenali nilai potensial dari BNN untuk pembelajaran mesin mulai sekitar 2016. Jika dibangun — atau dipangkas — dengan cara yang benar, mereka mengonsumsi lebih sedikit energi komputasi dan hampir seakurat jaringan neural dalam. Itu berarti BNN memiliki lebih banyak potensi untuk mendapatkan manfaat dari lingkungan yang terbatas sumber daya, seperti ponsel, perangkat pintar, dan seluruh ekosistem Internet of Things.

Di sinilah pemangkasan berperan. Karena penelitian jaringan saraf telah berkembang dalam beberapa tahun terakhir, pemangkasan semakin diminati di kalangan peneliti komputasi.

“Pemangkasan saat ini menjadi topik hangat dalam pembelajaran mesin,” kata ilmuwan komputer PNNL Ang Li. “Kami dapat menambahkan pengkodean perangkat lunak dan arsitektur untuk mendorong pemangkasan ke arah yang akan memiliki lebih banyak manfaat bagi kinerja perangkat komputasi. Manfaat ini termasuk kebutuhan energi yang lebih rendah dan biaya komputasi yang lebih rendah.”

Studi menunjukkan janji jaringan neural binari untuk aplikasi pembelajaran mesin yang cepat dan akurat

Karena penelitian jaringan saraf telah berkembang dalam beberapa tahun terakhir, pemangkasan telah mendapatkan lebih banyak minat di kalangan peneliti komputasi, menurut ilmuwan komputer PNNL Ang Li. Kredit: Andrea Starr | Laboratorium Nasional Pacific Northwest

Pemangkasan untuk presisi

Li termasuk di antara sekelompok peneliti PNNL yang baru-baru ini menerbitkan hasil di Institute of Electrical and Electronics Engineers Transactions on Parallel and Distributed Systems yang menunjukkan manfaat pemangkasan selektif. Penelitian menunjukkan bahwa pemangkasan bit yang berlebihan dari arsitektur BNN menghasilkan BNN out-of-order yang dibuat khusus, yang disebut O3BNN-R. Pekerjaan mereka menunjukkan model BNN yang sangat padat — yang sudah dapat menampilkan kualitas superkomputer berkinerja tinggi — dapat disusutkan secara signifikan tanpa kehilangan akurasi.

“Jaringan saraf binari memiliki potensi untuk membuat waktu pemrosesan jaringan saraf sekitar mikrodetik,” kata Tong “Tony” Geng, kandidat doktor Universitas Boston yang, sebagai magang PNNL, membantu Li dalam proyek O3BNN-R.

“Penelitian BNN mengarah ke arah yang menjanjikan untuk membuat jaringan saraf benar-benar berguna dan siap diadopsi di dunia nyata,” kata Geng, yang akan bergabung kembali dengan staf PNNL pada bulan Januari sebagai peneliti pascadoktoral. “Temuan kami merupakan langkah penting untuk mewujudkan potensi ini.”

Penelitian mereka menunjukkan BNN yang rusak ini dapat memangkas, rata-rata, 30 persen operasi tanpa kehilangan akurasi. Dengan lebih banyak penyetelan — dalam langkah yang disebut “regularisasi saat pelatihan” —performa dapat ditingkatkan dengan tambahan 15 persen.

Pemangkasan untuk mendapatkan kekuasaan

Selain kontribusi BNN yang tidak teratur ini ke Internet of Things, Li juga menunjukkan potensi manfaat untuk jaringan energi. Penerapan BNN yang dimodifikasi juga dapat memberikan dorongan pada perangkat lunak yang ada yang melindungi dari serangan siber saat digunakan di jaringan listrik dengan membantu sensor yang ada mendeteksi dan menanggapi serangan, kata Li.

“Pada dasarnya,” kata Li, “kami mempercepat kecepatan pemrosesan dalam perangkat keras.”


Metode untuk pemodelan konsumsi daya jaringan saraf dapat membantu menjadikan sistem portabel


Informasi lebih lanjut:
Tong Geng dkk. O3BNN-R: Arsitektur Rusak untuk Inferensi BNN Berkinerja Tinggi dan Teratur, Transaksi IEEE pada Sistem Paralel dan Terdistribusi (2020). DOI: 10.1109 / TPDS.2020.3013637

Disediakan oleh Laboratorium Nasional Pacific Northwest

Kutipan: Jaringan neural binariasi menjanjikan pembelajaran mesin yang cepat dan akurat (2020, 24 November), diakses pada 27 November 2020 dari https://techxplore.com/news/2020-11-binarized-neural-networks-fast-accurate.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize