Tim merampingkan jaringan saraf agar lebih mahir dalam komputasi pada data terenkripsi
Keamanan

Tim merampingkan jaringan saraf agar lebih mahir dalam komputasi pada data terenkripsi


Kredit: Pixabay/CC0 Domain Publik

Minggu ini, pada Konferensi Internasional ke-38 tentang Pembelajaran Mesin (ICML 21), para peneliti di Pusat Keamanan Siber NYU di Sekolah Teknik NYU Tandon mengungkapkan wawasan baru tentang fungsi dasar yang mendorong kemampuan jaringan saraf untuk membuat kesimpulan tentang data terenkripsi.

Dalam makalah, “DeepReDuce: ReLU Reduction for Fast Private Inference,” tim berfokus pada operator linier dan non-linear, fitur utama kerangka kerja jaringan saraf yang, tergantung pada operasinya, memperkenalkan banyak waktu dan sumber daya komputasi. Ketika jaringan saraf menghitung pada data terenkripsi, banyak dari biaya ini dikeluarkan oleh fungsi aktivasi linier yang diperbaiki (ReLU), operasi non-linier.

Brandon Reagen, profesor ilmu komputer dan teknik dan teknik listrik dan komputer dan tim kolaborator termasuk Nandan Kumar Jha, Ph.D. mahasiswa, dan Zahra Ghodsi, mantan mahasiswa doktoral di bawah bimbingan Siddharth Garg, mengembangkan kerangka kerja yang disebut DeepReDuce. Ini menawarkan solusi melalui penataan ulang dan pengurangan ReLU di jaringan saraf.

Reagen menjelaskan bahwa pergeseran ini memerlukan penilaian ulang mendasar tentang di mana dan berapa banyak komponen yang didistribusikan dalam sistem jaringan saraf.

“Apa yang kami coba lakukan adalah memikirkan kembali bagaimana jaring saraf dirancang sejak awal,” jelasnya. “Anda dapat melewatkan banyak waktu dan operasi ReLU yang mahal secara komputasi ini dan tetap mendapatkan jaringan berkinerja tinggi dengan waktu pengoperasian 2 hingga 4 kali lebih cepat.”

Tim menemukan bahwa, dibandingkan dengan inferensi pribadi canggih, DeepReDuce meningkatkan akurasi dan mengurangi jumlah ReLU masing-masing hingga 3,5% dan 3,5 ×.

Penyelidikan tidak hanya akademis. Ketika penggunaan AI tumbuh bersamaan dengan kekhawatiran tentang keamanan keamanan data pribadi, perusahaan, dan pemerintah, jaringan saraf semakin membuat perhitungan pada data terenkripsi. Dalam skenario seperti itu yang melibatkan jaringan saraf yang menghasilkan inferensi pribadi (PI) pada data tersembunyi tanpa mengungkapkan input, itu adalah fungsi non-linear yang menggunakan “biaya” tertinggi dalam waktu dan daya. Karena biaya ini meningkatkan kesulitan dan waktu yang dibutuhkan mesin pembelajaran untuk melakukan PI, para peneliti telah berjuang untuk meringankan beban yang diberikan ReLU pada perhitungan tersebut.

Pekerjaan tim dibangun di atas teknologi inovatif yang disebut CryptoNAS. Dijelaskan dalam makalah sebelumnya yang penulisnya termasuk Ghodsi dan Ph.D. siswa, Akshaj Veldanda, CryptoNAS mengoptimalkan penggunaan ReLU karena seseorang dapat mengatur ulang bagaimana bebatuan diatur dalam aliran untuk mengoptimalkan aliran air: ini menyeimbangkan kembali distribusi ReLUS dalam jaringan dan menghilangkan ReLU yang berlebihan.

DeepReDuce memperluas CryptoNAS dengan merampingkan proses lebih lanjut. Ini terdiri dari serangkaian optimasi untuk penghapusan ReLU yang bijaksana setelah fungsi reorganisasi CryptoNAS. Para peneliti menguji DeepReDuce dengan menggunakannya untuk menghapus ReLU dari jaringan klasik, menemukan bahwa mereka mampu secara signifikan mengurangi latensi inferensi sambil mempertahankan akurasi tinggi.

Reagan, dengan Mihalis Maniatakos, asisten peneliti profesor teknik listrik dan komputer, juga merupakan bagian dari kolaborasi dengan perusahaan keamanan data Duality untuk merancang microchip baru yang dirancang untuk menangani komputasi pada data yang dienkripsi sepenuhnya.


DeepONet: Model berbasis jaringan saraf dalam untuk memperkirakan operator linier dan nonlinier


Informasi lebih lanjut:
DeepReDuce: Pengurangan ReLU untuk Inferensi Pribadi Cepat, arXiv:2103.01396 [cs.LG] arxiv.org/abs/2103.01396

Disediakan oleh NYU Tandon School of Engineering

Kutipan: Tim merampingkan jaringan saraf agar lebih mahir dalam komputasi pada data terenkripsi (2021, 22 Juli) diambil 22 Juli 2021 dari https://techxplore.com/news/2021-07-team-neural-networks-adept-encrypted.html

Dokumen ini tunduk pada hak cipta. Terlepas dari transaksi wajar apa pun untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : SGP Prize