Framework pembelajaran mesin yang memanfaatkan variabilitas memristor untuk mengimplementasikan pengambilan sampel rantai Markov Monte Carlo
Machine

Framework pembelajaran mesin yang memanfaatkan variabilitas memristor untuk mengimplementasikan pengambilan sampel rantai Markov Monte Carlo


Penampang melintang dari salah satu wafer yang digunakan para peneliti dalam eksperimen mereka. Semua persegi panjang hitam di antara transistor (bawah) dan memristor (atas) adalah empat lapisan logam. Dalam chip peneliti, lapisan ini digunakan untuk menghubungkan sirkuit yang terdiri dari transistor CMOS dan memristor. Di bagian bawah, orang dapat melihat saluran pembuangan dan sumber transistor. Kredit: Dalgaty et al.

Memristor, atau perangkat memori resistif (RRAM) adalah komponen elektronik berukuran nanometer yang dapat berfungsi sebagai memori untuk komputer portabel dan perangkat lain. Ketika mereka diatur dalam struktur palang, ingatan kecil ini dapat digunakan untuk melakukan perkalian matriks dengan kebutuhan energi yang rendah.

Perkalian matriks mendukung pengoperasian semua model berbasis jaringan saraf tiruan. Faktanya, ketika model ini beroperasi, data masukan dikalikan dengan “matriks bobot” mereka.

Ketika sebuah memristor diprogram, keadaan yang dihasilkannya (yaitu resistansi atau konduktansinya) ditentukan oleh organisasi acak sejumlah atom di dalam perangkat, yang menghubungkan dua elektroda. Artinya, status ini tidak dapat dikontrol secara langsung, yang secara signifikan membatasi potensi memristor untuk menjalankan jaringan saraf tiruan.

Selama beberapa tahun terakhir, para insinyur telah mencoba menggunakan serangkaian memristor (yaitu, array memristor) untuk memungkinkan model pembelajaran mesin belajar “dalam memori”. Namun, kurangnya kontrol atas status mereka dan variabilitas yang dihasilkan dalam operasi mereka membuat hal ini sangat sulit.

Para peneliti di CEA-Leti dan Université Paris-Saclay-CNRS di Prancis baru-baru ini mengembangkan skema pembelajaran mesin baru yang memanfaatkan variabilitas di negara bagian memristor untuk menerapkan teknik pengambilan sampel Markov chain Monte Carlo (MCMC). Ini adalah kelas algoritma pembelajaran mesin Bayesian yang dapat memperoleh sampel dari distribusi data yang diinginkan dengan membangun apa yang dikenal sebagai rantai Markov (yaitu, model yang mewakili urutan kemungkinan peristiwa).

“Banyak penelitian dan rekayasa perangkat telah dilakukan untuk membuat para anggota menjadi lebih deterministik selama beberapa dekade terakhir, tetapi mereka tetap cukup acak dan ‘tidak ideal’,” kata Thomas Dalgaty, salah satu peneliti yang melakukan penelitian tersebut, kepada TechXplore. “Apa yang memotivasi kami (dan saya yakin banyak kelompok penelitian lain yang bekerja dengan para anggota) adalah untuk mengidentifikasi cara memanfaatkan keacakan perangkat intrinsik ini alih-alih melawannya. Kembali pada awal 2019, kami akhirnya menyadari bahwa cara yang baik untuk melakukan ini mungkin menjadi dengan beralih ke kerangka kerja pembelajaran mesin Bayesian. “

Pendekatan pembelajaran mesin Bayesian memanfaatkan “variabel acak” secara ekstensif. Karena seorang memristor memiliki variabilitas yang tinggi secara intrinsik, Dalgaty dan rekan-rekannya menyadari bahwa itu dapat dianggap sebagai variabel acak. Dengan demikian mereka mencoba untuk mengeksploitasi “keacakan” implisit dari anggota untuk mengimplementasikan algoritma MCMC.

“Memristor diprogram oleh perangkat ‘bersepeda’ antara status ‘1’ / ON (konduktansi tinggi) dan status ‘0’ / OFF (konduktansi rendah),” jelas Dalgaty. “Jika kita dalam keadaan ON dan kita mengalihkan perangkat ke keadaan OFF dan kemudian kembali ke keadaan ON, konduktansi perangkat yang diukur dalam keadaan ON pertama dan kedua akan berbeda — ini karena proses acak intrinsik yang mengatur fisika switching. “

Jika perangkat RRAM DIAKTIFKAN ke OFF beberapa kali, dengan mengukur konduktansi status ON yang dihasilkan, keacakan ini telah dicatat mengikuti pola “siklus-ke-siklus” yang dapat diprediksi. Lebih khusus lagi, “keacakan” atau variabilitas ini mengikuti hukum normal yang terkenal (yaitu, kurva lonceng), yang berlaku untuk berbagai algoritme, termasuk teknik pengambilan sampel MCMC.

Framework pembelajaran mesin yang memanfaatkan variabilitas memristor untuk mengimplementasikan pengambilan sampel rantai Markov Monte Carlo

Gambar pemindaian mikroskop elektron dari memristor hafnium-oksida, berukuran kira-kira seratus nanometer, setelah pengendapannya selama proses fabrikasi. Kredit: Dalgaty et al.

“Alih-alih menerapkan MCMC pada apa yang disebut komputer digital ‘von Neumann’, yang membutuhkan banyak energi untuk memindahkan bit antara memori dan sirkuit pemrosesan pada sebuah chip, kita dapat menerapkan pulsa tegangan pada sejumlah besar memristor dan membiarkan fisika melakukan pekerjaan untuk kami, “kata Dalgaty. “Aspek yang benar-benar menarik dari hal ini adalah bahwa kami tidak hanya dapat menyimpan informasi di dalam memristor, tetapi kami juga dapat menghitung menggunakan mereka, sehingga penyimpanan dan komputasi berlangsung di lokasi fisik yang sama persis.”

Untuk melakukan eksperimen mereka, para peneliti menggunakan chip memristor yang dibuat di CEA-Leti, sebuah organisasi penelitian yang didanai oleh pemerintah Prancis. Hebatnya, mereka berhasil memanfaatkan chip ini untuk menerapkan algoritme memristor-MCMC yang dilatih untuk menyelesaikan berbagai tugas di lingkungan laboratorium.

Dalgaty dan rekan-rekannya termasuk yang pertama memperkenalkan strategi yang efektif untuk mengimplementasikan algoritma pembelajaran mesin dalam memori dengan memristor. Pendekatan mereka membutuhkan lebih sedikit energi daripada teknik lain berdasarkan komputer digital berbasis von Neumann (yaitu, model untuk merancang komputer digital program tersimpan).

Faktanya, implementasi berdasarkan arsitektur von Neumann sering menghabiskan banyak energi hanya untuk mengangkut bit dari memori komputer ke prosesornya dan sebaliknya. Karena kebutuhan energinya yang tinggi, saat menggunakan strategi ini, teknik pembelajaran mesin umumnya perlu dijalankan di cloud, bukan di perangkat edge.

“Kami melaporkan lima urutan pengurangan energi berkenaan dengan implementasi von Neumann dari pengambilan sampel MCMC — untuk konteksnya, itu adalah perbedaan ketinggian antara Burj Khalifa (gedung tertinggi di dunia) dan koin,” jelas Dalgaty. “Karena pengurangan besar-besaran dalam energi yang dibutuhkan untuk melakukan pembelajaran mesin, kami pikir ‘memristor-MCMC’ ini dapat membantu membawa pembelajaran mesin ke edge. Hingga saat ini kami tidak dapat menangani aplikasi edge tertentu berdasarkan pembelajaran lokal yang mungkin tidak ‘ t / belum bisa ada, karena kendala energi. “

Untuk mendemonstrasikan potensi pendekatan mereka, Dalgaty dan rekan-rekannya menggunakan memristor-MCMC untuk menyelesaikan tugas yang memerlukan deteksi cacat jantung dengan menganalisis rekaman elektro-kardiogram pasien. Teknik seperti itu pada akhirnya dapat digunakan untuk memantau kesehatan setiap pasien dan mencegah atau memprediksi terjadinya serangan jantung, cukup dengan merekam dan kemudian menganalisis data yang dikumpulkan oleh perangkat yang dikenakan atau ditanamkan di dekat jantung pasien.

“Dalam makalah kami baru-baru ini, kami mempresentasikan pendekatan kami menggunakan pengaturan gaya ‘computer-in-the-loop’ eksperimental,” kata Dalgaty. “Ini berarti bahwa kami memiliki komputer, yang terhubung melalui stasiun probing wafer yang menghubungi (dengan jarum kecil) sirkuit memristor yang dirancang dan dibuat di CEA-Leti. Untuk mengimplementasikan algoritme kami, kami menulis beberapa program komputer yang menghasilkan sinyal pemrograman yang dikirim melalui jarum dan ke sirkuit kita. “

Dalam studi mereka selanjutnya, para peneliti akan mencoba merancang sirkuit terintegrasi (IC) yang menggabungkan semua fungsi yang mereka amati menjadi satu chip, yang dapat dikomersialkan dan digunakan di luar pengaturan laboratorium. Secara keseluruhan, merancang, membuat, dan menguji chip memristor-MCMC ini mungkin membutuhkan waktu beberapa tahun.

Sementara itu, Dalgaty dan koleganya berencana untuk mengeksplorasi pendekatan alternatif yang dapat memungkinkan penerapan strategi pembelajaran mesin di perangkat edge. Dalam makalah mereka, para peneliti menerapkan memristor MCMC untuk tugas pembelajaran penguatan.

“Dibandingkan dengan pembelajaran mesin ‘diawasi’ (yang membutuhkan kumpulan data contoh di mana setiap contoh telah diberi label dengan keluaran atau kelas yang diinginkan), pembelajaran penguatan tidak menggunakan kumpulan data berlabel dan belajar langsung dari interaksi dengan lingkungan,” kata Dalgaty . “Ini lebih mencerminkan realitas pembelajaran lokal edge, di mana tidak mungkin untuk memiliki akses ke set data yang telah diberi label sebelumnya. Oleh karena itu, arah penting lain di masa depan adalah untuk memahami bagaimana pendekatan kami dapat diterapkan dengan baik dalam pengaturan pembelajaran edge, menyelidiki tidak hanya pembelajaran penguatan seperti di makalah, tetapi juga teknik lain seperti pembelajaran mesin ‘tanpa pengawasan’ dan ‘diawasi sendiri’. ”


Komputer memristor pertama yang dapat diprogram bertujuan untuk menurunkan pemrosesan AI dari awan


Informasi lebih lanjut:
Pembelajaran in situ menggunakan variabilitas memristor intrinsik melalui pengambilan sampel rantai Markov Monte Carlo. Nature Electronics(2021). DOI: 10.1038 / s41928-020-00523-3.

© 2021 Science X Network

Kutipan: Kerangka kerja pembelajaran mesin yang mengeksploitasi variabilitas memristor untuk mengimplementasikan pengambilan sampel rantai Markov Monte Carlo (2021, 9 Februari) diambil 9 Februari 2021 dari https://techxplore.com/news/2021-02-machine-framework-exploits-memristor-variability .html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Result SGP