Algoritme CPU melatih jaringan saraf dalam hingga 15 kali lebih cepat daripada pelatih GPU teratas
Machine

Algoritme CPU melatih jaringan saraf dalam hingga 15 kali lebih cepat daripada pelatih GPU teratas


Anshumali Shrivastava adalah asisten profesor ilmu komputer di Universitas Rice. Kredit: Jeff Fitlow / Universitas Rice

Ilmuwan komputer Universitas Rice telah mendemonstrasikan perangkat lunak kecerdasan buatan (AI) yang berjalan pada prosesor komoditas dan melatih jaringan saraf dalam 15 kali lebih cepat daripada platform berbasis prosesor grafis.

“Biaya pelatihan adalah penghambat sebenarnya dalam AI,” kata Anshumali Shrivastava, asisten profesor ilmu komputer di Rice’s Brown School of Engineering. “Perusahaan menghabiskan jutaan dolar seminggu hanya untuk melatih dan menyesuaikan beban kerja AI mereka.”

Shrivastava dan kolaborator dari Rice dan Intel akan mempresentasikan penelitian yang membahas kemacetan itu pada 8 April di konferensi sistem pembelajaran mesin MLSys.

Jaringan saraf dalam (DNN) adalah bentuk kecerdasan buatan yang kuat yang dapat mengungguli manusia dalam beberapa tugas. Pelatihan DNN biasanya merupakan rangkaian operasi perkalian matriks, beban kerja yang ideal untuk unit pemrosesan grafis (GPU), yang biayanya sekitar tiga kali lebih banyak daripada unit pemrosesan pusat (CPU) tujuan umum.

“Seluruh industri terpaku pada satu jenis perbaikan — penggandaan matriks yang lebih cepat,” kata Shrivastava. “Semua orang melihat perangkat keras dan arsitektur khusus untuk mendorong perkalian matriks. Orang-orang sekarang bahkan berbicara tentang memiliki tumpukan perangkat keras-perangkat lunak khusus untuk jenis pembelajaran mendalam tertentu. Daripada menggunakan algoritme yang mahal dan membuang seluruh dunia pengoptimalan sistem padanya, Saya berkata, ‘Mari kita lihat kembali algoritmanya.’ “

Lab Shrivastava melakukannya pada tahun 2019, menyusun kembali pelatihan DNN sebagai masalah penelusuran yang dapat diselesaikan dengan tabel hash. “Mesin pembelajaran dalam sub-linier” (SLIDE) mereka dirancang khusus untuk dijalankan pada CPU komoditas, dan Shrivastava serta kolaborator dari Intel menunjukkan bahwa mesin tersebut dapat mengungguli pelatihan berbasis GPU ketika mereka meluncurkannya di MLSys 2020.

Studi yang akan mereka sajikan minggu ini di MLSys 2021 mengeksplorasi apakah kinerja SLIDE dapat ditingkatkan dengan vektorisasi dan akselerator pengoptimalan memori di CPU modern.

“Akselerasi berbasis tabel hash sudah mengungguli GPU, tetapi CPU juga berkembang,” kata rekan penulis studi Shabnam Daghaghi, seorang mahasiswa pascasarjana Rice. “Kami memanfaatkan inovasi tersebut untuk membawa SLIDE lebih jauh, menunjukkan bahwa jika Anda tidak terpaku pada perkalian matriks, Anda dapat memanfaatkan daya dalam CPU modern dan melatih model AI empat hingga 15 kali lebih cepat daripada alternatif perangkat keras khusus terbaik.”

Rekan penulis studi Nicholas Meisburger, seorang sarjana Rice, mengatakan “CPU masih merupakan perangkat keras yang paling umum dalam komputasi. Manfaat membuatnya lebih menarik untuk beban kerja AI tidak dapat diremehkan.”


Pemikiran ulang pembelajaran mendalam mengatasi kendala utama dalam industri AI


Disediakan oleh Universitas Rice

Kutipan: Algoritme CPU melatih jaringan saraf dalam hingga 15 kali lebih cepat daripada pelatih GPU teratas (2021, 7 April), diambil pada 7 April 2021 dari https://techxplore.com/news/2021-04-rice-intel-optimize-ai-omodity .html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Result SGP