Pembelajaran mesin dengan kecepatan tinggi dengan agregasi dalam jaringan
Machine

Pembelajaran mesin dengan kecepatan tinggi dengan agregasi dalam jaringan


Teknologi yang dikembangkan melalui kolaborasi yang dipimpin KAUST dengan Intel, Microsoft, dan Universitas Washington dapat secara dramatis meningkatkan kecepatan pembelajaran mesin pada sistem komputasi paralel. Kredit: KAUST; Anastasia Serin

Memasukkan kode pengoptimalan ringan di perangkat jaringan berkecepatan tinggi telah memungkinkan kolaborasi yang dipimpin KAUST untuk meningkatkan kecepatan pembelajaran mesin pada sistem komputasi paralel lima kali lipat.

Teknologi “agregasi dalam jaringan” ini, yang dikembangkan bersama para peneliti dan arsitek sistem di Intel, Microsoft, dan Universitas Washington, dapat memberikan peningkatan kecepatan yang dramatis menggunakan perangkat keras jaringan yang dapat diprogram dan tersedia.

Manfaat mendasar dari kecerdasan buatan (AI) yang memberinya begitu banyak kekuatan untuk “memahami” dan berinteraksi dengan dunia adalah langkah pembelajaran mesin, di mana model dilatih menggunakan kumpulan besar data pelatihan berlabel. Semakin banyak data yang melatih AI, semakin baik kemungkinan performa model saat terpapar input baru.

Ledakan aplikasi AI baru-baru ini sebagian besar disebabkan oleh pembelajaran mesin yang lebih baik dan penggunaan model yang lebih besar serta kumpulan data yang lebih beragam. Namun, melakukan komputasi pembelajaran mesin adalah tugas yang sangat melelahkan yang semakin bergantung pada array besar komputer yang menjalankan algoritme pembelajaran secara paralel.

“Cara melatih model pembelajaran mendalam dalam skala besar adalah masalah yang sangat menantang,” kata Marco Canini dari tim peneliti KAUST. “Model AI dapat terdiri dari miliaran parameter, dan kami dapat menggunakan ratusan prosesor yang perlu bekerja secara efisien secara paralel. Dalam sistem seperti itu, komunikasi di antara prosesor selama pembaruan model inkremental dengan mudah menjadi penghambat performa utama.”

Tim menemukan solusi potensial dalam teknologi jaringan baru yang dikembangkan oleh Barefoot Networks, sebuah divisi dari Intel.

“Kami menggunakan perangkat keras jaringan pesawat data baru yang dapat diprogram Barefoot Networks untuk memindahkan sebagian pekerjaan yang dilakukan selama pelatihan pembelajaran mesin terdistribusi,” jelas Amedeo Sapio, seorang alumni KAUST yang telah bergabung dengan tim Barefoot Networks di Intel. “Menggunakan perangkat keras jaringan baru yang dapat diprogram ini, bukan hanya jaringan, untuk memindahkan data berarti kami dapat melakukan komputasi di sepanjang jalur jaringan.”

Inovasi utama platform SwitchML tim adalah memungkinkan perangkat keras jaringan melakukan tugas agregasi data di setiap langkah sinkronisasi selama fase pembaruan model dari proses pembelajaran mesin. Tidak hanya membongkar bagian dari beban komputasi ini, tetapi juga secara signifikan mengurangi jumlah transmisi data.

“Meskipun pesawat data sakelar yang dapat diprogram dapat melakukan operasi dengan sangat cepat, operasi yang dapat dilakukannya terbatas,” kata Canini. “Jadi, solusi kami harus cukup sederhana untuk perangkat keras namun cukup fleksibel untuk mengatasi tantangan seperti kapasitas memori onboard yang terbatas. SwitchML mengatasi tantangan ini dengan merancang bersama jaringan komunikasi dan algoritme pelatihan terdistribusi, mencapai akselerasi hingga 5,5 kali dibandingkan dengan pendekatan mutakhir. ”


Algoritme CPU melatih jaringan saraf dalam hingga 15 kali lebih cepat daripada pelatih GPU teratas


Informasi lebih lanjut:
Penskalaan Pembelajaran Mesin Terdistribusi dengan Agregasi Dalam Jaringan. arxiv.org/abs/1903.06701 arXiv: 1903.06701v2 [cs.DC]

Disediakan oleh Universitas Sains dan Teknologi Raja Abdullah

Kutipan: Pembelajaran mesin dengan kecepatan dengan agregasi dalam jaringan (2021, 12 April) diambil 12 April 2021 dari https://techxplore.com/news/2021-04-machine-in-network-aggregation.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Result SGP