Dapatkah pembelajaran federasi hemat energi menyelamatkan dunia?
Ai

Dapatkah pembelajaran federasi hemat energi menyelamatkan dunia?


Kredit: CC0

Melatih model kecerdasan buatan yang mendukung mesin telusur web, memberi daya pada asisten pintar, dan memungkinkan mobil tanpa pengemudi mengonsumsi energi megawatt dan menghasilkan emisi karbon dioksida yang mengkhawatirkan. Namun cara baru untuk melatih model ini terbukti lebih ramah lingkungan.

Model kecerdasan buatan semakin banyak digunakan di dunia saat ini. Banyak yang melakukan tugas pemrosesan bahasa alami — seperti terjemahan bahasa, teks prediktif, dan filter spam email. Mereka juga digunakan untuk memberdayakan asisten pintar seperti Siri dan Alexa untuk “berbicara” dengan kami, dan untuk mengoperasikan mobil tanpa pengemudi.

Namun agar berfungsi dengan baik, model ini harus dilatih pada kumpulan data yang besar, sebuah proses yang mencakup pelaksanaan banyak operasi matematika untuk setiap bagian data yang mereka masukkan. Dan kumpulan data tempat mereka dilatih semakin besar: Satu model pemrosesan bahasa alami baru-baru ini dilatih pada kumpulan data yang terdiri dari 40 miliar kata.

Alhasil, energi yang dikonsumsi proses latihan pun melonjak. Sebagian besar model AI dilatih pada perangkat keras khusus di pusat data besar. Menurut makalah terbaru di jurnal Ilmu, jumlah total energi yang dikonsumsi oleh pusat data mencapai sekitar 1% dari penggunaan energi global selama dekade terakhir — setara dengan sekitar 18 juta rumah di AS. Dan pada 2019, sekelompok peneliti di University of Massachusetts memperkirakan bahwa melatih satu model AI besar yang digunakan dalam pemrosesan bahasa alami dapat menghasilkan sekitar jumlah CO yang sama.2 emisi yang dihasilkan lima mobil selama total masa pakai mereka.

Prihatin dengan hal ini, para peneliti di University of Cambridge mulai menyelidiki pendekatan yang lebih hemat energi untuk melatih model AI. Bekerja dengan kolaborator di Universitas Oxford, Universitas College London, dan Universitas Avignon, mereka mengeksplorasi dampak lingkungan dari bentuk pelatihan yang berbeda — disebut pembelajaran federasi — dan menemukan bahwa hal itu memiliki dampak yang lebih ramah lingkungan secara signifikan. Alih-alih melatih model di pusat data, pembelajaran federasi melibatkan model pelatihan di sejumlah besar mesin individual. Para peneliti menemukan bahwa hal ini dapat menghasilkan emisi karbon yang lebih rendah daripada pembelajaran tradisional.

Dosen Senior Dr. Nic Lane menjelaskan cara kerjanya saat pelatihan dilakukan tidak di dalam pusat data besar tetapi di lebih dari ribuan perangkat seluler — seperti ponsel cerdas — tempat data biasanya dikumpulkan oleh pengguna telepon itu sendiri.

“Contoh aplikasi yang saat ini menggunakan pembelajaran federasi adalah prediksi kata berikutnya di ponsel,” katanya. “Setiap ponsel cerdas melatih model lokal untuk memprediksi kata mana yang akan diketik pengguna selanjutnya, berdasarkan pesan teks mereka sebelumnya. Setelah dilatih, model lokal ini kemudian dikirim ke server. Di sana, mereka digabungkan menjadi model akhir yang kemudian akan dikirim kembali ke semua pengguna. “

Dan metode ini memiliki manfaat privasi yang penting serta manfaat lingkungan, kata Dr. Pedro Porto Buarque De Gusmao, seorang peneliti pascadoktoral yang bekerja dengan Dr. Lane.

“Pengguna mungkin tidak ingin membagikan konten teks mereka dengan pihak ketiga,” jelasnya. “Dalam pembelajaran federasi, kami dapat menyimpan data secara lokal dan menggunakan kekuatan kolektif dari jutaan perangkat seluler bersama-sama untuk melatih model AI tanpa perlu data mentah pengguna meninggalkan ponsel.”

“Dan selain keuntungan yang terkait dengan privasi ini,” kata Dr. Lane, “dalam penelitian terbaru kami, kami telah menunjukkan bahwa pembelajaran federasi juga dapat berdampak positif dalam mengurangi emisi karbon.

“Meskipun ponsel cerdas memiliki daya pemrosesan yang jauh lebih sedikit daripada akselerator perangkat keras yang digunakan di pusat data, ponsel cerdas tidak memerlukan daya pendinginan sebanyak akselerator. Itulah manfaat dari mendistribusikan pelatihan model di berbagai kumpulan perangkat.”

Para peneliti baru-baru ini ikut menulis makalah tentang ini yang berjudul “Dapatkah Pembelajaran Federasi menyelamatkan planet?” dan akan mendiskusikan temuan mereka pada konferensi penelitian internasional, Flower Summit 2021, pada 11 Mei.

Dalam makalahnya, mereka menawarkan studi sistematis pertama tentang jejak karbon pembelajaran federasi. Mereka mengukur jejak karbon dari penyiapan pembelajaran federasi dengan melatih dua model — satu dalam klasifikasi gambar, yang lain dalam pengenalan ucapan — menggunakan server dan dua chipset yang populer di perangkat sederhana yang ditargetkan dengan metode federasi. Mereka mencatat konsumsi energi selama pelatihan, dan bagaimana hal itu dapat bervariasi bergantung pada lokasi chipset dan server di dunia.

Mereka menemukan bahwa terdapat perbedaan antara CO2 faktor emisi di antara negara-negara, pembelajaran federasi di bawah banyak pengaturan aplikasi umum dapat diandalkan “lebih bersih” daripada pelatihan terpusat.

Melatih model untuk mengklasifikasikan gambar dalam kumpulan data gambar besar, mereka menemukan penyiapan pembelajaran federasi di Prancis mengeluarkan lebih sedikit CO2 daripada penyiapan terpusat di China dan AS. Dan dalam melatih model pengenalan suara, pembelajaran federasi lebih efisien daripada pelatihan terpusat di negara mana pun.

Hasil tersebut selanjutnya didukung oleh serangkaian eksperimen yang diperluas dalam studi tindak lanjut (“Pandangan pertama tentang jejak karbon pembelajaran federasi ‘) oleh lab yang sama yang mengeksplorasi lebih banyak variasi kumpulan data dan model AI. Dan ini penelitian juga memberikan permulaan formalisme yang diperlukan dan fondasi algoritmik dari emisi karbon yang lebih rendah untuk pembelajaran federasi di masa depan.

Berdasarkan penelitian mereka, para peneliti telah menyediakan “Kalkulator Karbon Pembelajaran Federasi” yang pertama dari jenisnya sehingga publik dan peneliti lain dapat memperkirakan berapa banyak CO2 diproduksi oleh kumpulan perangkat tertentu. Ini memungkinkan pengguna untuk merinci jumlah dan jenis perangkat yang mereka gunakan, di negara mana mereka berada, set data dan kecepatan unggah / unduh yang mereka gunakan dan berapa kali setiap perangkat akan melatih datanya sendiri sebelum mengirim modelnya untuk agregasi .

Mereka juga menawarkan kalkulator serupa untuk memperkirakan emisi karbon dari pembelajaran mesin terpusat.

“Pengembangan dan penggunaan AI memainkan peran yang semakin meningkat dalam tragedi perubahan iklim,” kata Dr. Lane, “dan masalah ini hanya akan memburuk karena teknologi ini terus berkembang biak di masyarakat. Kami sangat perlu mengatasi hal ini, yaitu mengapa kami ingin berbagi temuan kami yang menunjukkan bahwa metode pembelajaran federasi dapat menghasilkan lebih sedikit CO2 daripada pusat data di bawah skenario aplikasi penting.

“Namun yang lebih penting, penelitian kami juga menyoroti bagaimana pembelajaran federasi harus berkembang menjadi lebih ramah lingkungan secara luas. Metode terdesentralisasi seperti ini akan menjadi kunci dalam penemuan bentuk AI berkelanjutan di masa depan di tahun-tahun mendatang.”


Peneliti membuat model menggunakan teknik pembelajaran mesin untuk meningkatkan prediksi hasil COVID-19


Disediakan oleh University of Cambridge

Kutipan: Dapatkah pembelajaran federasi hemat energi menyelamatkan dunia? (2021, 7 Mei) diambil pada 7 Mei 2021 dari https://techxplore.com/news/2021-05-energy-efficient-federated-world.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Toto SGP