Mengapa AI sangat haus kekuasaan
Machine

Mengapa AI sangat haus kekuasaan


Bulan ini, Google memaksa keluar seorang peneliti etika AI terkemuka setelah dia menyuarakan rasa frustrasinya dengan perusahaan karena membuatnya menarik makalah penelitian. Makalah tersebut menunjukkan risiko kecerdasan buatan pemrosesan bahasa, jenis yang digunakan di Google Penelusuran, dan produk analisis teks lainnya.

Di antara risikonya adalah jejak karbon yang besar dari pengembangan teknologi AI semacam ini. Menurut beberapa perkiraan, melatih model AI menghasilkan emisi karbon sebanyak yang diperlukan untuk membangun dan mengendarai lima mobil selama masa pakainya.

Saya adalah seorang peneliti yang mempelajari dan mengembangkan model AI, dan saya terlalu akrab dengan energi yang meroket dan biaya finansial penelitian AI. Mengapa model AI menjadi sangat haus daya, dan apa bedanya dengan komputasi pusat data tradisional?

Pelatihan hari ini tidak efisien

Pekerjaan pemrosesan data tradisional yang dilakukan di pusat data meliputi streaming video, email, dan media sosial. AI lebih intensif secara komputasi karena ia perlu membaca banyak data sampai ia belajar untuk memahaminya — yaitu, dilatih.

Pelatihan ini sangat tidak efisien dibandingkan dengan cara orang belajar. AI modern menggunakan jaringan saraf tiruan, yang merupakan perhitungan matematis yang meniru neuron di otak manusia. Kekuatan koneksi setiap neuron ke tetangganya merupakan parameter jaringan yang disebut weight. Untuk mempelajari cara memahami bahasa, jaringan dimulai dengan bobot acak dan menyesuaikannya hingga hasilnya sesuai dengan jawaban yang benar.

Cara umum untuk melatih jaringan bahasa adalah dengan memberinya banyak teks dari situs web seperti Wikipedia dan outlet berita dengan beberapa kata yang disembunyikan, dan memintanya untuk menebak kata-kata yang disembunyikan. Contohnya adalah “anjingku manis”, dengan kata “imut” terselubung. Awalnya, model membuat semuanya salah, tetapi, setelah banyak putaran penyesuaian, bobot koneksi mulai berubah dan mengambil pola dalam data. Jaringan akhirnya menjadi akurat.

Salah satu model terbaru yang disebut Representasi Penyandi Arah dari Transformer (BERT) menggunakan 3,3 miliar kata dari buku bahasa Inggris dan artikel Wikipedia. Selain itu, selama pelatihan BERT membaca kumpulan data ini tidak hanya sekali, tetapi 40 kali. Sebagai perbandingan, rata-rata anak yang belajar berbicara mungkin mendengar 45 juta kata pada usia lima tahun, 3.000 kali lebih sedikit daripada BERT.

Mencari struktur yang tepat

Apa yang membuat model bahasa menjadi lebih mahal untuk dibangun adalah bahwa proses pelatihan ini terjadi berkali-kali selama pengembangan. Ini karena peneliti ingin menemukan struktur terbaik untuk jaringan — berapa banyak neuron, berapa banyak koneksi antar neuron, seberapa cepat parameter harus berubah selama pembelajaran, dan sebagainya. Semakin banyak kombinasi yang mereka coba, semakin besar peluang jaringan mencapai akurasi tinggi. Otak manusia, sebaliknya, tidak perlu menemukan struktur yang optimal — otak datang dengan struktur bawaan yang telah diasah oleh evolusi.

Saat perusahaan dan akademisi bersaing di ruang AI, tekanan terus meningkat untuk meningkatkan kualitasnya. Bahkan mencapai peningkatan 1% dalam akurasi pada tugas-tugas sulit seperti terjemahan mesin dianggap signifikan dan mengarah pada publisitas yang baik dan produk yang lebih baik. Tetapi untuk mendapatkan peningkatan 1% itu, seorang peneliti mungkin melatih model tersebut ribuan kali, setiap kali dengan struktur yang berbeda, hingga yang terbaik ditemukan.

Para peneliti di University of Massachusetts Amherst memperkirakan biaya energi untuk mengembangkan model bahasa AI dengan mengukur konsumsi daya perangkat keras yang umum digunakan selama pelatihan. Mereka menemukan bahwa pelatihan BERT pernah memiliki jejak karbon penumpang yang terbang pulang-pergi antara New York dan San Francisco. Namun, dengan menelusuri menggunakan struktur yang berbeda — yaitu, dengan melatih algoritme beberapa kali pada data dengan jumlah neuron, koneksi, dan parameter lain yang sedikit berbeda — biayanya menjadi setara dengan 315 penumpang, atau seluruh 747 jet.

Bagaimana jaringan saraf tiruan bekerja.

Lebih besar dan lebih panas

Model AI juga jauh lebih besar dari yang seharusnya, dan tumbuh lebih besar setiap tahun. Model bahasa yang lebih baru yang mirip dengan BERT, disebut GPT-2, memiliki 1,5 miliar bobot di jaringannya. GPT-3, yang membuat kehebohan tahun ini karena akurasinya yang tinggi, memiliki 175 miliar bobot.

Para peneliti menemukan bahwa memiliki jaringan yang lebih besar menghasilkan akurasi yang lebih baik, meskipun hanya sebagian kecil dari jaringan yang akhirnya berguna. Hal serupa terjadi pada otak anak-anak ketika koneksi saraf pertama kali ditambahkan dan kemudian dikurangi, tetapi otak biologis jauh lebih hemat energi daripada komputer.

Model AI dilatih pada perangkat keras khusus seperti unit prosesor grafis, yang menggunakan lebih banyak daya daripada CPU tradisional. Jika Anda memiliki laptop gaming, mungkin laptop tersebut memiliki salah satu unit prosesor grafis ini untuk membuat grafik tingkat lanjut, misalnya, memainkan Minecraft RTX. Anda mungkin juga memperhatikan bahwa mereka menghasilkan lebih banyak panas daripada laptop biasa.

Semua ini berarti bahwa mengembangkan model AI yang canggih menambah jejak karbon yang besar. Kecuali kita beralih ke 100% sumber energi terbarukan, kemajuan AI mungkin bertentangan dengan tujuan mengurangi emisi rumah kaca dan memperlambat perubahan iklim. Biaya finansial pengembangan juga menjadi sangat tinggi sehingga hanya beberapa laboratorium terpilih yang mampu melakukannya, dan mereka akan menjadi pihak yang mengatur agenda untuk jenis model AI apa yang akan dikembangkan.

Melakukan lebih banyak dengan lebih sedikit

Apa artinya ini untuk masa depan penelitian AI? Segalanya mungkin tidak sesuram kelihatannya. Biaya pelatihan mungkin turun karena metode pelatihan yang lebih efisien ditemukan. Demikian pula, meskipun penggunaan energi pusat data diperkirakan akan meledak dalam beberapa tahun terakhir, hal ini tidak terjadi karena peningkatan efisiensi pusat data, perangkat keras dan pendinginan yang lebih efisien.

Ada juga trade-off antara biaya pelatihan model dan biaya penggunaannya, jadi menghabiskan lebih banyak energi pada waktu pelatihan untuk menghasilkan model yang lebih kecil sebenarnya dapat membuat penggunaannya lebih murah. Karena sebuah model akan digunakan berkali-kali selama masa pakainya, hal itu dapat menambah penghematan energi yang besar.

Dalam penelitian lab saya, kami telah mencari cara untuk membuat model AI lebih kecil dengan berbagi bobot, atau menggunakan bobot yang sama di beberapa bagian jaringan. Kami menyebut jaringan shapeshifter ini karena sekumpulan kecil bobot dapat dikonfigurasi ulang menjadi jaringan yang lebih besar dengan bentuk atau struktur apa pun. Peneliti lain telah menunjukkan bahwa berbagi beban memiliki kinerja yang lebih baik dalam jumlah waktu pelatihan yang sama.

Ke depan, komunitas AI harus berinvestasi lebih banyak dalam mengembangkan skema pelatihan hemat energi. Jika tidak, berisiko membuat AI didominasi oleh beberapa orang terpilih yang mampu mengatur agenda, termasuk jenis model yang dikembangkan, jenis data apa yang digunakan untuk melatihnya, dan untuk apa model tersebut digunakan.


Menyusut jaringan saraf besar yang digunakan untuk memodelkan bahasa


Disediakan oleh The Conversation

Artikel ini diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya.

Kutipan: Butuh banyak energi bagi mesin untuk belajar: Mengapa AI sangat haus daya (2020, 15 Desember) diakses 15 Desember 2020 dari https://techxplore.com/news/2020-12-lot-energy-machines- ai-power-hung.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Result SGP