Model bahasa komputer besar membawa risiko lingkungan dan sosial
Sciences

Model bahasa komputer besar membawa risiko lingkungan dan sosial


Kredit: CC0

Insinyur komputer di perusahaan dan universitas terbesar di dunia menggunakan mesin untuk memindai melalui banyak materi tertulis. Hasil? Ajari mesin-mesin ini karunia bahasa. Lakukan itu, beberapa bahkan mengklaim, dan komputer akan dapat meniru otak manusia.

Tetapi kemampuan komputasi yang mengesankan ini datang dengan biaya yang nyata, termasuk melanggengkan rasisme dan menyebabkan kerusakan lingkungan yang signifikan, menurut sebuah makalah baru, “Tentang Bahaya Burung Beo Stochastic: Dapatkah Model Bahasa Menjadi Terlalu Besar?” Makalah ini dipresentasikan pada Rabu, 10 Maret di Konferensi ACM tentang Keadilan, Akuntabilitas dan Transparansi (ACM FAccT).

Ini adalah tinjauan lengkap pertama dari literatur seputar risiko yang datang dengan pertumbuhan pesat teknologi pembelajaran bahasa, kata Emily M.Bender, seorang profesor linguistik University of Washington dan penulis utama makalah bersama dengan Timnit Gebru, sebuah sumber. Peneliti AI terkenal.

“Pertanyaan yang kami ajukan adalah apa kemungkinan bahaya dari pendekatan ini dan jawaban yang kami berikan melibatkan survei literatur di berbagai bidang dan menyatukannya,” kata Bender, yang merupakan UW Howard dan Frances Nostrand Profesor yang Diberkahi.

Apa yang dikemukakan para peneliti adalah bahwa ada kelemahan dari kekuatan komputasi yang terus tumbuh yang dimasukkan ke dalam model bahasa alami. Mereka membahas bagaimana ukuran data pelatihan yang terus meningkat untuk pemodelan bahasa memperburuk masalah sosial dan lingkungan. Yang mengkhawatirkan, model bahasa seperti itu mengabadikan bahasa hegemonik dan dapat menipu orang untuk berpikir bahwa mereka sedang melakukan percakapan “nyata” dengan seseorang daripada dengan mesin. Kebutuhan komputasi yang meningkat dari model-model ini selanjutnya berkontribusi pada degradasi lingkungan.

Para penulis termotivasi untuk menulis makalah karena tren di lapangan menuju model bahasa yang semakin besar dan lingkungan pengaruhnya yang berkembang.

Makalah ini telah menarik perhatian luas, sebagian, karena fakta bahwa dua rekan penulis makalah tersebut mengatakan bahwa mereka baru-baru ini dipecat dari Google karena alasan yang masih belum jelas. Margaret Mitchell dan Gebru, dua mantan peneliti Google, mengatakan bahwa mereka mendukung beasiswa makalah tersebut dan menunjukkan kesimpulannya sebagai seruan yang jelas kepada industri untuk memperhatikan.

“Sangat jelas bahwa menyampaikan kekhawatiran harus terjadi sekarang, karena sudah terlambat,” kata Mitchell, seorang peneliti di AI.

Dibutuhkan daya komputasi yang sangat besar untuk mendorong program bahasa model, kata Bender. Itu menghabiskan energi dalam skala yang luar biasa, dan, menurut penulis, menyebabkan degradasi lingkungan. Dan biaya tersebut tidak ditanggung oleh para insinyur komputer, melainkan oleh orang-orang yang terpinggirkan yang tidak mampu membayar biaya lingkungan.

“Bukan hanya dampak energi yang besar di sini, tetapi juga dampak karbon yang akan mendatangkan biaya pertama bagi orang-orang yang tidak mendapatkan manfaat dari teknologi ini,” kata Bender. “Saat kami melakukan analisis biaya-manfaat, penting untuk memikirkan siapa yang mendapatkan manfaat dan siapa yang membayar biayanya karena mereka bukan orang yang sama.”

Skala besar dari kekuatan komputasi ini juga dapat membatasi akses hanya ke perusahaan dan grup riset yang memiliki sumber daya paling baik, meninggalkan pengembang yang lebih kecil di luar AS, Kanada, Eropa, dan China. Itu karena dibutuhkan mesin besar untuk menjalankan perangkat lunak yang diperlukan untuk membuat komputer meniru pikiran dan ucapan manusia.

Risiko lain berasal dari data pelatihan itu sendiri, kata penulis. Karena komputer membaca bahasa dari Web dan dari sumber lain, mereka dapat menangkap dan mengabadikan ideologi rasis, seksis, mampu, ekstremis, dan berbahaya lainnya.

“Salah satu kesalahan yang dialami orang adalah baik, internet itu besar, internet adalah segalanya. Jika saya hanya mengorek keseluruhan internet maka jelas saya telah memasukkan sudut pandang yang beragam,” kata Bender. “Tapi ketika kami melakukan tinjauan pustaka langkah demi langkah, dikatakan bahwa itu tidak terjadi sekarang karena tidak semua orang di internet, dan orang-orang yang ada di internet, tidak semua orang nyaman secara sosial berpartisipasi dalam hal yang sama. cara.”

Dan, orang dapat mengacaukan model bahasa untuk interaksi manusia nyata, percaya bahwa mereka benar-benar berbicara dengan seseorang atau membaca sesuatu yang telah diucapkan atau ditulis seseorang, padahal, pada kenyataannya, bahasa tersebut berasal dari mesin. Jadi, burung beo stokastik.

“Ini menghasilkan teks yang tampaknya koheren, tetapi tidak memiliki maksud komunikatif. Ia tidak tahu apa yang dikatakannya. Tidak ada di sana,” kata Bender.


Menghindari bahasa kemampuan dalam penelitian autisme


Informasi lebih lanjut:
Emily M. Bender dkk, Tentang Bahaya Stochastic Parrots, Prosiding Konferensi ACM 2021 tentang Keadilan, Akuntabilitas, dan Transparansi (2021). DOI: 10.1145 / 3442188.3445922

Disediakan oleh University of Washington

Kutipan: Model bahasa komputer besar membawa risiko lingkungan dan sosial (2021, 10 Maret) diambil 10 Maret 2021 dari https://techxplore.com/news/2021-03-large-language-environmental-social.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize