Menjelajahi gagasan pembelajaran pintas di jaringan saraf yang dalam
Computer

Menjelajahi gagasan pembelajaran pintas di jaringan saraf yang dalam


Penghargaan: Gambar pertama dari kiri diambil dari https://aiweirdness.com/post/171451900302/do-neural-nets-dream-of-electric-sheep, dengan izin dari penulis. Gambar kedua dari kiri dibuat oleh Geirhos dan rekan-rekannya. Gambar ketiga dari kiri dirilis di bawah lisensi CC BY 4.0 seperti yang dinyatakan di sini: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683 dan diadaptasi oleh para peneliti dari Gambar 2B dari publikasi yang sesuai. Gambar di sebelah kanan adalah Gambar 1 pada makalah berikut: https://arxiv.org/abs/1812.00524.

Selama beberapa tahun terakhir, alat kecerdasan buatan (AI), terutama jaringan saraf dalam, telah mencapai hasil yang luar biasa pada sejumlah tugas. Namun, penelitian terbaru menemukan bahwa teknik komputasi ini memiliki sejumlah keterbatasan. Dalam makalah terbaru yang diterbitkan di Kecerdasan Mesin Alam, para peneliti di universitas Tübingen dan Toronto mengeksplorasi dan membahas masalah yang dikenal sebagai ‘pembelajaran pintas’ yang tampaknya mendukung banyak kekurangan jaringan saraf dalam yang diidentifikasi dalam beberapa tahun terakhir.

“Saya memutuskan untuk mulai mengerjakan proyek ini selama perjalanan terkait sains di AS, bersama dengan Claudio Michaelis, kolega dan teman saya,” Robert Geirhos, salah satu peneliti yang melakukan penelitian tersebut, mengatakan kepada TechXplore. “Pertama-tama kami menghadiri konferensi pembelajaran mendalam, lalu mengunjungi laboratorium penelitian hewan, dan terakhir, konferensi penglihatan manusia. Agak mengherankan, kami melihat pola yang sama dalam pengaturan yang sangat berbeda: ‘pembelajaran pintas’, atau ‘curang,’ tampaknya menjadi karakteristik umum di antara kecerdasan buatan dan biologis. “

Geirhos dan Michaelis percaya bahwa pembelajaran pintas, fenomena yang mereka amati, dapat menjelaskan perbedaan antara kinerja luar biasa dan kegagalan ikonik dari banyak jaringan saraf dalam. Untuk menyelidiki gagasan ini lebih lanjut, mereka bekerja sama dengan rekan-rekan lain, termasuk Jörn-Henrik Jacobsen, Richard Zemel, Wieland Brendel, Matthias Bethge, dan Felix Wichmann.

Masing-masing peneliti berkontribusi pada studi dengan cara yang unik, selaras dengan bidang keahlian mereka, yang berkisar dari ilmu saraf hingga pembelajaran mesin dan psikofisika. Makalah mereka mencakup contoh pembelajaran pintas dan kecurangan baik pada mesin dan hewan — misalnya, kegagalan spesifik jaringan saraf dalam, serta contoh di mana tikus ‘curang’ dalam eksperimen dan siswa menyontek dalam ujian.

“Kami berharap perspektif kami memberikan pengantar yang baik untuk masalah tersebut dan mendorong penerapan metode pengujian yang lebih kuat dan lebih tepat untuk mencegah kecurangan sebelum menghubungkan kemampuan tingkat tinggi ke mesin,” kata Geirhos. “Mengingat bahwa artikel tersebut adalah sebuah perspektif, kami membangun banyak artikel fantastis dari berbagai penulis, masing-masing menyumbangkan bagiannya pada teka-teki. Bagi saya pribadi, pendahulu penting adalah proyek yang saya presentasikan di konferensi ICLR dan VSS, menemukan bias tekstur di jaringan neural — contoh pembelajaran pintas. “

Istilah pembelajaran jalan pintas menggambarkan proses di mana mesin berusaha untuk mengidentifikasi solusi paling sederhana atau ‘jalan pintas’ untuk memecahkan masalah tertentu. Misalnya, jaringan saraf dalam mungkin menyadari bahwa tambalan tekstur tertentu atau bagian dari suatu objek (misalnya, ban mobil) biasanya cukup bagi mereka untuk memprediksi keberadaan mobil dalam gambar, dan dengan demikian dapat mulai memprediksi keberadaan mobil dalam gambar meskipun hanya menyertakan ban mobil.

“Pembelajaran pintas pada dasarnya berarti bahwa jaringan saraf suka menipu,” kata Geirhos. “Pada pandangan pertama, AI sering kali terlihat bekerja dengan sangat baik — misalnya, AI dapat mengenali apakah suatu gambar berisi hewan, misalnya domba. Hanya dengan pemeriksaan lebih dekat, ditemukan bahwa jaringan saraf telah menipu dan hanya melihat ke latar belakang.”

Contoh kecurangan jaringan saraf adalah situasi di mana ia mengkategorikan lanskap hijau kosong sebagai ‘domba’ hanya karena sebelumnya memproses gambar di mana domba berdiri di depan lanskap alam, sementara gagal mengenali domba yang sebenarnya saat itu. dalam suasana yang tidak biasa (misalnya, di pantai). Ini adalah salah satu dari banyak contoh yang disebutkan Geirhos dan rekan-rekannya dalam makalah mereka.

Meskipun ini adalah contoh langsung dari pembelajaran pintas, seringkali pola kecurangan ini jauh lebih halus. Mereka bisa sangat halus sehingga para peneliti terkadang kesulitan untuk mengidentifikasi strategi curang yang diadopsi oleh jaringan saraf tiruan dan mungkin hanya menyadari bahwa itu tidak menyelesaikan tugas seperti yang mereka harapkan.

“Pola menyontek ini memiliki kesejajaran dalam kehidupan sehari-hari, misalnya ketika siswa mempersiapkan ulangan kelas dan hanya menghafal fakta tanpa mengembangkan pemahaman yang benar tentang masalahnya,” kata Geirhos. “Sayangnya, di bidang AI, pembelajaran pintas tidak hanya mengarah pada kinerja yang menipu, tetapi dalam keadaan tertentu, juga diskriminasi, misalnya, ketika AI lebih memilih untuk melamar pekerjaan karena posisi sebelumnya telah diisi terutama oleh laki-laki. . “

Makalah ini mendefinisikan, mendeskripsikan, dan mengeksplorasi konsep pembelajaran pintas, sementara juga menjelaskan bagaimana hal itu dapat memengaruhi kinerja jaringan saraf dalam dan menggambar analogi dengan perilaku yang diamati pada manusia dan hewan lain. Pekerjaan mereka dapat menginspirasi tim peneliti lain untuk memeriksa kekurangan jaringan saraf dalam secara lebih rinci, mungkin membantu pengembangan solusi yang mencegah mereka dari kecurangan. Geirhos dan beberapa koleganya kini mengembangkan metode pengujian yang lebih kuat untuk meneliti keterbatasan model berbasis jaringan saraf dalam yang ada dan yang sedang berkembang.

“Kami mendorong kolega kami untuk bersama-sama mengembangkan dan menerapkan prosedur pengujian yang lebih kuat: Selama seseorang belum memeriksa apakah algoritme dapat mengatasi gambar yang tidak terduga, seperti sapi di pantai, kecurangan setidaknya harus dianggap sebagai kemungkinan yang serius,” Geirhos kata. “Semua yang berkilau bukanlah emas: Hanya karena AI dilaporkan mencapai skor tinggi pada tolok ukur tidak berarti bahwa AI juga telah menyelesaikan masalah yang sebenarnya kita pedulikan; terkadang, AI hanya menemukan jalan pintas. Untungnya, bagaimanapun, metode saat ini kecerdasan buatan sama sekali tidak bodoh, hanya terlalu malas: Jika ditantang dengan cukup, mereka dapat mempelajari hubungan yang sangat kompleks — tetapi jika mereka telah menemukan jalan pintas yang sederhana, mereka akan menjadi yang terakhir mengeluh tentang hal itu. ”


Misinformasi atau artefak: Cara baru untuk berpikir tentang pembelajaran mesin


Informasi lebih lanjut:
Pembelajaran pintas di jaringan neural dalam. Kecerdasan Mesin Alam(2020). DOI: 10.1038 / s42256-020-00257-z

CNN yang dilatih ImageNet memiliki bias terhadap tekstur; meningkatkan bias bentuk meningkatkan akurasi dan ketahanan. openreview.net/forum?id=Bygh9j09KX

Pengakuan dalam terra incognita. openaccess.thecvf.com/content_… _ECCV_2018_paper.pdf

© 2020 Science X Network

Kutipan: Menjelajahi gagasan pembelajaran pintas di jaringan neural dalam (2020, 23 Desember) diambil pada 23 Desember 2020 dari https://techxplore.com/news/2020-12-exploring-notion-shortcut-deep-neural.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.




Halaman Ini Di Persembahkan Oleh : Pengeluaran HK