Jaringan saraf CLIP mencerminkan neuron otak manusia dalam pengenalan gambar
Ai

Jaringan saraf CLIP mencerminkan neuron otak manusia dalam pengenalan gambar


Kredit: Buka AI

Open AI, perusahaan riset yang didirikan oleh Elon Musk, baru saja menemukan bahwa jaringan saraf tiruan mereka CLIP menunjukkan perilaku yang sangat mirip dengan otak manusia. Penemuan ini membuat para ilmuwan berharap untuk masa depan kemampuan jaringan AI untuk mengidentifikasi gambar dalam kapasitas simbolis, konseptual, dan literal.

Sementara otak manusia memproses pencitraan visual dengan menghubungkan serangkaian konsep abstrak dengan tema yang menyeluruh, neuron biologis pertama yang tercatat beroperasi dengan cara yang sama adalah neuron “Halle Berry”. Neuron ini terbukti mampu mengenali foto dan sketsa aktris dan menghubungkan gambar tersebut dengan nama “Halle Berry”.

Sekarang, sistem visi multimodal OpenAI terus mengungguli sistem yang ada, yaitu dengan ciri-ciri seperti neuron “Spider-Man”, neuron buatan yang tidak hanya dapat mengidentifikasi gambar teks “laba-laba” tetapi juga karakter buku komik di kedua ilustrasi tersebut. dan bentuk aksi langsung. Kemampuan untuk mengenali konsep tunggal yang direpresentasikan dalam berbagai konteks ini menunjukkan kemampuan abstraksi CLIP. Mirip dengan otak manusia, kapasitas abstraksi memungkinkan sistem penglihatan untuk mengikat serangkaian gambar dan teks ke tema sentral.

Namun, perbedaan antara neuron biologis dan buatan terletak pada semantik versus rangsangan visual. Sementara neuron di otak menghubungkan sekumpulan input visual ke satu konsep, neuron AI merespons sekumpulan ide. Memang, dengan memeriksa secara tepat bagaimana sistem seperti CLIP mengidentifikasi, para peneliti berpotensi dapat mempelajari lebih lanjut tentang bagaimana neuron manusia mengenali beragam konsep umum, seperti ekspresi wajah, orang terkenal, wilayah geografis dan ikonografi agama, antara lain. Demikian pula, dengan mempelajari bagaimana CLIP membentuk leksikonnya, para ilmuwan berharap dapat mengungkap lebih banyak kesamaan dengan otak manusia.

Jaringan saraf CLIP mencerminkan neuron otak manusia dalam pengenalan gambar

Kredit: Buka AI

Tim peneliti memeriksa CLIP dalam dua baris: 1) Visualisasi fitur, yang melihat seberapa kuat neuron menembak sebagai respons terhadap jumlah input visual, dan 2) contoh set data, yang menilai distribusi pengaktifan gambar set data yang direspons oleh neuron. Sejauh ini, tim telah menemukan bahwa neuron CLIP tampaknya sangat beraneka ragam, yang berarti bahwa mereka merespons banyak konsep unik pada tingkat abstraksi yang tinggi.

Sebagai sistem pengenalan, CLIP juga menunjukkan berbagai bentuk bias. Misalnya, neuron sistem “Timur Tengah” telah dikaitkan dengan terorisme, di samping neuron “imigrasi” yang merespons masukan yang melibatkan Amerika Latin.

Dalam hal keterbatasan pada temuan ini dan ruang untuk penelitian lebih lanjut, para ilmuwan mengakui bahwa, terlepas dari kecakapan CLIP dalam menentukan lokasi wilayah geografis, kota individu dan bahkan landmark, sistem tersebut tampaknya tidak menunjukkan neuron “San Francisco” yang berbeda yang mengikat sebuah landmark seperti itu. sebagai Twin Peaks untuk pengenal San Francisco.


Studi menunjukkan bagaimana beberapa neuron mengkompensasi kematian tetangga mereka


Informasi lebih lanjut:
Goh, G., dkk. “Neuron Multimodal di Jaringan Syaraf Tiruan.” OpenAI, OpenAI, 4 Maret 2021, openai.com/blog/multimodal-neurons/

Goh, G., dkk. “Neuron Multimodal di Jaringan Syaraf Tiruan.” Distill, Distill, 4 Mar. 2021, distill.pub/2021/multimodal-neurons/

© 2021 Science X Network

Kutipan: Jaringan saraf CLIP mencerminkan neuron otak manusia dalam pengenalan gambar (2021, 9 Maret) diambil 9 Maret 2021 dari https://techxplore.com/news/2021-03-neural-network-mirrors-human-brain.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Toto SGP