Bahasa afektif untuk seni visual
Machine

Bahasa afektif untuk seni visual


Kredit: CC0

Asisten Profesor Ilmu Komputer KAUST Mohamed Elhoseiny telah mengembangkan, bekerja sama dengan Universitas Stanford, CA, dan École Polytechnique (LIX), Prancis, kumpulan data skala besar untuk melatih AI untuk mereproduksi emosi manusia saat disajikan dengan karya seni.

Makalah yang dihasilkan, “ArtEmis: Bahasa Afektif untuk Seni Visual,” akan dipresentasikan pada Conference on Computer Vision and Pattern Recognition (CVPR), konferensi ilmu komputer tahunan utama, yang akan diadakan pada 19-25 Juni 2021.

Digambarkan sebagai “Bahasa Afektif untuk Seni Visual,” antarmuka pengguna ArtEmis memiliki rata-rata tujuh deskripsi emosional untuk setiap gambar, menjadikan jumlah total lebih dari 439K atribusi yang dijelaskan secara emosional dari manusia pada 81K karya seni dari WikiArt.

“Sebelum proyek ini, sebagian besar model pembelajaran mesin didasarkan pada kumpulan data deskripsi faktual,” jelas Elhoseiny. “Misalnya, dengan ‘seekor burung bertengger di kursi’, Artemis memperluas deskripsi gambar dengan meminta agar orang juga menambahkan emosi yang mereka rasakan saat mengamati karya seni, yang menggabungkan bahasa metafora yang kompleks dan ide-ide abstrak,” tambahnya.

Desain awal terinspirasi oleh Profesor Psikologi Terhormat Universitas Northeastern, AS, Lisa Feldman Barrett, dan dijelaskan dalam bukunya “How Emotions Are Made: The Secret Life of the Brain.” Dalam bukunya, Barrett menunjukkan bagaimana wajah stereotip membantu meningkatkan identifikasi orang tentang emosi yang dibangun. “Kami sengaja menggunakan emoji di antarmuka kami karena eksperimen Barrett membuktikan bahwa mengenali emosi adalah masalah yang menantang, bahkan untuk manusia.”, Elhoseiny menambahkan. Data yang dihasilkan oleh ArtEmis memungkinkan pembangunan sistem AI di luar pandangan klasik emosi yang saat ini diadopsi dalam produk industri AI afektif berdasarkan pengenalan ekspresi wajah. Model deskripsi gambar afektif berdasarkan data mirip ArtEmis dapat membantu orang untuk memiliki pengalaman yang lebih positif dengan menghubungkan lebih baik ke karya seni dan menghargainya. Sejalan dengan pandangan Barret, ini juga dapat membuka pintu untuk menggunakan AI yang afektif untuk mengurangi masalah kesehatan mental.

Para peneliti kemudian melakukan studi manusia untuk menunjukkan fitur unik dari dataset ArtEmis. Misalnya, ArtEmis membutuhkan lebih banyak kematangan emosional dan kognitif dibandingkan dengan kumpulan data bahasa dan visi yang mapan. Penelitian ini juga divalidasi melalui studi pengguna di mana peserta ditanya apakah deskripsi tersebut sesuai dengan karya seni terkait.

“Tapi kami tidak berhenti di situ. Untuk menunjukkan potensi speaker neural afektif, kami juga melatih model teks gambar dalam versi ground dan non-ground pada set data ArtEmis kami. Uji Turing menunjukkan bahwa deskripsi yang dihasilkan sangat mirip dengan deskripsi manusia,” kata Elhoseiny.

ArtEmis dimulai saat Dr. Elhoseiny adalah profesor tamu di Universitas Stanford bersama Prof. Guibas. Bekerja sama dengan Paul Pigott dari Stanford, profesor ilmu komputer dan salah satu otoritas terkemuka dalam Visi dan Grafik Komputer, Elhoseiny bersama-sama membangun kumpulan data seni dan bahasa berskala besar sebagai proyek kemitraan dengan Panos Achlioptas, seorang Stanford Ph.D. mahasiswa Prof. Guibas, yang mengadopsi proposal tersebut dan melakukan upaya signifikan dalam mewujudkan proyek ini menjadi kenyataan yang kokoh. Pelaksanaan proyek juga didukung oleh Kilich Hydarov, seorang MS / Ph.D. kandidat dari grup KAUST Vision-CAIR. Kolaborasi ini juga memanfaatkan keahlian Maks Ovsjanikov dari LIX Ecole Polytechnique, profesor Ilmu Komputer dan salah satu peneliti grafis dan visi terkemuka.

“Kumpulan data kami baru karena menyangkut masalah yang belum dieksplorasi dalam visi komputer: pembentukan penjelasan emo-linguistik yang didasarkan pada visual. Secara khusus, ArtEmis memperlihatkan suasana hati, perasaan, sikap pribadi dan konsep abstrak, seperti kebebasan atau cinta, yang dipicu oleh berbagai rangsangan visual yang kompleks, “Elhoseiny menyimpulkan.

Dataset tersebut dapat diakses di www.artemisdataset.org/.


Psikologi kreativitas manusia membantu kecerdasan buatan membayangkan hal yang tidak diketahui


Disediakan oleh Universitas Sains dan Teknologi Raja Abdullah

Kutipan: ArtEmis: Bahasa afektif untuk seni visual (2021, 25 Maret) diakses 25 Maret 2021 dari https://techxplore.com/news/2021-03-artemis-affective-language-visual-art.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Result SGP