Bagaimana cara mengenali deepfakes? Lihatlah pantulan cahaya di mata
Sciences

Bagaimana cara mengenali deepfakes? Lihatlah pantulan cahaya di mata


Pertanyaan: Manakah dari orang-orang ini yang palsu? Jawaban: Semuanya. Kredit: thispersondoesnotexist.com dan Universitas di Buffalo.

Ilmuwan komputer Universitas di Buffalo telah mengembangkan alat yang secara otomatis mengidentifikasi foto deepfake dengan menganalisis pantulan cahaya di mata.

Alat ini terbukti 94% efektif dengan foto seperti potret dalam eksperimen yang dijelaskan dalam makalah yang diterima di Konferensi Internasional IEEE tentang Akustik, Pidato, dan Pemrosesan Sinyal yang akan diadakan pada bulan Juni di Toronto, Kanada.

“Kornea hampir seperti semisphere sempurna dan sangat reflektif,” kata penulis utama makalah tersebut, Siwei Lyu, Ph.D., Profesor Inovasi Kerajaan SUNY di Departemen Ilmu dan Teknik Komputer. “Jadi, apa pun yang masuk ke mata dengan cahaya yang dipancarkan dari sumber tersebut akan memiliki gambar di kornea.

“Kedua mata harus memiliki pola reflektif yang sangat mirip karena mereka melihat hal yang sama. Ini adalah sesuatu yang biasanya tidak kita sadari saat kita melihat wajah,” kata Lyu, pakar forensik multimedia dan digital yang telah bersaksi sebelumnya. Kongres.

Makalah, “Mengekspos Wajah yang Dihasilkan GAN Menggunakan Sorotan Khusus Kornea yang Tidak Konsisten,” tersedia di repositori akses terbuka arXiv.

Rekan penulis adalah Shu Hu, Ph.D. mahasiswa dan asisten peneliti di Media Forensic Lab di UB, dan Yuezun Li, Ph.D., mantan ilmuwan peneliti senior di UB yang kini menjadi dosen di Pusat Kecerdasan Buatan Universitas Laut China.

Alat peta wajah, memeriksa perbedaan kecil di mata

Saat kita melihat sesuatu, gambaran dari apa yang kita lihat tercermin di mata kita. Dalam foto atau video asli, pantulan pada mata secara umum akan tampak dalam bentuk dan warna yang sama.

Namun, sebagian besar gambar yang dihasilkan oleh kecerdasan buatan — termasuk gambar generative adversary network (GAN) — gagal melakukan hal ini secara akurat atau konsisten, mungkin karena banyak foto yang digabungkan untuk menghasilkan gambar palsu.

Alat Lyu memanfaatkan kekurangan ini dengan melihat penyimpangan kecil dalam pantulan cahaya di mata gambar deepfake.

Untuk melakukan eksperimen, tim peneliti memperoleh gambar asli dari Flickr Faces-HQ, serta gambar palsu dari www.thispersondoesnotexist.com, sebuah gudang dari wajah-wajah yang dibuat oleh AI yang terlihat seperti aslinya tetapi memang palsu. Semua gambar seperti potret (orang sungguhan dan orang palsu melihat langsung ke kamera dengan pencahayaan yang baik) dan 1.024 x 1.024 piksel.

Alat ini bekerja dengan memetakan setiap wajah. Kemudian memeriksa mata, diikuti oleh bola mata dan terakhir cahaya yang dipantulkan di setiap bola mata. Ini membandingkan dalam detail yang luar biasa perbedaan potensial dalam bentuk, intensitas cahaya dan fitur lain dari cahaya yang dipantulkan.

“Deepfake-o-meter,” dan komitmen untuk melawan deepfakes

Meski menjanjikan, teknik Lyu memiliki keterbatasan.

Pertama, Anda membutuhkan sumber cahaya yang dipantulkan. Selain itu, pantulan cahaya mata yang tidak cocok dapat diperbaiki selama pengeditan gambar. Selain itu, teknik ini hanya melihat piksel individual yang dipantulkan di mata — bukan bentuk mata, bentuk di dalam mata, atau sifat dari apa yang dipantulkan di mata.

Terakhir, teknik ini membandingkan pantulan di kedua mata. Jika subjek kehilangan satu mata, atau matanya tidak terlihat, teknik gagal.

Lyu, yang telah meneliti proyek pembelajaran mesin dan visi komputer selama lebih dari 20 tahun, sebelumnya membuktikan bahwa video deepfake cenderung memiliki kecepatan kedipan yang tidak konsisten atau tidak ada sama sekali untuk subjek video.

Selain memberikan kesaksian di depan Kongres, dia membantu Facebook pada tahun 2020 dengan tantangan global pendeteksian deepfake, dan dia membantu menciptakan “Deepfake-o-meter,” sumber daya online untuk membantu orang kebanyakan menguji untuk melihat apakah video yang mereka tonton. sebenarnya adalah deepfake.

Dia mengatakan mengidentifikasi deepfake semakin penting, terutama mengingat dunia hiper-partisan yang penuh dengan ketegangan terkait ras dan gender serta bahaya disinformasi — terutama kekerasan.

“Sayangnya, sebagian besar jenis video palsu ini dibuat untuk tujuan pornografi, dan itu (menyebabkan) banyak… kerusakan psikologis bagi para korban,” kata Lyu. “Ada juga potensi dampak politik, video palsu yang menunjukkan politisi mengatakan sesuatu atau melakukan sesuatu yang tidak seharusnya mereka lakukan. Itu buruk.”


Detektor deepfake bisa dikalahkan, ilmuwan komputer menunjukkan untuk pertama kalinya


Informasi lebih lanjut:
Mengekspos Wajah yang Dihasilkan GAN Menggunakan Sorotan Spekular Kornea yang Tidak Konsisten. arXiv: 2009.11924v2 [cs.CV] arxiv.org/abs/2009.11924

Disediakan oleh Universitas di Buffalo

Kutipan: Bagaimana cara mengenali deepfakes? Lihatlah pantulan cahaya di mata (2021, 11 Maret) diambil 11 Maret 2021 dari https://techxplore.com/news/2021-03-deepfakes-eyes.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize