Cara terbaik untuk mendeteksi video 'deepfake'? Periksa denyut nadinya
Sciences

Cara terbaik untuk mendeteksi video ‘deepfake’? Periksa denyut nadinya


Bingkai dari video asli (kiri) dan deep fakes (kanan) ditunjukkan untuk sebagian kecil Set Data Deep Fakes. Kredit: Universitas Binghamton, Intel Corporation

Dengan perangkat lunak pengeditan video yang semakin canggih, terkadang sulit untuk mempercayai mata kita sendiri. Apakah aktor itu benar-benar muncul di film itu? Apakah politisi itu benar-benar mengatakan hal yang menyinggung itu?

Beberapa yang disebut ‘deepfakes’ tidak berbahaya, tetapi yang lain dibuat dengan tujuan yang lebih jahat. Tapi bagaimana kita tahu jika video telah dimanipulasi?

Peneliti dari Thomas J. Watson College of Engineering and Applied Science Universitas Binghamton telah bekerja sama dengan Intel Corp. untuk mengembangkan alat yang disebut FakeCatcher, yang menawarkan tingkat akurasi di atas 90%.

FakeCatcher bekerja dengan menganalisis perbedaan halus pada warna kulit yang disebabkan oleh detak jantung manusia. Photoplethysmography (disingkat PPG) adalah teknik yang sama yang digunakan untuk oksimeter denyut yang dipasang di ujung jari Anda di kantor dokter, serta Apple Watches dan perangkat pelacak kebugaran yang dapat dipakai yang mengukur detak jantung Anda selama berolahraga.

“Kami mengekstrak beberapa sinyal PPG dari berbagai bagian wajah dan melihat konsistensi spasial dan temporal dari sinyal tersebut,” kata Ilke Demir, ilmuwan peneliti senior di Intel. “Dalam deepfakes, tidak ada konsistensi untuk detak jantung dan tidak ada informasi denyut nadi. Untuk video nyata, aliran darah di pipi kiri dan pipi kanan seseorang — untuk menyederhanakannya — setuju bahwa mereka memiliki denyut nadi yang sama.”

Bekerja dengan Demir dalam proyek ini adalah Umur A. Ciftci, Ph.D. mahasiswa di Departemen Ilmu Komputer Watson College, di bawah pengawasan Profesor Lijun Yin di Laboratorium Grafik dan Komputasi Gambar, bagian dari Seymour Kunis Media Core yang didanai oleh donor Gary Kunis ’73, LHD ’02. Itu dibangun di atas 15 tahun kerja Yin menciptakan beberapa database 3-D wajah manusia dan ekspresi emosional. Pembuat film Hollywood, pembuat video game, dan lainnya telah menggunakan database untuk proyek kreatif mereka.

Video ini menjelaskan alat FakeCatcher yang dikembangkan oleh para peneliti di Binghamton University dan Intel. Kredit: Universitas Binghamton, Universitas Negeri New York

Di lab Yin di Kompleks Teknologi Inovatif, Ciftci telah membantu membangun apa yang mungkin merupakan penyiapan penyiapan pengambilan gambar fisiologis paling canggih di Amerika Serikat, dengan 18 kameranya serta inframerah. Sebuah perangkat juga diikatkan di sekitar dada subjek yang memantau pernapasan dan detak jantung. Begitu banyak data yang diperoleh dalam sesi 30 menit sehingga membutuhkan 12 jam pemrosesan komputer untuk membuatnya.

“Umur telah melakukan banyak analisis data fisiologi, dan penelitian pemrosesan sinyal dimulai dengan database multimodal pertama kami,” kata Yin. “Kami menangkap data tidak hanya dengan gambar terlihat 2-D dan 3-D tetapi juga kamera termal dan sensor fisiologi. Ide menggunakan fisiologi sebagai tanda tangan lain untuk melihat apakah konsisten dengan data sebelumnya sangat membantu untuk deteksi.”

Deepfake yang ditemukan “di alam liar” memiliki banyak langkah di bawah jenis kualitas yang dihasilkan lab Yin, tetapi itu berarti bahwa video yang dimanipulasi bisa lebih mudah dikenali.

“Mempertimbangkan bahwa kami bekerja dengan 3-D menggunakan pengaturan pengambilan kami sendiri, kami menghasilkan beberapa komposit kami sendiri, yang pada dasarnya adalah video ‘palsu’,” kata Ciftci. “Perbedaan besar adalah kami memindai orang sungguhan dan menggunakannya, sementara deepfakes mengambil data dari orang lain dan menggunakannya. Tidak jauh berbeda jika Anda memikirkannya seperti itu.

“Ini seperti polisi yang mengetahui apa yang dilakukan semua penjahat dan bagaimana mereka melakukannya. Anda memahami bagaimana cara deepfake dilakukan. Kami mempelajari trik dan bahkan menggunakan beberapa di antaranya dalam pembuatan data kami sendiri.”

Sejak temuan FakeCatcher dipublikasikan, 27 peneliti di seluruh dunia telah menggunakan algoritme dan kumpulan data dalam analisis mereka sendiri. Namun, kapan pun jenis studi ini dipublikasikan, ada kekhawatiran tentang memberi tahu pembuat deepfake yang jahat bagaimana video mereka terbukti salah, memungkinkan mereka mengubah pekerjaan agar tidak terdeteksi di masa mendatang.

Namun, Ciftci tidak terlalu khawatir tentang itu: “Ini tidak akan mudah bagi seseorang yang tidak tahu banyak tentang sains di baliknya. Mereka tidak bisa begitu saja menggunakan apa yang ada di luar sana untuk mewujudkannya tanpa perubahan perangkat lunak yang signifikan.”

Keterlibatan Intel dalam penelitian FakeCatcher terkait dengan minatnya dalam pengambilan volumetrik dan pengalaman augmented / virtual reality. Intel Studios mengoperasikan apa yang disebut Demir sebagai “tahap pengambilan volumetrik terbesar di dunia”: 100 kamera dalam kubah geodesik seluas 10.000 kaki persegi yang dapat menangani sekitar 30 orang secara bersamaan — bahkan beberapa kuda sekali.

Rencana masa depan termasuk teknologi pengambilan volumetrik untuk dimasukkan dalam acara televisi arus utama, olahraga, dan aplikasi augmented-reality, di mana penonton dapat tenggelam dalam adegan apa pun. Film dalam 3-D dan VR juga sedang dalam pengerjaan, dengan dua proyek VR baru-baru ini ditayangkan perdana di Festival Film Venesia.

Dengan mengumpulkan data FakeCatcher dan merekayasa baliknya, Intel Studios berharap dapat membuat rendering yang lebih realistis yang menggabungkan jenis penanda biologis yang dimiliki manusia dengan detak jantung yang sebenarnya.

“Visi Intel berubah dari perusahaan yang mengutamakan chip menjadi mengutamakan AI, komputasi edge, dan data,” kata Demir. “Kami melakukan transformasi ke pendekatan khusus AI dengan cara apa pun yang kami bisa.”

Penelitian di masa depan akan berusaha untuk meningkatkan dan menyempurnakan teknologi FakeCatcher, menggali lebih jauh ke dalam data untuk menentukan bagaimana deepfake dibuat. Kemampuan tersebut memiliki banyak implikasi, termasuk cybersecurity dan telemedicine, dan Yin juga berharap untuk kolaborasi lebih lanjut dengan Intel.

“Kami masih dalam tahap brainstorming,” ujarnya. “Kami ingin memberi dampak tidak hanya di dunia akademis tetapi juga untuk melihat apakah penelitian kami akan memiliki peran dalam industri.”


Dalam pertempuran AI versus AI, para peneliti sedang mempersiapkan gelombang propaganda deepfake yang akan datang


Informasi lebih lanjut:
Umur Aybars Ciftci dkk, FakeCatcher: Deteksi Video Potret Sintetis menggunakan Sinyal Biologis, Transaksi IEEE pada Analisis Pola dan Kecerdasan Mesin (2020). DOI: 10.1109 / TPAMI.2020.3009287

Disediakan oleh Universitas Binghamton

Kutipan: Cara terbaik untuk mendeteksi video ‘deepfake’? Periksa denyut nadi (2020, 27 Oktober) diakses 27 November 2020 dari https://techxplore.com/news/2020-10-deepfake-videos-pulse.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize