Kemajuan baru dalam mendeteksi bias dalam algoritma pengenalan wajah
Keamanan

Kemajuan baru dalam mendeteksi bias dalam algoritma pengenalan wajah


Kredit: CC0

Sebuah tim dari Computer Vision Center (CVC) dan University of Barcelona telah menerbitkan hasil studi yang mengevaluasi akurasi dan bias gender dan warna kulit dari algoritme pengenalan wajah otomatis yang diuji dengan data dunia nyata. Meskipun solusi teratas melebihi 99,9% keakuratannya, para peneliti telah mendeteksi beberapa kelompok yang menunjukkan tingkat positif palsu atau negatif palsu yang lebih tinggi.

Pengenalan wajah telah digunakan secara rutin oleh organisasi swasta dan pemerintah di seluruh dunia. Pengenalan wajah otomatis dapat digunakan untuk tujuan yang sah dan menguntungkan (misalnya untuk meningkatkan keamanan) tetapi pada saat yang sama kekuatan dan keberadaannya di mana-mana meningkatkan potensi dampak negatif yang dapat ditimbulkan oleh metode yang tidak adil terhadap masyarakat (misalnya diskriminasi terhadap etnis minoritas). Persyaratan yang diperlukan, meskipun tidak cukup, untuk penerapan yang sah dari algoritme pengenalan wajah adalah keakuratan yang sama untuk semua kelompok demografis.

Dengan tujuan ini, para peneliti dari Human Pose Recovery and Behavior Analysis Group di Computer Vision Center (CVC) – University of Barcelona (UB), dipimpin oleh Sergio Escalera, menyelenggarakan tantangan dalam European Conference of Computer Vision (ECCV) 2020. Hasilnya, baru-baru ini dipublikasikan di jurnal Computer Vision — Lokakarya ECCV 2020, mengevaluasi keakuratan algoritme yang dikirimkan oleh peserta pada tugas verifikasi wajah dengan adanya atribut perancu lainnya.

“[The study] menarik 151 peserta, yang membuat total lebih dari 1.800 kiriman, melebihi ekspektasi kami terkait jumlah peserta dan kiriman, ”jelas Sergio Escalera yang juga anggota Institut Matematika UB.

Para peserta menggunakan kumpulan data gambar yang tidak seimbang, yang mensimulasikan skenario dunia nyata di mana model berbasis AI seharusnya dilatih dan dievaluasi pada data yang tidak seimbang (jauh lebih banyak pria kulit putih daripada wanita berkulit hitam). Secara total, mereka mengerjakan 152.917 gambar dari 6.139 identitas.

Gambar-gambar tersebut diberi keterangan untuk dua atribut yang dilindungi: jenis kelamin dan warna kulit; dan lima atribut yang sah: kelompok usia (0-34, 35-64, 65+), pose kepala (frontal, lainnya), sumber gambar (gambar diam, bingkai video), memakai kacamata dan ukuran kotak pembatas.

Hasil yang didapat sangat menjanjikan. Solusi pemenang teratas melebihi 99,9% akurasi sambil mencapai skor yang sangat rendah dalam metrik bias yang diusulkan, “yang dapat dianggap sebagai langkah menuju pengembangan metode pengenalan wajah yang lebih adil,” kata Julio CS Jacques Jr., peneliti di CVC dan di Universitas Terbuka Catalonia.

Analisis 10 tim teratas menunjukkan tingkat positif palsu yang lebih tinggi untuk wanita dengan warna kulit gelap dan untuk sampel di mana kedua individu memakai kacamata. Sebaliknya, ada tingkat negatif palsu yang lebih tinggi untuk pria dengan warna kulit cerah dan untuk sampel di mana kedua individu berusia 35 tahun ke bawah. Juga, ditemukan bahwa dalam kumpulan data, individu yang lebih muda dari 35 lebih jarang memakai kacamata daripada individu yang lebih tua, yang menghasilkan kombinasi efek dari atribut ini. “Ini tidak mengherankan, karena kumpulan data yang diadopsi tidak seimbang mengenai atribut demografis yang berbeda. Namun, ini menunjukkan bahwa akurasi secara keseluruhan tidak cukup ketika tujuannya adalah untuk membangun metode pengenalan wajah yang adil, dan bahwa pekerjaan masa depan pada topik tersebut harus diambil. memperhitungkan akurasi dan mitigasi bias bersama-sama, “tutup Julio CS Jacques Jr.


Model baru untuk pengenalan wajah 3-D skala besar


Informasi lebih lanjut:
Tomáš Sixta dkk. Tantangan FairFace di ECCV 2020: Menganalisis Bias dalam Pengenalan Wajah, Computer Vision – Lokakarya ECCV 2020 (2021). DOI: 10.1007 / 978-3-030-65414-6_32

Disediakan oleh University of Barcelona

Kutipan: Kemajuan baru dalam mendeteksi bias dalam algoritme pengenalan wajah (2021, 20 Januari) diambil pada 24 Januari 2021 dari https://techxplore.com/news/2021-01-advances-bias-recognition-algorithms.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : SGP Prize