Kasus untuk menjaga manusia tetap dalam lingkaran
Sciences

Kasus untuk menjaga manusia tetap dalam lingkaran


Kredit: CC0

Upaya untuk memperbaiki algoritme prediksi klinis agar adil juga membuatnya kurang akurat.

Karena sistem perawatan kesehatan semakin mengandalkan algoritme prediktif untuk membuat keputusan tentang perawatan pasien, sistem tersebut menghadapi masalah keadilan.

Misalnya, rumah sakit mungkin menggunakan catatan perawatan kesehatan elektroniknya untuk memprediksi pasien mana yang berisiko terkena penyakit kardiovaskular, diabetes, atau depresi, dan kemudian menawarkan perhatian khusus kepada pasien berisiko tinggi. Tetapi wanita, orang kulit hitam, dan kelompok etnis atau ras minoritas lainnya mungkin memiliki riwayat salah diagnosis atau tidak diobati untuk masalah ini. Itu berarti model prediktif yang dilatih pada data historis dapat mereproduksi penganiayaan historis atau memiliki tingkat kesalahan yang jauh lebih tinggi untuk subkelompok ini daripada untuk pasien pria kulit putih. Dan ketika rumah sakit menggunakan algoritme itu untuk memutuskan siapa yang harus menerima perawatan khusus, itu dapat memperburuk keadaan.

Beberapa peneliti berharap untuk mengatasi masalah keadilan model secara algoritme – dengan mengkalibrasi ulang model untuk kelompok yang berbeda atau mengembangkan cara untuk mengurangi perbedaan sistematis dalam tingkat dan distribusi kesalahan di seluruh kelompok.

Tetapi Nigam Shah, profesor kedokteran (informatika biomedis) dan ilmu data biomedis di Universitas Stanford dan anggota fakultas yang berafiliasi dari Institut Stanford untuk Kecerdasan Buatan yang Berpusat pada Manusia (HAI), dan mahasiswa pascasarjana Stephen Pfohl dan Agata Foryciarz bertanya-tanya apakah algoritmik perbaikan benar-benar jawabannya.

Dalam makalah baru-baru ini, tim menemukan bahwa berbagai metode yang telah diusulkan untuk menangani keadilan algoritmik memang membuat algoritme lebih adil, tetapi juga dapat membuatnya berkinerja lebih buruk. “Anda mungkin benar-benar membuat algoritme menjadi lebih buruk untuk semua orang,” kata Shah.

Hasilnya, kata Shah, adalah ketika institusi berurusan dengan masalah keadilan dalam algoritma prediksi untuk hasil klinis, menerapkan perbaikan algoritmik adalah salah satu dari tiga opsi yang harus ada di meja. Yang kedua adalah menjaga manusia tetap dalam pengulangan untuk memastikan subkelompok diperlakukan secara adil; dan yang ketiga adalah membuang semua algoritme. Mengetahui opsi mana yang paling tepat akan membutuhkan pemahaman yang baik tentang konteks yang lebih luas di mana ketidakadilan yang dirasakan muncul, katanya.

Untuk itu, ilmuwan komputer yang mencoba mengembangkan algoritme prediksi yang adil untuk digunakan di klinik perlu terhubung dengan pemangku kepentingan (dokter, pasien, dan anggota komunitas), kata Pfohl. “Rumusan masalah yang cermat, yang didasarkan pada nilai-nilai populasi yang Anda coba bantu, adalah fundamental dan krusial.”

Kegunaan Terbatas Pendekatan Keadilan Algoritmik
Untuk menilai berbagai pendekatan yang telah diusulkan untuk memperbaiki model prediksi yang tidak adil, Shah dan Pfohl memulai dengan melatih algoritme pembelajaran mesin untuk memprediksi beberapa hasil kesehatan untuk ribuan pasien di tiga kumpulan data besar. Misalnya, mereka menggunakan 10 tahun lebih data catatan kesehatan elektronik Stanford untuk memprediksi kematian di rumah sakit, lama tinggal di rumah sakit dan 30 hari masuk kembali. Pertama, mereka memecah kumpulan data berdasarkan usia, etnis, jenis kelamin, dan ras. Kemudian, dengan menggunakan beberapa definisi keadilan yang berbeda, mereka menerapkan perbaikan keadilan algoritmik terkait pada prediksi hasil. “Apa yang kami dapatkan pada akhirnya adalah matriks besar tentang bagaimana perbedaan pengertian tentang keadilan dan kinerja model untuk setiap subkelompok,” kata Pfohl.

Dalam kebanyakan kasus, model asli yang terlatih memberikan hasil yang tidak adil: Prediksi dikalibrasi dengan lebih baik untuk beberapa kelompok ras dan etnis daripada yang lain, atau menghasilkan jumlah positif dan negatif palsu yang berbeda, misalnya.

Ketika berbagai metode keadilan algoritmik diterapkan pada model, metode tersebut benar-benar berfungsi: Distribusi prediksi lebih cocok atau tingkat kesalahan menjadi lebih mirip di seluruh grup. Namun penerapan keadilan mengorbankan kinerja model: Prediksi kurang dapat diandalkan. Apalagi, kata Pfohl, berbagai pendekatan keadilan itu bertentangan satu sama lain. “Jika Anda memenuhi satu gagasan tentang keadilan, Anda tidak akan memenuhi gagasan keadilan yang lain dan sebaliknya – dan gagasan yang berbeda dapat masuk akal dalam pengaturan yang berbeda.”

Terlepas dari masalah ini, ada kemungkinan bahwa perbaikan keadilan algoritmik akan berfungsi dalam beberapa konteks, kata Pfohl. Jika pengembang, dengan masukan dari pemangku kepentingan yang sesuai, bekerja keras untuk memahami pengertian keadilan atau ekuitas apa yang paling relevan dengan pengaturan tertentu, mereka mungkin dapat menyeimbangkan pengorbanan antara keadilan dan kinerja untuk algoritma prediksi yang disesuaikan secara sempit. “Tapi ini bukan solusi untuk tujuan umum,” katanya. “Solusi teknologi kami memiliki cakupan yang sempit, dan penting untuk selalu mengingatnya.”

Alternatif: Berfokus pada Perlakuan Adil dengan Manusia di Lingkaran
Bagi Shah, masalah keadilan algoritmik sangat memprihatinkan ketika mengarah pada perlakuan tidak adil di klinik. Makalah baru-baru ini oleh Ziad Oberyemer mendapat banyak perhatian karena alasan ini, kata Shah. Di sana, penyedia layanan kesehatan telah menggunakan algoritme prediksi biaya untuk memutuskan pasien mana yang harus dirujuk ke program manajemen perawatan risiko tinggi khusus. Algoritme adalah salah satu yang menggunakan biaya perawatan kesehatan historis untuk memprediksi biaya perawatan kesehatan di masa depan (dan melakukannya dengan cara yang tidak bias). Tetapi ketika penyedia layanan kesehatan menggunakan proyeksi biaya perawatan kesehatan di masa depan sebagai proksi untuk kebutuhan perawatan kesehatan, dampak dari penggunaan tersebut menyebabkan perlakuan yang tidak adil: Pasien kulit hitam harus jauh lebih sakit daripada pasien kulit putih sebelum mereka menerima perawatan ekstra.

Inilah yang paling dipedulikan orang, kata Shah. “Jika Anda dan saya diperlakukan berbeda oleh pemerintah atau badan kesehatan karena algoritme, kami akan kecewa.”

Tapi, kata Shah, orang cenderung menyalahkan algoritma itu sendiri. Asumsi yang sering tidak dinyatakan adalah jika kita memperbaiki kesalahan sistematis dalam perkiraan hasil [using algorithmic fairness approaches], yang pada gilirannya akan memperbaiki kesalahan dalam penugasan tunjangan, “katanya.” Itu mungkin angan-angan. ”

Memang, meskipun algoritme adil untuk satu tujuan, atau telah ditambal dengan perbaikan algoritmik, dokter masih perlu menyadari keterbatasan model agar tidak diterapkan secara tidak tepat.

Memiliki manusia dalam lingkaran penting ketika datang untuk memastikan algoritma prediktif digunakan secara adil di klinik, kata Shah. Dia menunjuk ke algoritma yang banyak digunakan yang disebut persamaan kelompok gabungan yang memprediksi risiko seseorang mengalami kejadian kardiovaskular yang merugikan dalam 10 tahun ke depan. Algoritme ini diketahui terlalu tinggi memperkirakan risiko bagi orang Asia Timur, kata Shah. Akibatnya, dokter sering meresepkan statin untuk pasien Asia Timur dengan batas waktu yang berbeda dari batas umum risiko 7,5% 10 tahun.

“Algoritme tidak hidup dalam ruang hampa,” kata Shah. “Mereka dibangun untuk memungkinkan pengambilan keputusan.” Ada beberapa situasi di mana keadilan mungkin terletak pada memiliki dua nilai batas yang berbeda untuk dua subkelompok yang berbeda, katanya. “Dan kami baik-baik saja melakukan itu.”

Terakhir, jika perbaikan algoritmik tidak berfungsi, penyedia layanan kesehatan harus mempertimbangkan untuk meninggalkan algoritme sama sekali. “Itu adalah pilihan yang sangat mungkin dalam pandangan saya,” kata Shah. “Ada beberapa situasi di mana kita seharusnya tidak menggunakan pembelajaran mesin, titik. Itu tidak sepadan.”

Pfohl setuju: “Saya berpendapat bahwa jika Anda berada dalam situasi di mana membuat prediksi tidak memungkinkan Anda membantu orang dengan lebih baik, Anda harus mempertanyakan penggunaan pembelajaran mesin, titik. Anda harus mundur dan menyelesaikan masalah yang berbeda atau tidak menyelesaikan masalah sama sekali. ”


Keadilan dibutuhkan dalam pengambilan keputusan algoritmik, kata para ahli


Informasi lebih lanjut:
Pfohl et al., Karakterisasi Empiris dari Pembelajaran Mesin yang Adil Untuk Prediksi Risiko Klinis. arXiv: 2007.10306 [stat.ML]. arxiv.org/abs/2007.10306

Disediakan oleh Universitas Stanford

Kutipan: Ketika perbaikan keadilan algoritmik gagal: Kasus untuk menjaga manusia tetap dalam lingkaran (2020, 6 November) diambil pada 27 November 2020 dari https://techxplore.com/news/2020-11-algorithmic-fairness-case-humans-loop. html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize