Peneliti mengembangkan alat sumber terbuka untuk memeriksa kebocoran data dari sistem AI
Security

Peneliti mengembangkan alat sumber terbuka untuk memeriksa kebocoran data dari sistem AI


Asisten Profesor Reza Shokri dan timnya membutuhkan waktu tiga tahun untuk mengembangkan alat yang dikenal sebagai Pengukur Privasi Pembelajaran Mesin. Kredit: Universitas Nasional Singapura

Banyak aplikasi ponsel cerdas, seperti program ucapan-ke-teks dan Google Assistant, didukung oleh Artificial Intelligence (AI). Perusahaan juga menggunakan AI untuk meningkatkan strategi pemasaran, merekomendasikan produk dan layanan kepada pengguna, atau bahkan membuat prediksi tentang kemungkinan risiko kesehatan bagi pasien.

Agar sistem AI dapat memberikan wawasan seperti itu, mereka perlu dilatih dengan data yang relevan seperti kebiasaan membeli atau catatan medis seseorang, yang dapat berisi informasi sensitif tentang seseorang. Setelah model AI dilatih, model tersebut tidak akan menyimpan data pelatihan asli apa pun. Ini memastikan bahwa meskipun peretas membongkar cara kerja internal program AI ini, mereka tidak dapat mengambil informasi sensitif apa pun.

Namun, dalam beberapa tahun terakhir, peneliti keamanan dan privasi telah menunjukkan bahwa model AI rentan terhadap serangan inferensi yang memungkinkan peretas mengekstrak informasi sensitif tentang data pelatihan. Serangan tersebut melibatkan peretas yang berulang kali meminta layanan AI untuk menghasilkan informasi dan menganalisis data untuk suatu pola. Setelah mereka menentukan polanya, mereka dapat menyimpulkan jika jenis data tertentu digunakan untuk melatih program AI. Dengan menggunakan serangan ini, peretas bahkan dapat merekonstruksi kumpulan data asli yang kemungkinan besar digunakan untuk melatih mesin AI.

Serangan semacam itu menjadi perhatian banyak organisasi di seluruh dunia. Misalnya, pada tahun 2009 serangan serupa terjadi terhadap National Institutes of Health (NIH) di Amerika Serikat, dan NIH harus mengubah kebijakan akses mereka ke data medis sensitif.

Asisten Profesor Reza Shokri dari National University of Singapore’s School of Computing (NUS Computing) menjelaskan, “Serangan inferensi sulit dideteksi karena sistem hanya mengasumsikan peretas adalah pengguna biasa saat memberikan informasi. Dengan demikian, perusahaan saat ini tidak memiliki cara untuk mengetahui apakah layanan AI mereka berisiko karena saat ini tidak ada alat lengkap yang tersedia. “

Pengukur Privasi Pembelajaran Mesin untuk menilai risiko serangan

Untuk mengatasi masalah ini, Asst Prof Shokri, yang juga merupakan Profesor Muda Kepresidenan NUS, dan timnya telah mengembangkan alat sumber terbuka lengkap yang dapat membantu perusahaan menentukan apakah layanan AI mereka rentan terhadap serangan kesimpulan semacam itu. Analisis, berdasarkan pada apa yang dikenal sebagai Serangan Inferensi Keanggotaan, bertujuan untuk menentukan apakah rekaman data tertentu merupakan bagian dari data pelatihan model. Dengan mensimulasikan serangan semacam itu, algoritme analisis privasi dapat mengukur seberapa banyak model yang bocor tentang catatan data individu dalam set pelatihannya. Hal ini mencerminkan risiko serangan berbeda yang mencoba merekonstruksi kumpulan data sepenuhnya atau sebagian. Ini menghasilkan laporan ekstensif yang, secara khusus, menyoroti area rentan dalam data pelatihan yang digunakan.

Dengan menganalisis hasil analisis privasi, alat tersebut dapat memberikan kartu skor yang merinci seberapa akurat penyerang dapat mengidentifikasi kumpulan data asli yang digunakan untuk pelatihan. Kartu skor dapat membantu organisasi mengidentifikasi titik-titik lemah dalam kumpulan data mereka, dan menunjukkan hasil dari teknik yang mungkin dapat mereka adopsi untuk secara pre-emptive mengurangi kemungkinan Serangan Inferensi Keanggotaan.

Tim NUS menciptakan alat ini, Pengukur Privasi Pembelajaran Mesin (Pengukur Privasi ML), dan terobosan inovatifnya adalah pengembangan formula serangan umum standar. Rumus serangan umum ini menyediakan kerangka kerja untuk algoritme AI mereka yang menguji dan mengukur dengan tepat berbagai jenis serangan inferensi keanggotaan. Alat tersebut berdasarkan penelitian yang dipimpin oleh tim NUS dalam tiga tahun terakhir. Sebelum pengembangan metode ini, tidak ada metode standar untuk menguji dan mengukur risiko privasi algoritma pembelajaran mesin dengan benar, yang membuatnya sulit untuk memberikan analisis yang nyata.

“Saat membangun sistem AI menggunakan data sensitif, organisasi harus memastikan bahwa data yang diproses dalam sistem tersebut dilindungi secara memadai. Alat kami dapat membantu organisasi melakukan analisis atau audit risiko privasi internal sebelum menerapkan sistem AI. Selain itu, peraturan perlindungan data seperti Umum Peraturan Perlindungan Data mengamanatkan perlunya menilai risiko privasi terhadap data saat menggunakan pembelajaran mesin. Alat kami dapat membantu perusahaan dalam mencapai kepatuhan terhadap peraturan dengan membuat laporan untuk Penilaian Dampak Perlindungan Data, “jelas Asst Prof Shokri.

Asst Prof Shokri dan rekan penulisnya sebelumnya telah mempresentasikan karya teoritis yang mendasari alat ini di Simposium IEEE tentang Keamanan dan Privasi, yang merupakan konferensi paling bergengsi di sektor keamanan dan privasi.

Ke depan, Asst Prof Shokri memimpin tim untuk bekerja dengan mitra industri untuk mengeksplorasi pengintegrasian Pengukur Privasi ML ke dalam layanan AI mereka. Timnya juga mengerjakan algoritme yang memungkinkan pelatihan model AI dengan desain yang menjaga privasi.


Google merilis modul pengujian privasi TensorFlow


Disediakan oleh National University of Singapore

Kutipan: Peneliti mengembangkan alat sumber terbuka untuk memeriksa kebocoran data dari sistem AI (2020, 10 November), diakses 27 November 2020 dari https://techxplore.com/news/2020-11-open-source-tool-leakage-ai. html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Togel Singapore Hari Ini