Aplikasi jam tangan pintar baru memberi tahu pengguna Tuna Rungu dan yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan
Innovation

Aplikasi jam tangan pintar baru memberi tahu pengguna Tuna Rungu dan yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan


Peneliti University of Washington telah mengembangkan aplikasi jam tangan pintar untuk d / Tunarungu dan orang-orang yang mengalami gangguan pendengaran yang ingin mengetahui suara di sekitar. Jam tangan pintar akan mengidentifikasi suara yang diminati pengguna dan mengirimkan buzz ramah kepada pengguna beserta informasi tentangnya. Kredit: Jain et al./ASSETS 2020

Jam tangan pintar menawarkan metode pribadi kepada orang-orang untuk mendapatkan pemberitahuan tentang lingkungan mereka — seperti panggilan telepon, peringatan kesehatan, atau pengiriman paket yang akan datang.

Sekarang para peneliti Universitas Washington telah mengembangkan SoundWatch, aplikasi jam tangan pintar untuk orang-orang tuna rungu, tunarungu, dan tuli yang ingin mengetahui suara di sekitar. Saat jam tangan pintar menangkap suara yang diminati pengguna — contohnya termasuk sirene, bunyi bip microwave atau kicau burung — SoundWatch akan mengidentifikasinya dan mengirimkan dengungan ramah pengguna bersama dengan informasi tentang suara tersebut.

Tim mempresentasikan temuan ini pada 28 Oktober di konferensi ACM tentang komputasi dan aksesibilitas.

“Teknologi ini memberi orang cara untuk mengalami suara yang memerlukan tindakan — seperti mengambil makanan dari microwave saat berbunyi bip. Tetapi perangkat ini juga dapat meningkatkan pengalaman orang dan membantu mereka merasa lebih terhubung dengan dunia,” kata penulis utama Dhruv. Jain, seorang mahasiswa doktoral UW di Sekolah Ilmu & Teknik Komputer Paul G. Allen. “Saya menggunakan prototipe jam tangan untuk memperhatikan kicau burung dan suara air terjun saat saya mendaki. Hal itu membuat saya merasa ada di alam. Harapan saya adalah orang-orang d / Tuli dan tuli lainnya yang tertarik dengan suara juga akan menemukan SoundWatch bermanfaat.”

Tim memulai proyek ini dengan merancang sistem untuk d / Tunarungu dan orang yang mengalami gangguan pendengaran yang ingin mengetahui apa yang terjadi di sekitar rumah mereka.

“Dulu saya tidur melalui alarm kebakaran,” kata Jain, yang lahir tuli.

Sistem pertama, yang disebut HomeSound, menggunakan tablet Microsoft Surface yang tersebar di seluruh rumah yang berfungsi seperti jaringan layar yang saling berhubungan. Setiap tampilan memberikan denah dasar rumah dan mengingatkan pengguna tentang suara dan sumbernya. Layar juga menampilkan bentuk gelombang suara, untuk membantu pengguna mengidentifikasi suara, dan menyimpan riwayat semua suara yang mungkin terlewatkan oleh pengguna saat mereka tidak di rumah.

Para peneliti menguji HomeSound di rumah-rumah di daerah Seattle dari enam peserta d / Tunarungu atau yang mengalami gangguan pendengaran selama tiga minggu. Peserta diinstruksikan untuk menjalani hidup mereka seperti biasa dan menyelesaikan survei mingguan.

Berdasarkan umpan balik, prototipe kedua menggunakan pembelajaran mesin untuk mengklasifikasikan suara secara real time. Para peneliti membuat kumpulan data lebih dari 31 jam dari 19 suara umum yang berhubungan dengan rumah — seperti gonggongan anjing atau kucing mengeong, bayi menangis, dan ketukan pintu.

“Orang-orang menyebutkan bisa melatih hewan peliharaan mereka ketika mereka melihat suara gonggongan anjing dari ruangan lain atau menyadari bahwa mereka tidak perlu menunggu di dekat pintu ketika mereka mengharapkan seseorang untuk datang,” kata Jain. “HomeSound memungkinkan semua jenis interaksi baru yang dapat dilakukan orang-orang di rumah mereka. Tetapi banyak orang menginginkan informasi sepanjang hari, ketika mereka keluar di mobil atau berjalan-jalan.”

SoundWatch: Aplikasi jam tangan pintar baru memperingatkan pengguna Tuna Rungu dan yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan

Dalam prototipe kedua HomeSound, tablet mengirimkan informasi ke jam tangan pintar, yang merupakan cara peneliti mendapatkan ide untuk membuat aplikasi mandiri. Kredit: Jain et al./CHI 2020

Para peneliti kemudian beralih ke sistem jam tangan pintar, yang memungkinkan pengguna mendapatkan peringatan suara di mana pun mereka berada, bahkan di tempat-tempat yang mungkin tidak memiliki ponsel, seperti di gym.

Karena jam tangan pintar memiliki penyimpanan dan kemampuan pemrosesan yang terbatas, tim membutuhkan sistem yang tidak memakan baterai jam tangan dan juga cepat dan akurat. Pertama, para peneliti membandingkan versi terkompresi dari pengklasifikasi HomeSound dengan tiga pengklasifikasi suara lain yang tersedia. Varian HomeSound adalah yang paling akurat, tetapi juga yang paling lambat.

Untuk mempercepat sistem, tim meminta arloji tersebut mengirimkan suara ke perangkat dengan kekuatan pemrosesan yang lebih besar — ​​telepon pengguna — untuk klasifikasi. Memiliki ponsel yang mengklasifikasikan suara dan mengirimkan hasilnya kembali ke jam tangan tidak hanya menghemat waktu tetapi juga menjaga privasi pengguna karena suara hanya ditransfer antar perangkat pengguna sendiri.

Para peneliti menguji aplikasi SoundWatch pada Maret 2020 — sebelum pesanan tinggal di rumah Washington — dengan delapan peserta d / Tunarungu dan mengalami gangguan pendengaran di area Seattle. Pengguna menguji aplikasi di tiga lokasi berbeda di atau di sekitar kampus UW: di kantor mahasiswa pascasarjana, di ruang gedung dan di halte bus.

Orang-orang merasa aplikasi itu berguna untuk memberi tahu mereka jika ada sesuatu yang harus mereka perhatikan. Misalnya: mereka membiarkan kerannya menyala atau ada bunyi klakson mobil. Di sisi lain, terkadang salah mengklasifikasikan suara (memberi label pada mobil yang dikendarai sebagai air mengalir) atau lambat untuk memberi tahu pengguna (satu pengguna terkejut dengan seseorang yang memasuki ruangan jauh sebelum arloji mengirim pemberitahuan tentang pembukaan pintu).

Tim juga mengembangkan HoloSound, yang menggunakan augmented reality untuk memberikan teks waktu nyata dan informasi suara lainnya melalui kacamata HoloLens.

“Kami ingin memanfaatkan kemunculan teknologi pembelajaran mesin yang canggih untuk membuat sistem yang meningkatkan kehidupan orang-orang di berbagai komunitas,” kata penulis senior Jon Froehlich, seorang profesor di Sekolah Allen.

Fokus lain saat ini adalah mengembangkan metode untuk memilih suara tertentu dari kebisingan latar belakang, dan mengidentifikasi dari arah mana suara, seperti sirene, berasal.

Aplikasi SoundWatch sedang menjalani uji coba dan akan segera tersedia untuk umum sebagai unduhan Android. Hingga saat itu, pengguna yang tertarik dapat mendaftar untuk pengujian beta. Para peneliti sangat ingin mendengar umpan balik sehingga mereka dapat membuat aplikasi lebih berguna.

“Disabilitas sangat pribadi, dan kami ingin perangkat ini memungkinkan orang memiliki pengalaman yang lebih dalam,” kata Jain. “Kami sekarang mencari cara agar orang-orang mempersonalisasi sistem ini untuk kebutuhan spesifik mereka sendiri. Kami ingin orang-orang diberi tahu tentang suara yang mereka pedulikan — suara pasangan versus ucapan umum, pembukaan pintu belakang versus pembukaan pintu depan, dan banyak lagi. ”


Pengguna menyetel sendiri alat bantu dengar


Disediakan oleh University of Washington

Kutipan: SoundWatch: Aplikasi jam tangan pintar baru memberi peringatan bagi pengguna tuna rungu dan pengguna yang mengalami gangguan pendengaran terhadap kicau burung, sirene, dan suara lain yang diinginkan (2020, 28 Oktober) diakses 27 November 2020 dari https://techxplore.com/news/2020-10- soundwatch-smartwatch-app-ddeaf-hard-of-hearing.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Togel