Sarung tangan dengan lima sensor inersia untuk pengenalan gerakan tangan
Sciences

Sarung tangan dengan lima sensor inersia untuk pengenalan gerakan tangan


Prototipe WaveGlove. Sebuah sensor inersia melekat pada masing-masing dari lima jari, mengukur percepatan dan kecepatan sudut, yang digunakan untuk klasifikasi gerakan. Semua komponen yang digunakan berbiaya rendah dan tersedia secara luas, yang selanjutnya menunjukkan potensi produksi massal perangkat serupa di masa depan. Kredit: Kralik & Suppa.

Selama beberapa dekade terakhir, ilmuwan komputer telah mengembangkan beragam model dan pendekatan untuk menganalisis berbagai aspek perilaku dan komunikasi manusia, seperti ucapan, emosi, dan gerak tubuh. Sebagian besar teknik yang ada untuk pengenalan gerakan tangan bergantung pada penggunaan teknologi yang dapat dikenakan dengan satu sensor dan hanya dapat mengenali gerakan dasar dalam jumlah terbatas.

Para peneliti di Comenius University Bratislava di Slovakia baru-baru ini mengembangkan WaveGlove, sistem baru untuk pengenalan gerakan tangan yang menggunakan beberapa sensor inersia, bukan satu sensor. Sistem baru ini, yang diperkenalkan dalam makalah yang diterbitkan sebelumnya di arXiv, pada dasarnya adalah sebuah sarung tangan dengan sensor inersia yang ditempatkan di setiap jarinya.

“Makalah terbaru kami menunjukkan penggunaan beberapa sensor inersia untuk pengenalan gerakan tangan (HGR),” Matej Kralik, salah satu peneliti yang melakukan penelitian, mengatakan kepada TechXplore. “Dengan membangun prototipe perangkat keras khusus dan mengusulkan model baru berbasis Transformer (arsitektur jaringan, yang memiliki banyak keberhasilan pada tugas pemrosesan bahasa alami), kami menunjukkan bahwa menggunakan banyak sensor dapat memiliki efek signifikan pada akurasi klasifikasi dan memungkinkan untuk kosakata gerak tubuh yang lebih kaya.”

Menggunakan WaveGlove, sistem pengenalan gerakan tangan yang mereka buat, para peneliti dapat memperoleh dua kumpulan data yang berisi lebih dari 11.000 sampel gerakan tangan. Kralik dan rekan-rekannya kemudian merancang dua kosa kata gerakan yang berbeda, satu berisi 8 gerakan seluruh tangan (WaveGlove-single) dan lainnya berisi 10 gerakan tangan yang lebih kompleks dan dirancang dengan cermat, di mana masing-masing jari bergerak secara berbeda (WaveGlove-multi).

WaveGlove: Sarung tangan dengan lima sensor inersia untuk pengenalan gerakan tangan

Gestur dari kumpulan data tunggal WaveGlove serupa dengan yang biasanya diklasifikasikan hanya menggunakan satu sensor. Sensor bergerak ke arah panah. Kredit: Kralik & Suppa.

“Kehadiran beberapa sensor memungkinkan kami untuk merancang dan mengklasifikasikan kosakata gerakan yang lebih kaya dibandingkan dengan sensor genggam tunggal,” kata Kralik. “Gerakan yang kami klasifikasikan menggunakan beberapa sensor mirip dengan yang sudah kami gunakan dalam kehidupan sehari-hari. Ini membuat penggunaan perangkat seperti WaveGlove lebih mudah dan lebih alami.”

Selain mengumpulkan kumpulan data gerakan tangan dan mengonfirmasi keefektifan sistem WaveGlove, para peneliti membandingkan lebih dari 10 metode klasifikasi untuk pengenalan gerakan tangan, beberapa di antaranya telah mereka kembangkan sebagai bagian dari penelitian mereka sebelumnya. Mereka mengevaluasi metode ini pada banyak kumpulan data yang berbeda, karena mereka berharap ini akan membantu menstandardisasi hasil di bidang pengenalan gerakan tangan.

WaveGlove: Sarung tangan dengan lima sensor inersia untuk pengenalan gerakan tangan

Beberapa gerakan dari kumpulan data WaveGlove-multi. Kehadiran beberapa sensor memungkinkan gerakan jari yang berbeda serta menggunakan gerakan yang sudah kita ketahui dari kehidupan kita sehari-hari. Kredit: Kralik & Suppa.

Temuan yang dikumpulkan oleh tim peneliti ini dapat memiliki banyak implikasi berharga. Pertama, pekerjaan mereka dapat menginformasikan penelitian yang berfokus pada pengenalan gerakan tangan dan membantu meningkatkan sistem yang ada. Kedua, prototipe WaveGlove yang mereka buat pada akhirnya dapat digunakan untuk meningkatkan komunikasi antara manusia dan mesin, memungkinkan mesin tersebut untuk menafsirkan gerakan tangan manusia dengan lebih baik.

“Sepengetahuan kami, kami menyediakan dataset multi-sensor pertama yang tersedia untuk umum dengan ukuran signifikan di bidang Pengenalan Gerakan Tangan menggunakan sensor inersia,” kata Kralik. “Kami juga menunjukkan bahwa jumlah optimal dan penempatan sensor tergantung pada gerakan yang diklasifikasikan. Kami sekarang bertujuan untuk mengeksplorasi penyempurnaan lebih lanjut dari model berbasis Transformer yang kami periksa, meningkatkan ukuran dan variabilitas dataset dan memperluas kosakata multi-sensor dari gerakan.”


Untuk anak kembar, gerak tubuh dan ucapan berjalan seiring dalam perkembangan bahasa language


Informasi lebih lanjut:
WaveGlove: Pengenalan gerakan tangan berbasis transformator menggunakan beberapa sensor inersia. arXiv:2105.01753 [cs.HC]. arxiv.org/abs/2105.01753

© 2021 Sains X Jaringan

Kutipan: WaveGlove: Sarung tangan dengan lima sensor inersia untuk pengenalan gerakan tangan (2021, 15 Juni) diambil 15 Juni 2021 dari https://techxplore.com/news/2021-06-waveglove-glove-inertial-sensors-gesture.html

Dokumen ini tunduk pada hak cipta. Terlepas dari transaksi wajar apa pun untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize