Estimasi pose tangan 3-D menggunakan kamera yang dikenakan di pergelangan tangan
HI-Tech

Estimasi pose tangan 3-D menggunakan kamera yang dikenakan di pergelangan tangan


Sistem ini adalah yang pertama dari jenisnya yang memperkirakan pose tangan 3-D menggunakan kamera yang berfokus pada punggung tangan. Kredit: ACM, UIST

Para peneliti di Institut Teknologi Tokyo (Tokyo Tech) bekerja sama dengan rekan-rekan di Universitas Carnegie Mellon, Universitas St Andrews, dan Universitas New South Wales telah mengembangkan perangkat yang dikenakan di pergelangan tangan untuk estimasi pose tangan 3-D. Sistem terdiri dari kamera yang menangkap gambar punggung tangan, dan didukung oleh jaringan saraf yang disebut DorsalNet yang dapat mengenali gerakan dinamis secara akurat.

Mampu melacak gerakan tangan sangat penting dalam memajukan perangkat augmented reality (AR) dan virtual reality (VR) yang sudah mulai banyak diminati di sektor medis, olahraga, dan hiburan. Sampai saat ini, perangkat ini telah melibatkan penggunaan sarung tangan data besar yang cenderung menghalangi gerakan alami atau pengontrol dengan jangkauan penginderaan terbatas.

Sekarang, tim peneliti yang dipimpin oleh Hideki Koike di Tokyo Tech telah merancang sistem pengenalan pose tangan 3-D berbasis kamera yang di masa depan dapat setara dengan jam tangan pintar. Sistem mereka dapat memungkinkan penangkapan gerakan tangan dalam pengaturan seluler.

“Pekerjaan ini adalah penaksir pose tangan 3-D real-time berbasis penglihatan pertama yang menggunakan fitur visual dari daerah punggung tangan,” kata para peneliti. Sistem terdiri dari kamera yang didukung oleh jaringan saraf bernama DorsalNet yang secara akurat dapat memperkirakan pose tangan 3-D dengan mendeteksi perubahan di punggung tangan.

Para peneliti menegaskan bahwa sistem mereka mengungguli pekerjaan sebelumnya dengan rata-rata akurasi 20% lebih tinggi dalam mengenali gerakan dinamis, dan mencapai akurasi 75% dalam mendeteksi sebelas jenis pemahaman yang berbeda.

Pekerjaan tersebut dapat memajukan pengembangan pengontrol yang mendukung interaksi tangan kosong. Dalam tes pendahuluan, para peneliti menunjukkan bahwa dimungkinkan untuk menggunakan sistem mereka untuk kontrol perangkat pintar, misalnya, mengubah waktu pada jam tangan pintar hanya dengan mengubah sudut jari. Mereka juga menunjukkan bahwa sistem dapat digunakan sebagai mouse atau keyboard virtual, misalnya dengan memutar pergelangan tangan untuk mengontrol posisi penunjuk dan menggunakan keyboard 8 tombol sederhana untuk input pengetikan.

Mereka menunjukkan bahwa perbaikan lebih lanjut pada sistem seperti menggunakan kamera dengan frekuensi gambar yang lebih tinggi untuk menangkap gerakan pergelangan tangan yang cepat dan mampu menangani kondisi pencahayaan yang lebih beragam akan dibutuhkan untuk penggunaan di dunia nyata.


MonoEye: Sistem penangkapan gerak manusia yang menggunakan kamera tunggal yang dapat dikenakan


Informasi lebih lanjut:
Erwin Wu dkk. Pose Tangan-Belakang: Estimasi Pose Tangan 3D untuk Kamera yang dikenakan di Pergelangan Tangan melalui Jaringan Deformasi Dorsum.

Konferensi: Simposium Association for Computing Machinery (ACM) on User Interface Software and Technology 2020. uist.acm.org/uist2020/

Disediakan oleh Institut Teknologi Tokyo

Kutipan: Estimasi pose tangan 3-D menggunakan kamera yang dikenakan di pergelangan tangan (2020, 21 Oktober) diakses 27 November 2020 dari https://techxplore.com/news/2020-10-d-pose-wrist-worn-camera.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Keluaran SGP