Meningkatkan layar sentuh dengan AI
Software

Meningkatkan layar sentuh dengan AI


Metode “CapContact” dapat melokalkan sentuhan dengan jari pada layar sentuh ponsel dan tablet jauh lebih akurat daripada teknologi seluruh industri saat ini. (Video: CHI / SIPLAP)

Ilmuwan Komputer ETH telah mengembangkan solusi AI baru yang memungkinkan layar sentuh merasakan dengan resolusi delapan kali lebih tinggi daripada perangkat saat ini. Berkat AI, solusi mereka dapat menyimpulkan dengan lebih tepat di mana jari-jari menyentuh layar.

Mengetik pesan dengan cepat di ponsel cerdas terkadang mengakibatkan huruf yang salah di keyboard kecil atau tombol masukan lain di aplikasi. Sensor sentuh yang mendeteksi input jari pada layar sentuh tidak banyak berubah sejak pertama kali dirilis di ponsel pada pertengahan tahun 2000-an.

Sebaliknya, layar smartphone dan tablet kini memberikan kualitas visual yang belum pernah terjadi sebelumnya, yang semakin terbukti dengan setiap perangkat generasi baru: ketepatan warna yang lebih tinggi, resolusi yang lebih tinggi, kontras yang lebih tajam. IPhone generasi terbaru, misalnya, memiliki resolusi layar 2532×1170 piksel. Namun sensor sentuh yang diintegrasikan hanya dapat mendeteksi input dengan resolusi sekitar 32×15 piksel — itu hampir 80 kali lebih rendah dari resolusi layar: “Dan inilah kami, bertanya-tanya mengapa kami membuat begitu banyak kesalahan pengetikan pada keyboard kecil? Kami pikir itu kami harus dapat memilih objek dengan akurasi piksel melalui sentuhan, tapi itu pasti bukan masalahnya, “kata Christian Holz, profesor ilmu komputer ETH dari Sensing, Interaction & Perception Lab (SIPLAB) dalam sebuah wawancara di Departemen Ilmu Komputer ETH” Sorotan “seri.

Bersama dengan mahasiswa doktoralnya Paul Streli, Holz kini telah mengembangkan kecerdasan buatan (AI) yang disebut CapContact yang memberikan resolusi super layar sentuh sehingga mereka dapat dengan andal mendeteksi kapan dan di mana jari-jari benar-benar menyentuh permukaan layar, dengan akurasi yang jauh lebih tinggi daripada perangkat saat ini. melakukan. Minggu ini mereka mempresentasikan solusi AI baru mereka di ACM CHI 2021, konferensi utama di Human Factors in Computing Systems.

Mengenali di mana jari-jari menyentuh layar

Para peneliti ETH mengembangkan AI untuk layar sentuh kapasitif, yang merupakan jenis layar sentuh yang digunakan di semua ponsel, tablet, dan laptop kita. Sensor mendeteksi posisi jari dengan fakta bahwa medan listrik di antara garis sensor berubah karena kedekatan jari saat menyentuh permukaan layar. Karena penginderaan kapasitif secara inheren menangkap kedekatan ini, ia tidak dapat benar-benar mendeteksi kontak sebenarnya — yang cukup untuk interaksi, karena intensitas sentuhan yang diukur menurun secara eksponensial dengan bertambahnya jarak jari.

Penginderaan kapasitansi tidak pernah dirancang untuk menyimpulkan dengan akurasi tepat di mana sentuhan benar-benar terjadi di layar, kata Holz: “Ini hanya mendeteksi kedekatan jari kita.” Layar sentuh perangkat masa kini menginterpolasi lokasi di mana input dibuat dengan jari dari pengukuran jarak kasar. Dalam proyek mereka, para peneliti bertujuan untuk mengatasi kedua kekurangan sensor yang ada di mana-mana ini: Di ​​satu sisi, mereka harus meningkatkan resolusi sensor yang saat ini rendah dan, di sisi lain, mereka harus mencari tahu bagaimana secara tepat menyimpulkan masing-masing sensor. bidang kontak antara jari dan permukaan layar dari pengukuran kapasitif.

Metode CapContact dapat melokalkan sentuhan dengan jari pada layar sentuh ponsel dan tablet jauh lebih akurat daripada teknologi seluruh industri saat ini. Kredit: CHI / SIPLAP

Akibatnya, CapContact, metode baru yang dikembangkan Streli dan Holz untuk tujuan ini, menggabungkan dua pendekatan: Di satu sisi, mereka menggunakan layar sentuh sebagai sensor gambar. Menurut Holz, layar sentuh pada dasarnya adalah kamera dengan kedalaman resolusi sangat rendah yang dapat melihat sejauh delapan milimeter. Kamera kedalaman tidak menangkap gambar berwarna, tetapi merekam gambar seberapa dekat objek. Di sisi lain, CapContact memanfaatkan wawasan ini untuk secara akurat mendeteksi area kontak antara jari dan permukaan melalui algoritme pembelajaran mendalam baru yang dikembangkan para peneliti.

“Pertama,” CapContact ‘memperkirakan area kontak aktual antara jari dan layar sentuh setelah disentuh, “kata Holz,” Kedua, CapContact menghasilkan area kontak ini delapan kali resolusi sensor sentuh saat ini, memungkinkan perangkat sentuh kami mendeteksi sentuhan dengan lebih tepat . “

Untuk melatih AI, para peneliti membangun peralatan khusus yang merekam intensitas kapasitif, yaitu, jenis pengukuran yang direkam ponsel dan tablet kami, dan peta kontak yang sebenarnya melalui sensor tekanan resolusi tinggi optik. Dengan menangkap banyak sentuhan dari beberapa peserta tes, para peneliti menangkap set data pelatihan, yang darinya CapContact belajar memprediksi area kontak resolusi super dari data sensor kasar dan resolusi rendah perangkat sentuh saat ini.

Resolusi layar sentuh rendah sebagai sumber kesalahan

“Dalam makalah kami, kami menunjukkan bahwa dari area kontak antara jari Anda dan layar smartphone seperti yang diperkirakan oleh CapContact, kami dapat memperoleh lokasi input sentuh dengan akurasi yang lebih tinggi daripada yang dilakukan perangkat saat ini,” tambah Paul Streli. Para peneliti menunjukkan bahwa sepertiga dari kesalahan pada perangkat saat ini disebabkan oleh sensor input resolusi rendah. CapContact dapat menghapus kesalahan ini melalui pendekatan pembelajaran mendalam novel peneliti.

Para peneliti juga menunjukkan bahwa CapContact dengan andal membedakan permukaan sentuh bahkan ketika jari-jari menyentuh layar sangat berdekatan. Ini terjadi, misalnya, dengan gerakan mencubit, saat Anda menggerakkan ibu jari dan jari telunjuk di layar untuk memperbesar teks atau gambar. Perangkat saat ini hampir tidak dapat membedakan sentuhan yang berdekatan.

Temuan proyek mereka sekarang mempertanyakan standar industri layar sentuh saat ini. Dalam eksperimen lain, para peneliti menggunakan sensor beresolusi lebih rendah daripada yang dipasang di ponsel kita saat ini. Namun demikian, CapContact mendeteksi sentuhan dengan lebih baik dan dapat memperoleh lokasi input dengan akurasi lebih tinggi daripada yang dilakukan perangkat saat ini pada resolusi reguler saat ini. Ini menunjukkan bahwa solusi AI para peneliti mungkin membuka jalan bagi penginderaan sentuh baru di ponsel dan tablet masa depan untuk beroperasi dengan lebih andal dan tepat, namun dengan footprint yang berkurang dan kompleksitas dalam hal pembuatan sensor.

Untuk memungkinkan orang lain mengembangkan hasil mereka, para peneliti merilis model pembelajaran mendalam yang terlatih, kode, dan kumpulan data mereka di halaman proyek mereka.


Pembicaraan paten Apple: Kekuatan berbasis ultrasound dan penginderaan sentuh


Informasi lebih lanjut:
Paul Streli dkk. CapContact: Merekonstruksi Area Kontak Resolusi Tinggi pada Sensor Kapasitif, Prosiding Konferensi CHI 2021 tentang Faktor Manusia dalam Sistem Komputasi (2021). DOI: 10.1145 / 3411764.3445621

Kutipan: Meningkatkan layar sentuh dengan AI (2021, 14 Mei) diambil pada 14 Mei 2021 dari https://techxplore.com/news/2021-05-screens-ai.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Keluaran Singapore Hari Ini