TapType: Pelacakan Gerakan Tangan Berbantuan AI Hanya Menggunakan Akselerometer

Tim dari Sensing, Interaction & Perception Lab di ETH Zürich, Swiss telah menemukan TapType, metode input teks menarik yang hanya mengandalkan sepasang perangkat yang dikenakan di pergelangan tangan, yang merasakan nilai akselerasi saat pengguna mengetik di permukaan lama mana pun. . Dengan memasukkan nilai akselerasi dari sepasang sensor di setiap pergelangan tangan ke dalam jaringan saraf tipe klasifikasi inferensi Bayesian yang pada gilirannya mengumpankan model bahasa probabilistik tradisional (teks prediktif, untuk Anda dan saya), teks yang dihasilkan dapat dimasukkan hingga 19 WPM dengan rata-rata error 0,6%. Expert TapTypers melaporkan kecepatan hingga 25 WPM, yang bisa sangat berguna.

Detailnya agak langka (ini adalah proyek penelitian, bagaimanapun juga) tetapi perangkat keras yang sebenarnya tampaknya cukup sederhana, berbasis di sekitar Dialog DA14695 yang merupakan SoC Bluetooth Low Energy berbasis Cortex M33 yang bagus. Ini adalah perangkat yang menarik dalam dirinya sendiri, berisi blok “sensor node controller”, yang mampu menangani perangkat sensor yang terhubung ke antarmukanya, terlepas dari CPU utama. Perangkat sensor yang digunakan adalah akselerometer 3-sumbu Bosch BMA456, yang terkenal karena konsumsi dayanya yang rendah, hanya 150 A.

Pengguna dapat “mengetik” pada permukaan yang nyaman.

Unit gelang itu sendiri tampaknya merupakan kombinasi dari PCB utama yang menampung chip BLE dan sirkuit pendukung, yang terhubung ke PCB fleksibel dengan sepasang perangkat akselerometer di setiap ujungnya. Perakitan kemudian dimasukkan ke dalam gelang fleksibel, kemungkinan dibuat dari TPU cetak 3D, tetapi kami hanya menebak-nebak, karena perkembangan dari platform tertanam pertama ke prototipe yang dapat dikenakan tidak jelas.

Yang jelas adalah bahwa gelang itu sendiri hanyalah perangkat pengaliran data yang bodoh, dan semua pemrosesan cerdas dilakukan pada perangkat yang terhubung. Pelatihan sistem (dan pemilihan selanjutnya dari arsitektur pengklasifikasi paling akurat) dilakukan dengan merekam sukarelawan “mengetik” pada gambar keyboard berukuran A3, dengan gerakan jari dilacak dengan kamera pelacak gerakan, sambil merekam aliran data akselerasi dari kedua pergelangan tangan. Ada beberapa rincian lebih lanjut dalam makalah yang diterbitkan bagi mereka yang tertarik untuk menggali penelitian ini sedikit lebih dalam.

Mata elang mungkin mengingat sesuatu yang serupa dari tahun lalu, dari tim yang sama, yang menghubungkan penginderaan konduksi tulang dengan pelacakan tangan tipe VR untuk menghasilkan peristiwa input di dalam lingkungan VR.