การสาธิตการติดตามการเคลื่อนไหวของมือเพื่อควบคุมเมาส์เมื่อเร็วๆ นี้ ได้จุดประกายให้เกิดการถกเถียงอย่างกว้างขวางในชุมชนนักพัฒนา โดยชี้ให้เห็นทั้งความท้าทายและโอกาสในการสร้างวิธีการป้อนข้อมูลทางเลือก แม้ว่าจะได้แรงบันดาลใจมาจากระบบควบคุมด้วยนิ้วมือของ Apple Vision Pro แต่โครงการนี้ได้พัฒนาไปสู่การสนทนาที่กว้างขึ้นเกี่ยวกับการเข้าถึง การเพิ่มประสิทธิภาพ และอนาคตของการปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์
การถกเถียงเรื่องการเพิ่มประสิทธิภาพ
การสนทนาส่วนใหญ่ในชุมชนมุ่งเน้นไปที่การเพิ่มประสิทธิภาพ โดยเฉพาะอย่างยิ่งเกี่ยวกับข้อจำกัดของการใช้งาน Python ในตอนแรก ในขณะที่ปัญหาประสิทธิภาพของ OpenCV นำไปสู่การแก้ปัญหาด้วย JavaScript ผู้เชี่ยวชาญในชุมชนแนะนำว่าปัญหาประสิทธิภาพของ Python ไม่ได้เป็นอุปสรรคที่แก้ไขไม่ได้ การถกเถียงได้เผยให้เห็นวิธีการต่างๆ ในการจัดการกับความล่าช้าของการป้อนข้อมูลและการลดสัญญาณรบกวน โดยเฉพาะอย่างยิ่งวิธีการกรองสัญญาณ
ตัวกรองค่าเฉลี่ยเคลื่อนที่นั้นไม่ค่อยดีในการกำจัดสัญญาณรบกวน - มักจะใช้เวลานานเกินความจำเป็นเนื่องจากแถบความถี่ที่ไม่ดี ลองใช้ตัวกรอง IIR แทน... โดยที่ค่า x อยู่ระหว่างศูนย์และหนึ่ง ยิ่งใกล้หนึ่ง การกรองก็จะยิ่งมากขึ้น
แนวทางเทคนิคหลักที่นำมาอภิปราย:
- MediaPipe สำหรับการตรวจจับจุดสำคัญของมือ
- การสื่อสารผ่าน WebSocket สำหรับการถ่ายโอนข้อมูลแบบเรียลไทม์
- ตัวกรอง IIR และ 1€ สำหรับการลดสัญญาณรบกวน
- เฟรมเวิร์ค Tauri สำหรับการพัฒนาแอปพลิเคชันเดสก์ท็อป
- การคำนวณระยะห่างสัมพัทธ์สำหรับการรับรู้ความลึก
การประยุกต์ใช้งานและกรณีการใช้งานทางเลือก
ชุมชนได้ระบุกรณีการใช้งานที่น่าสนใจหลายอย่างนอกเหนือจากการควบคุมเคอร์เซอร์ทั่วไป การใช้งานเสมือน theremin การประยุกต์ใช้เทคโนโลยีเชิงสร้างสรรค์ และโซลูชันการเข้าถึงสำหรับผู้ที่มีปัญหา RSI ได้กลายเป็นการประยุกต์ใช้ที่น่าสนใจเป็นพิเศษ Project Gameface และทางเลือกในการติดตามใบหน้าได้ถูกยกให้เป็นการพัฒนาที่คู่ขนานในพื้นที่นี้ แสดงให้เห็นถึงระบบนิเวศที่กำลังเติบโตของวิธีการป้อนข้อมูลทางเลือก
ข้อมูลเชิงลึกด้านเทคนิคการใช้งาน
นักพัฒนาได้เสนอการปรับปรุงทางเทคนิคหลายประการสำหรับการใช้งานแบบดั้งเดิม รวมถึงการใช้ตำแหน่งนิ้วชี้สำหรับการควบคุมเคอร์เซอร์ ในขณะที่ใช้การผสมผสานระหว่างนิ้วกลางและนิ้วหัวแม่มือสำหรับการเลือก วิธีนี้อาจช่วยแก้ปัญหาการเลื่อนของเคอร์เซอร์ระหว่างการแตะนิ้ว ในขณะที่ยังคงรักษาการโต้ตอบกับผู้ใช้ที่เป็นธรรมชาติ ชุมชนยังได้แนะนำให้มีการใช้ขั้นตอนการปรับเทียบสำหรับโหมดกล้องหน้าเพื่อปรับปรุงความแม่นยำและการใช้งาน
นัยสำคัญในอนาคต
การสนทนาได้ขยายไปสู่นัยสำคัญที่กว้างขึ้นสำหรับอินเทอร์เฟซ VR/AR โดยเฉพาะอย่างยิ่งความสนใจในโซลูชันที่ใช้ถุงมือและระบบติดตามแบบ IMU บริษัทอย่าง doublepoint.com และแนวทางของพวกเขาในการใช้ข้อมูล IMU จากสมาร์ทวอทช์สำหรับการตรวจจับท่าทางแสดงถึงการพัฒนาเชิงพาณิชย์ที่คู่ขนานในพื้นที่นี้
โครงการนี้แสดงให้เห็นว่าในขณะที่ MediaPipe ทำให้การติดตามมือเข้าถึงได้ง่าย แต่ยังมีพื้นที่สำหรับการเพิ่มประสิทธิภาพและการปรับปรุงในการใช้งานจริงอีกมาก การมีส่วนร่วมของชุมชนแสดงให้เห็นถึงความสนใจอย่างมากในวิธีการป้อนข้อมูลทางเลือก โดยเฉพาะอย่างยิ่งสำหรับการเข้าถึงและกรณีการใช้งานเฉพาะทาง ในขณะเดียวกันก็เน้นย้ำถึงความสำคัญของการเพิ่มประสิทธิภาพในระบบปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์
แหล่งอ้างอิง: Hand Tracking for Mouse Input