其技术可以利用Android智能手表中已经存在的传感器,如IMU(惯性测量单元)和生物声学传感器,来检测用户的手指捏合和轻触等微手势,并将其转换为AR头显中的输入信号。该技术不需要任何额外的摄像头或激光雷达传感器,成本低廉,精度高,反应快。该技术支持创作者能想到的最简单、最通用的手势:捏合。该技术还可以检测用户对各种不同物体的触碰时刻,实现表面交互。
谷歌的专利背景指出,一些增强现实和虚拟现实系统将用户的手势解释为与虚拟对象交互的命令。
有了Hyperion、Leap Motion 2附加控制器和OpenXR支持,Ultraleap已准备好为新一代头戴式设备提供手势输入和手部追踪功能。
用户可以通过在鼠标附近空中移动手指或手掌来执行手势操作,这与苹果 Vision Pro 中的手势识别功能类似。