随着新的腕带设备的发明,用于手部3D的姿势预估的实现,增强现实(AR)和虚拟现实(VR)技术的发展又向前迈进了一步。这个装置是由东京理工学院(Tokyo Technology)的研究人员与卡内基梅隆大学、圣安德鲁斯大学和新南威尔士大学的研究小组一起发明的。
新系统的主要特点是利用一个能够在手背上捕捉图像的相机,它通过使用一种叫做DorsalNet的神经网络来实现这一点,神经网络能够识别动态手势。
AR和VR设备的使用越来越多,尤其是在健康、体育和娱乐等行业。这一新的发展将有助于使该行业摆脱目前依赖的更笨重的方法,其中包括难以自然移动的大手套。
三维手部姿态识别系统
研究小组由东京理工大学的小池秀树领导。根据研究人员的说法,“这项工作是第一个基于视觉的实时三维手部姿势估计器,利用手背部区域的视觉特征。该系统由一个名为DorsalNet的神经网络支持的摄像机组成,该网络可以通过检测手背的变化来精确估计手的三维姿势。”
这个装置有一个摄像头,戴在手腕上,它可以作为一个3D手势识别系统。该设备最重要的一点是,即使在环境和设备本身移动的情况下,它也能捕捉到手的运动,这可能类似于智能手表。
准确度和初步测试
研究表明,新开发的系统性能优于以往的尝试。具体来说,它在识别动态手势方面的准确率平均提高了20%。当涉及到确定一个具体的11种不同的抓取类型,它有75%的准确率。
初步测试表明,该系统可以用于智能控制。这些应用程序包括通过改变手指角度来改变智能手表的时间。除此之外,研究人员还演示了它如何充当虚拟鼠标或键盘,允许像手腕旋转这样的动作来控制指针。
据研究人员称,该系统要在现实世界中使用,还需要进行更多的改进。例如,他们将需要使用一个更先进的相机,更高的帧速率,以捕捉更快的手腕运动,以及处理各种不同的闪电情况。