3月8日使用热像仪跟踪手部动作可能是与智能眼镜交互的关键

导读如果整个智能眼镜能够有效地让我们免于低头盯着手机,我们将需要一种可靠的方式与虚拟屏幕进行交互。由于康奈尔大学和威斯康星大学麦迪逊分

如果整个智能眼镜能够有效地让我们免于低头盯着手机,我们将需要一种可靠的方式与虚拟屏幕进行交互。由于康奈尔大学和威斯康星大学麦迪逊分校的新研究,我们仍然可以依靠我们的手和手指,而无需实际触摸屏幕。

这是一个让人想起汤姆克鲁斯在少数派报告中用来与未来派警察电脑交互的非接触式手套的创作,这是一种以前在现实生活中的应用和研究中使用过的方法。我们都已经开发出肌肉记忆,可以在智能手机上快速导航和敲出消息,如果你是一名触控打字员,你可能可以轻松地在半空中完成这些动作,而无需使用实际的键盘来打字。

使手部追踪设备远离消费者的是,迄今为止,它们一直是相当笨重的装置,依赖于战略定位的摄像头、跟踪标记,甚至可以检测用户手部肌肉被激活时的电脉冲的粘性传感器。需要一种不同的方法来使这些设备在日常使用中实用,这就是最终在这里展示的内容。

FingerTrack 可穿戴设备将光学摄像头换成了四个低分辨率热像仪,这些摄像头位于您通常佩戴手表的手腕周围。这些摄像头指向手,但无法畅通无阻地看到佩戴者的手指。取而代之的是,四个摄像头不断拍摄它们所看到的图像,这基本上相当于一个不断变化的热图斑点,从不同角度代表佩戴者的手。

对于肉眼来说,这并没有多大意义,但是当来自四个热像仪的图像合并成一个单一的轮廓时,机器学习可以用来解释斑点并推断出每根手指的实际位置-时间,并且具有足够的精度来区分 20 个手指关节位置。尽管热图图像可能看起来很不起眼,例如,用一根手指做一个指向手势,总是会导致相机捕捉到相同的形状,这意味着即使热像仪并非始终完美对齐,机器学习模型仍然能够使用热图图像来了解手的姿势以及移动方式。

FingerTrack 原型绝对看起来仍然像原型,并且很少有消费者愿意以目前的形式将其绑在手臂上。但最终,该技术可以集成到消费者已经欣然接受的智能手表等设备中。除了实现可穿戴设备的未来之外,还有其他应用。该技术还可以生产能够自动翻译手语的低成本设备,使那些依赖双手的人更容易交流,能够与任何人交谈。跟踪手如何移动,以及随着时间的推移如何变化,例如震颤的发展,也可用于诊断和发现帕金森等疾病的早期迹象。

版权声明:本文由用户上传,如有侵权请联系删除!