智能眼镜上由人工智能驱动的“声纳”可以追踪目光和面部表情

康奈尔大学的研究人员已经开发出两种技术，可以通过类似声纳的感应来追踪一个人的目光和面部表情。这项技术足够小，可以安装在商用智能眼镜、虚拟现实或增强现实耳机上，但与使用相机的类似工具相比，它的功耗要低得多。

　　

康奈尔大学的研究人员已经开发出两种技术，通过类似声纳的感应来追踪一个人的目光和面部表情。这项技术足够小，可以安装在商用智能眼镜、虚拟现实或增强现实耳机上，但与使用相机的类似工具相比，它的功耗要低得多。两者都使用安装在镜框上的扬声器和麦克风，从面部反射听不见的声波，并接收面部和眼球运动引起的反射信号。

GazeTrak是首个依靠声音信号的眼球追踪系统。第二个是EyeEcho，这是第一个基于眼镜的系统，可以持续准确地检测面部表情，并通过虚拟化身实时再现它们。这些设备在智能眼镜电池下可以持续使用几个小时，在VR耳机上可以持续使用一天以上。

信息科学助理教授张程说:“它体积小，价格便宜，功耗极低，所以你可以每天把它戴在智能眼镜上——它不会消耗你的电池。”张教授领导的未来交互智能计算机接口(SciFi)实验室创造了这些新设备。“在虚拟现实环境中，你想要重现详细的面部表情和凝视动作，这样你就可以更好地与其他用户互动，”领导GazeTrak和EyeEcho开发的博士生李珂(音译)说。

在GazeTrak项目中，研究人员在一副眼镜的每个眼框内侧放置了一个扬声器和四个麦克风，以反射和接收来自眼球和眼睛周围区域的声波。由此产生的声音信号被输入到一个定制的深度学习管道中，该管道使用人工智能不断推断出该人注视的方向。对于EyeEcho来说，一个扬声器和一个麦克风位于眼镜的铰链旁边，当面部表情变化时，它们向下指向，以捕捉皮肤的运动。反射信号也使用人工智能进行解释。

有了这项技术，用户可以通过虚拟形象进行免提视频通话，即使是在嘈杂的咖啡馆或街上。虽然一些智能眼镜有识别人脸或区分几种特定表情的能力，但目前还没有一款能像EyeEcho那样持续跟踪表情。

这两项进步的应用不仅仅是增强人的虚拟现实体验。GazeTrak可以与屏幕阅读器一起使用，为弱视人士在浏览网站时读出部分文本。GazeTrak和EyeEcho还可能有助于诊断或监测神经退行性疾病，如阿尔茨海默氏症和帕金森症。患有这些疾病的患者通常会有异常的眼球运动和缺乏表情的面部，而这种技术可以在患者舒适的家中跟踪疾病的进展。研究人员将在秋季的移动计算和网络年度国际会议上介绍GazeTrak，在5月份的计算机械协会CHI会议上介绍EyeEcho。欲了解更多信息，请参阅康奈尔纪事报的这篇报道。