无需标记的3D语音动作追踪,精度达到亚毫米级别

《IEEE Transactions on Neural Systems and Rehabilitation Engineering》:3D markerless tracking of speech movements with submillimeter accuracy

【字体: 大 中 小 】 时间:2026年05月07日 来源:IEEE Transactions on Neural Systems and Rehabilitation Engineering 5.2

编辑推荐:

  摘要:言语运动是通过精确控制发音器官的空间和时间位置所产生的,本质上非常复杂。测量这些运动具有挑战性,通常需要使用安装在口腔和面部周围的多个物理传感器来获取精确的运动数据。对于某些群体(尤其是幼儿)来说,面部传感器的佩戴可能存在困难。最近基于机器学习的无标记面部特征点追踪技术取得

  

摘要:

言语运动是通过精确控制发音器官的空间和时间位置所产生的,本质上非常复杂。测量这些运动具有挑战性,通常需要使用安装在口腔和面部周围的多个物理传感器来获取精确的运动数据。对于某些群体(尤其是幼儿)来说,面部传感器的佩戴可能存在困难。最近基于机器学习的无标记面部特征点追踪技术取得了进展,这种技术能够实现无需物理传感器即可追踪嘴唇运动,但该技术在三维空间是否能够达到亚毫米级的精度和准确性尚不明确。在这里,我们开发了一种新的方法,该方法结合了面部特征点检测器和CoTracker(一种基于Transformer的神经网络模型),能够共同追踪视频序列中的密集点。我们进一步通过评估其追踪精度和准确性来验证这种方法的有效性。研究结果表明,与单独使用面部特征点检测器相比,我们的方法更为精确(标准差约为0.15毫米,而后者超过0.3毫米)。此外,其在三维追踪方面的性能与电磁发音图技术相当(均方根误差约为0.3毫米,与同时记录的电磁发音图数据相当)。重要的是,这种方法在成人和幼儿(3岁和4岁儿童)身上的表现同样出色。我们的新框架利用了开源的预训练模型,既提高了可访问性,也促进了开源科学的发展,同时采用了商用级别的计算资源。这还为提高神经科学领域中广泛使用的无标记追踪应用的性能提供了一个概念验证。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号