高质量的多模态融合技术提升了增强现实数字媒体中的场景构建和交互体验

《Scientific Reports》：Quality gated multimodal fusion improves scene construction and interaction experience in augmented reality digital media

　　

摘要

增强现实技术如今已广泛应用于数字媒体制作，但其场景构建仍存在诸多问题，如定位偏差、传感器数据同步性问题、不自然的人机交互方式以及过高的认知负荷。我们通过一个集成框架来解决这些难题。该框架利用硬件触发的数据采集和由精准时间协议（Precision Time Protocol）控制的时间戳技术，为跨模态注意力模型提供数据输入；该模型的融合权重会根据各模态的可靠性进行动态调整，而非基于固定预设值。随后，一个动态场景构建算法结合语义匹配、基于协方差矩阵的布局优化以及光照效果调整，确保虚拟内容在几何形状和光照效果上与周围环境保持一致。同时，由解码器不确定性估计驱动的自适应反馈机制会根据当前任务需求调整交互提示。在包含184个受控序列的测试数据集（以及公开基准数据集）上，该系统在HoloLens 2平台上实现了91.4%的融合准确率，端到端平均延迟为16.8毫秒（95百分位延迟为18.9毫秒）。当两种模态同时出现故障时，系统的稳定性依然出色。一项针对50名用户的实验研究表明，该方案显著提升了用户的沉浸感、体验满意度、可用性以及认知负荷减轻程度；进一步分析还发现，初次使用该技术的用户比有经验的用户受益更多。这一方法为增强现实数字媒体的发展提供了一条清晰的路径，使其能够超越发烧友群体的局限获得更广泛的应用。不过，户外环境下的可扩展性、对硬件的依赖性以及长时间使用可能带来的用户疲劳问题仍需进一步研究。