探索与应对耳戴式双麦克风语音增强中的低质量辅助模态

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》：Exploring and Addressing Low-Quality Auxiliary Modality in Earable Dual-microphone Speech Enhancement

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须具备高级访问权限。

了解详情登录

摘要

摘要

为了提升可穿戴语音交互场景中的语音清晰度，结合耳内麦克风和耳外麦克风协作的双麦克风语音增强（SE）技术已受到研究社区的广泛关注。然而，现有的双麦克风 SE 技术基于一个强假设：高质量的耳内语音（辅助模态）能够为目标空气传播语音（主模态）提供高效的互补信息，这在现实世界中降低了一定的适应性。在本研究中，我们探索了一个关键观察：由耳道变形（ECD）引起的气压不平衡会对耳内语音质量产生不利影响，进而导致语音增强性能显著下降。为解决这一瓶颈问题，我们设计了一种高效的质量感知语音增强方案，命名为 QuaSE，该方案通过评估耳内语音的质量变化，高效且动态地融合互补信息。此外，基于对 ECD 引起的频谱失真的分析，我们设计了一种包含质量感知数据选择和内容感知增强的训练策略，以提升 QuaSE 的泛化能力。大量实验表明，QuaSE 在 PESQ、STOI、SI-SDR 和 SegSNR 指标上分别比最先进的方法高出 6.27%、4.54%、14.90% 和 11.93%。此外，我们还验证了所提出的质量感知融合策略可以模块化地集成到其他感知任务中，从而提升融合性能。

AI 摘要

AI 生成摘要（实验性）

此摘要使用自动化工具生成，并非由本文作者撰写或审核。该摘要旨在支持检索、帮助读者评估相关性，并辅助来自相邻研究领域的读者理解该工作。它意在补充作者提供的摘要，后者仍然是论文的主要摘要。全文版本仍为权威记录版本。 点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的修订和重新生成版本。

要查看此 AI 生成的通俗摘要，您必须具备高级访问权限。