基于物理门控的流式多任务语音前端技术，用于可靠性加权的电话会议情感聚合

《IEEE Access》：Physics-Gated Streaming Multi-Task Speech Front-End for Reliability-Weighted Teleconference Affect Aggregation

　　

摘要：

电话会议的音频通常是可以理解的，但不适合用于副语言推断：回声、混响和非平稳噪声会扭曲语调。我们提出了一种流式多任务前端，该前端具有共享的因果时频框架和多个模块，用于增强处理、流式CTC对齐、声学事件检测和情感估计。与最近主要优化去噪质量或长上下文效率的增强方法不同，该方法的创新之处在于引入了一个物理门控机制——该机制由麦克风与远端信号的连贯性、保守的噪声底限信噪比跟踪以及延迟的事件后验概率来驱动——从而调节跨任务融合，并为情感-唤醒-主导性（V-A-D）的聚合计算提供帧级可靠性权重。通过不超过20毫秒的预测时间，我们将MOS-LQO从1.77（未处理时）提升到了3.68，PESQ评分达到了2.36。在1,795次财报电话会议（共289万条语音记录）中，会议级别的聚合数据的可靠性达到了0.914，并且在时间波动基准测试中提供了超出文本记录的额外信号信息。