一种具有隐私感知非身份识别数据增强流水线的自适应双流神经编码器，用于低延迟跨语言语音识别

《Scientific Reports》：Adaptive dual stream neural encoder with privacy aware non-identifying data augmentation pipeline for low latency cross lingual speech recognition

　　

摘要

实时应用中的跨语言语音识别受低延迟、高识别准确率以及对对话音频严格隐私保护这三项联合要求的制约。本研究通过设计一种自适应双流神经网络编码器来解决这些约束，该编码器在流式模式下并行显式地对声学和语言信息进行建模。所提出的架构包含两个协调的流：一个处理固定大小块的对数梅尔特征的声学编码器，以及一个处理部分词元嵌入的语言编码器，并通过一个自适应门控模块融合这两种表示，以最小化重算和缓冲延迟。还引入了一种隐私保护数据增强流程，其中在不存储原始敏感语音或说话人元数据的情况下，应用了非识别性信号变换、特征空间扰动和跨语言掩码。该框架在包括 CoVoST 2、Common Voice 和 MuST-C 在内的多语言语料库上进行了训练和评估，与强大的流式 Transformer 基线相比，平均词错误率降低了约 19%，在低资源语言中最高降低了 22%。在流式条件下，双流编码器达到了 0.60 的实时率，典型语句的端到端延迟低于 320 毫秒，同时在大多数评估语言中将字错误率保持在 7% 以下。消融研究表明，自适应门控贡献了约 20% 的相对词错误率改进，而隐私保护增强在嘈杂和域偏移的测试场景中带来了约 14% 的额外收益。因此，本研究为低延迟、隐私感知、适用于实时多语言服务部署的跨语言语音转文本系统建立了一条切实可行的路径。