视听语音识别全面综述：当前趋势、挑战与未来方向

《Neurocomputing》：A Comprehensive Survey of Audio-Visual Speech Recognition: Current Trends, Challenges and Future Directions

　　

# 摘要

本文对视听语音识别（AVSR）和视觉语音识别（VSR）进行了统一的历史与方法论分析。我们分析了该领域的发展脉络——从早期基于手工构建的视觉-声学描述子和隐马尔可夫模型（HMM）的统计流水线，到卷积-循环网络（CNN-RNN）的兴起，再到以注意力机制为核心的Transformer-Conformer设计，直至最新的将大规模自监督编码器与高容量语言模型相结合的基础模型架构。除了梳理架构里程碑之外，本文还特别强调了一个相对较少被探索的因素：系统在多语言和低资源场景下的表现。尽管在以英语为中心的基准测试上取得了重要进展，这些系统在语言迁移、模态平衡以及无约束条件下的鲁棒性方面仍存在显著不足。面临的挑战包括：过度依赖英语音素体系、各语言数据集覆盖不均，以及由音频驱动的标记化（tokenization）、帧率适配或注意力同步引入的时间对齐偏差，这些因素限制了视觉流在恶劣声学条件下的贡献。本文通过以下三项主要贡献推动该领域的发展：（1）提出了一种统一的分类体系，涵盖了AVSR/VSR中的主要方法范式，并将其置于更广泛的算法与时间背景下；（2）对多语言数据集和方法进行了详细分析，特别关注代表性不足和低资源语言；（3）建立了一个全面的评价框架，系统地揭示算法和数据驱动的瓶颈，同时概述了具体且基于证据的研究方向。最后，我们提出了一个前瞻性的研究议程，为开发具有鲁棒性、高效性和公平性、能够在多种语言、模态和部署环境中有效运行的系统提供了切实可行的见解。

# 引言

计算建模的进步拓展了语音识别的范围，强化了听觉和视觉信息作为理解口语互补模态的重要性。语音感知虽然主要依赖听觉，但视觉输入能显著增强其效果，这解释了为何大多数口头交流都发生在视听线索同时可用的情况下[1]。这一观察促使了语音建模的多模态范式的发展，在该范式中，从音素到完整句子的语言单元通过编码器-解码器或序列到序列架构被转换为文本表示。在此背景下，语音识别是指通过分析听觉和视觉输入信号，将口语转换为书面文字或其他符号形式的计算过程[2]。

音频语音识别（ASR）是指从声学信号中提取显著的频谱和时域特征并将其映射到语言单元，进而转换为可读输出的过程[2]。在过去几十年中，ASR通过从手工构建的特征提取技术向采用卷积、循环和Transformer架构的数据驱动深度学习方法的转变，取得了显著进展。这些进展使ASR能够支持教育和多媒体领域的大规模自动转录、为半监督学习中扩展语音语料库生成伪标签，以及在需要高精度和低延迟的实时沉浸式应用中运行[3]。尽管取得了这些成就，ASR性能在包含背景噪声、混响、信道失真或多说话人重叠语音的真实环境中会显著下降。此类失真以可能损害即使是最先进的特征提取和建模技术有效性的方式改变声学信号的频谱和时域特征。这些挑战促成了多模态系统的发展，这些系统整合了源自唇部和面部发音运动的互补视觉信息。由于视觉线索不受声学干扰的影响，它们提供了关键的消歧信息，从而改善了鲁棒性，并在声学困难条件下保持了识别准确性[3]。

视觉语音识别（VSR），又称唇读，是指仅基于视觉线索，特别是感兴趣区域（ROI）内唇部的运动和形状，辅以面部表情来识别语音的过程[2]，[4]。VSR任务的发展基石包括：为有听力和言语障碍的个体提供更大的独立性和改善的生活质量[2]、加强基于生物特征的认证系统、支持教育环境中的实时转录。它还可在特殊场景中发挥作用，如静默认证（安全系统依赖非发声的发音动作来验证凭证），或在取证调查中解读静默或质量退化的音频录音[1]。然而，VSR系统存在固有局限，包括在大头姿变化、部分遮挡以及低分辨率或低质量成像下精度下降。视觉线索本身往往高度模糊，且由于显著的说话人差异[2]——包括唇部运动模式、头部朝向和发音风格的差异——而容易产生误差。此外，视觉上相似的音素（visemes）的存在进一步限制了性能，因为在没有声学信息的情况下无法可靠地区分它们。这些挑战因任务对大规模、多样化数据集的依赖而加剧，而这些数据集需要准确捕捉现实世界的采集条件，获取成本高且困难。总体而言，这些挑战严重影响了纯视觉系统的鲁棒性，使其在无约束环境中效果不佳。为应对这些局限，当前研究越来越多地采用结合听觉和视觉模态的多模态语音识别框架，利用其互补优势，在各种运行条件下提高准确性、弹性和可靠性。

视听语音识别（AVSR）作为自动语音识别的多模态扩展，指的是联合处理声学特征和时间对齐的视觉信息以提高口语建模和解码的计算框架[5]。由于对多样化运行环境中鲁棒语音识别需求的增长，AVSR已成为关键研究领域，催生了方法论创新并拓展了应用边界。大多数先前的研究集中在通过模态融合策略优化AVSR在英语基准数据集上的性能，其中互补的视觉线索与音频信号结合，以提高识别准确性和噪声鲁棒性[6]。

尽管AVSR相比单模态系统具有优势，但仍面临若干固有局限，影响其泛化能力和适用性。语音识别的核心在于通过对最小语言单元的建模将语音转换为文本表示。在声学领域，这些单元被称为音素，其频谱-时域特征因说话人和语音环境而异[7]。其视觉对应物——visemes——本质上更为模糊，类间视觉区分度有限，且对协同发音效应高度敏感，后者会扭曲唇部形状和运动[4]。这些挑战降低了音素的视觉可分性，使准确分割更加困难。尽管多模态融合缓解了部分问题，但AVSR性能仍取决于音频和视觉流的质量、同步和分辨率，而这些在现实采集场景中可能退化。此外，由于大型标注好的基准数据集可用，大多数AVSR研究集中在高资源语言上，主要是英语[8]，[9]。低资源语言尽管常与高资源语言共享共同音素，但在基准设计和模型评估中代表性不足，限制了当前AVSR系统的语言多样性和包容性。

已有若干综述记录了视觉语音识别（VSR）和视听语音识别（AVSR）的演变，但方法论重点和范围各异。Fernandez-Lopez和Sukno[118]回顾了2007至2017年的自动唇读研究，对数据集和从传统方法向端到端深度学习的转变进行了广泛分析。Fenghour等人[119]随后聚焦于基于深度学习的唇读，重点研究视觉特征提取、识别架构和分类策略。最近，Nemani等人[2]系统考察了说话人无关的VSR，包括数据集准备、特征提取、传统方法和深度识别方法。这些研究对视觉识别流水线覆盖充分，但其主要焦点仍是VSR/唇读；因此，视听融合、多语言AVSR以及声学模态与视觉模态的交互要么超出其范围，要么仅作为次要内容处理。

较少数量的综述涉及更广泛或更新的方法论发展。Ivanko等人[10]详细回顾了2013至2023年间开发的深度学习AVSR方法，包括数据集、预处理、增强和融合策略；然而，其综述明确排除了早期手工方法，且未涵盖后续基础模型和LLM辅助AVSR的许多发展。Sheng等人[120]调研了深度视觉语音分析，同时考虑视觉语音识别和生成，而Oghbaie等人[1]则聚焦于深度自动唇读、其数据集、指标和实际挑战。这些综述对现代深度视觉-语音系统覆盖充分，但未提供将VSR/AVSR的统计基础与近期多模态自监督和基于基础模型的系统的连续分析。

最近的Rezaee和Yeganeh的综述[121]最接近本文调研的架构视角。它涵盖了经典、深度/混合以及基于Transformer/Conformer的自动唇读方法，并分析了准确性、计算效率、延迟、鲁棒性和可解释性之间的权衡。然而，其核心任务仍是自动视觉唇读，包括旨在改善纯视觉推理的多模态训练策略。因此，VSR和AVSR的共同演变、专门的多语言和低资源分析、异构AVSR评估协议以及近期基于基础模型的AVSR系统仍超出其主要范围。

本综述在上述互补工作基础上，联合考察VSR和AVSR跨连续方法论代际的演变，从手工和统计方法到CNN-RNN架构、Transformer-Conformer和自监督模型，再到近期基于基础模型的系统。架构分析与受控和野外数据集、多语言和低资源场景、模态融合策略、异构评估条件和部署约束的专门考察相结合。这一整合视角使我们能够将架构进展不仅与识别性能联系起来，还与语言覆盖范围、数据集特征、模态依赖、评估方法和实际应用联系起来。这些维度在表1中进行了对比总结。

如表1所示，先前综述对视觉和视听语音识别的各个方面提供了充分覆盖；然而，其范围在模态、方法论时期或应用重点方面通常存在差异。本综述通过联合考察VSR和AVSR跨方法论代际的演变，并将架构发展与多语言和低资源场景、数据集特征、评估实践、模态交互和部署约束联系起来，对这些研究进行了补充。

为为本次综述提供透明的基础，我们进行了一次结构化的文献回顾，聚焦于视觉语音识别（VSR）和视听语音识别（AVSR）。该回顾考虑了截至2025年9月的出版物，涵盖了从手工和统计方法向深度学习架构、Transformer-Conformer模型、自监督学习和基于基础模型的系统的转变。在必要时也纳入了早期基础研究，以解释仍然与VSR和AVSR发展相关的既有统计方法、特征表示技术、降维方法和评估指标。

文献检索通过Scopus、Web of Science核心合集、IEEE Xplore、ACM数字图书馆、ScienceDirect和SpringerLink进行。Google Scholar被用作补充来源，用于向前和向后引用追踪。检索策略将主要领域术语"visual speech recognition""audio-visual speech recognition""audiovisual speech recognition""automatic lip reading""lip reading"和"lipreading"与与本综述考虑的主要方法论和应用维度相关的互补术语相结合，包括"deep learning""Transformer""Conformer""self-supervised learning""foundation model""multilingual""low-resource""dataset""benchmark""fusion""evaluation""word error rate"和"character error rate"。检索表达式根据各文献数据库的语法进行了调整。

符合以下至少一项标准的研究被视为符合条件：（i）提出或评估了VSR或AVSR方法；（ii）引入或分析了用于VSR/AVSR的数据集或基准；（iii）研究了视听融合、多语言或低资源识别、自监督学习、评估方法或部署相关约束；或（iv）提供了与本工作定位直接相关的综述或评述。优先选取同行评审的期刊和会议论文。仅在描述技术上相关的发展且截至文献检索时尚无存档版本的情况下，才保留近期预印本。当研究仅聚焦于纯音频语音识别、说话人识别或验证、没有直接VSR/AVSR组件的通用多模态学习、没有识别组件的语音增强，或缺乏与本综述方法论相关性的应用专用系统时，则将其排除。重复记录、非存档短文和方法论信息不足的研究也被排除。

初步数据库检索识别出510篇独特出版物。经标题和摘要筛选后，保留180篇进行全文评估。对全文评估中符合条件的研究以及主要先前综述也进行了向前和向后引用追踪，以识别未通过原始数据库查询检索到的基础或高度相关的出版物。

经过全文评估和基于引用的补充，保留了110篇出版物作为核心分析语料库。所选文献按照本综述中考虑的主要方法类别进行了组织，并进一步从数据集获取条件、语言覆盖范围、多模态配置、评估协议和部署相关约束等方面进行了分析。由于部分研究对多个分析维度均有贡献，该组织方式被用作分析框架，而非互斥分类。

**研究范围**
本文提供了对视听语音识别研究的全面分析，涵盖其方法学基础、可用数据集、评估指标和新兴趋势，同时识别了开放挑战并概述了未来发展的潜在方向。该综述具有历史基础和方法论的包容性，对视觉语音识别（VSR）和视听语音识别（AVSR）中开发的主要技术提供了结构化的考察和分类。

**数据集**
语音识别系统的性能和泛化能力与其用于开发和评估的数据集的质量、多样性和代表性密切相关[29]。过去几十年来，研究界编制了广泛的语料库，旨在捕捉语音信号的不同方面，这些语料库不仅在语言覆盖范围和说话者人口统计方面有所不同，而且在录音条件、环境复杂性和模态可用性方面也有所差异。

**评估指标**
在视觉和视听语音识别的最早期工作中，性能通常通过识别率（RR）[116]进行量化。RR表示正确识别的单位（如音素、视素或单词）相对于参考单位总数的比例。当评估的单位是单词时，这一度量通常称为单词识别率（WRR）。RR和WRR尤其适用于孤立单元或固定词汇分类任务。

**传统视觉语音识别方法（2000–2010）**
2000年至2010年的十年间标志着传统人工方法在视觉语音识别中的主导地位。在此期间，系统主要依赖人工设计的视觉描述符来捕捉语音发音的时空动态。这些特征提取流程通常与统计序列模型耦合，最显著的是带有Viterbi解码的隐马尔可夫模型（HMMs）[19]、[75]、高斯混合建模[76]或混合分类器。

**讨论**
过去二十五年间，视听语音识别（AVSR）和视觉语音识别（VSR）的发展轨迹呈现出一种反复出现的进化模式：连续的方法论世代缓解了其前代者的某些局限性，同时引入了新的约束。传统方法（2000–2010）通过形式化特征提取的经典流程，建立了视觉语音识别的算法基础。

**结论与展望**
本综述追溯了视听语音识别（AVSR）和视觉语音识别（VSR）的方法学演变，从早期的统计框架，到混合卷积-循环神经网络架构，再到注意力驱动的Transformer-Conformer模型，最近则是基于基础模型的流程。每一代转变都在表征学习、时间依赖建模和多模态融合方面引入了实质性改进，但同时也揭示了……

**作者贡献声明**
Tapu Ruxandra：可视化、软件、调查、概念化。Andra Laura Dobre：写作——审阅与编辑、监督、方法论、调查。Bogdan Mocanu：写作——初稿、软件、方法论、数据整理。Sultana Alina：写作——审阅与编辑、写作——初稿、验证、方法论。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系，这些可能影响本论文中报告的工作。

**致谢**
本工作部分由罗马尼亚研究与创新数字化部（CCCDI - UEFISCDI）的两项拨款支持，项目编号为PN-IV-P6-6.3-SOL-2024-2-0238和PN-IV-P6-6.3-SOL-2024-0049，在PNCDI IV框架内。

Andra Laura Dobre于2021年和2025年分别从罗马尼亚布加勒斯特国立科学和技术大学（POLITEHNICA）获得应用工程科学、电子工程、电信和信息技术的学士和硕士学位。2022年至2024年，她担任Xperi/Tobii的实习生，后来成为助理机器学习工程师，参与汽车领域的机器学习解决方案的研究和部署。她的研究……

Andra Laura Dobre|Ruxandra Tapu|Alina-Elena Sultana|Bogdan Mocanu