引言
人机交互目前正在经历从简单的触觉输入向多模态感知和高级语义理解的根本性转变。虽然自动语音识别（ASR）长期以来一直是自然语言交互的基石，但在复杂、开放的环境中，它遇到了严重的鲁棒性瓶颈。在噪声较大的环境中（例如拥挤的地铁车厢），声学信号的信噪比（SNR）会显著下降，这通常会导致识别性能的崩溃。此外，声音交互的公开性质与现代对隐私保护的要求相冲突。视觉语音识别（VSR），即唇读技术，通过仅从面部肌肉的细微动作中提取语言内容来克服这些限制。由于这一过程不依赖于声学通道，VSR天生具有抗环境噪声的能力。随着增强现实眼镜和可穿戴设备的普及，无声语音接口已成为下一代交互的必要手段（Ferreira, Silva, Curado, & Teixeira (2022); Igarashi, Futami, & Murao (2024)）。在可见语音可能造成干扰的场景中（如图书馆），VSR可以通过嘴形动作实现无声通信，这种能力在保护隐私的同时维护了社交礼仪。
然而，VSR系统的大规模部署仍受到严重的物理和实际障碍限制。主要障碍在于视觉信号中的固有歧义性，这种现象被称为“同音效应”（Scheinberg, 1980），即一个单独的唇形对应多个不同的声学音素。这种一对一的映射使得纯视觉解码在理论上是不稳定的，需要精确的特征区分。这一结构性限制还因数据不足而进一步加剧。目前，高质量标记样本的获取速度无法跟上现实世界应用的快速发展需求。因此，开发能够同时实现准确解码和适应开放环境的VSR系统仍面临巨大挑战。
为了使VSR系统具备持续进化能力，引入类增量学习（Class-Incremental Learning, CIL）至关重要。这种范式使模型能够从连续数据流中逐步学习新类别。然而，将增量学习扩展到唇读识别所面临的挑战比一般图像分类要严重得多。核心困难在于区分同音词所需的决策边界非常脆弱（见图1）。在新任务中，即便是微小的参数偏差也可能严重损害先前学习类别的辨别能力。为了缓解这种灾难性遗忘，标准方法通常依赖经验重放来保持历史样本的缓冲。不幸的是，在VSR中，这种方法遇到了不可逾越的法律障碍。由于面部视频数据包含敏感的生物识别信息，保留历史记录违反了通用数据保护法规（GDPR）（Acosta & Reinhardt, 2022）。因此，采用无样本设置（即模型在学习过程中不访问历史数据）不仅是可行的，而且是合规的必要条件。
在没有数据重放的情况下，人们可能会转向流行的无样本方法，如提示调优或适配器蒸馏。然而，将这些标准方法直接应用于VSR时会暴露出关键的结构缺陷。与一般对象识别不同，VSR面临同音词歧义的问题，即视觉上相同的发音对应不同的词汇。区分这些同音词需要极其明确的决策边界。我们通过实验发现，典型的无样本适应策略（通常涉及全局特征空间调整）往往会平滑特征流形，这种平滑作用模糊了决策边界，导致同音词之间的混淆。因此，Model Merging（Wortsman et al., 2022）作为一种保护隐私的机制显得尤为重要，因为它能够直接在模型权重中巩固知识。
尽管在理论上很有前景，但现有的算术合并算法在精细的VSR领域存在根本缺陷。第一个关键问题是特征平滑效应（Marczak, Twardowski, Trzcinski, & Cygert, 2025）。传统的权重平均方法类似于低通滤波器，会减弱捕捉细微唇部动作所需的高幅度权重。第二个问题是破坏性干扰（Yadav, Tam, Choshen, Raffel, & Bansal, 2023），这是由于跨任务之间的冲突性更新方向导致不同特征相互抵消造成的。我们认为这些失败源于几何根源。标准的独立微调策略通常会收敛到参数空间内的几何上分离的局部最小值，这种分离性违反了线性模式连接性（LMC）假设（Frankle, Dziugaite, Roy, & Carbin, 2020; Garipov, Izmailov, Podoprikhin, Vetrov, & Wilson, 2018）。因此，合并后的模型被迫穿越高损失区域，导致性能大幅下降。
为了解决在严格隐私约束下的同音词歧义问题，我们提出了混合幅度最大值合并（Hybrid Magnitude-Max Merging for Exemplar-Free Class-Incremental Visual Speech Recognition, HM3-VLM）框架。据我们所知，这是首次尝试在完全无样本的环境中实现类增量视觉语音识别。该方法的新颖之处在于语义先验和几何参数融合的协同整合，专门用于对抗上述特征平滑问题。严格的隐私要求决定了必须采用无样本协议，而明确的决策边界需求则促使我们采用参数合并而非特征调整。由于VSR领域中标准合并方法的失败，我们提出了Sign-Max算法来过滤噪声并保留重要权重；同时，模糊的视觉动作与清晰语义之间的差异需要集成一个冻结的大型语言模型（LLM）解码器。我们的具体贡献包括：
- •
视觉-语言协同架构：我们首次将大型语言模型集成到VSR的增量学习中。通过使用冻结的LLM作为语义解码器，并利用双端低秩适应（LoRA，Hu et al., 2022）在编码器和解码器之间进行协调，以平衡可塑性和稳定性。这种方法利用全面的世界知识，在最小化可训练参数的情况下实现了稳健的同音词消歧。
- •
结合几何约束的Sign-Max合并：我们提出了一种Sign-Maximum聚合机制，旨在消除破坏性干扰并保留重要的高幅度权重。该算法在顺序权重继承和基于Task-1的任务向量构建的严格几何约束下运行，共同确保符合LMC假设。通过保留对准确唇读至关重要的精细时空动态，实现了对灾难性遗忘的强大抵抗力。
- •
卓越的性能、效率和隐私合规性：在i-LRW和i-LRW1000基准测试上的广泛实验表明，HM3-VLM显著优于现有的无样本基线方法。值得注意的是，即使是在具有挑战性的场景中，它也能超越基于重放的经典方法。此外，我们的框架具有高计算效率、低延迟和快速推理速度。这证明了可以在不牺牲部署效率或生物特征数据隐私的情况下实现高性能的增量VSR。
