《Expert Systems with Applications》：VALOR: Degradation-Aware All-in-One Video Restoration for Robust Multimodal Comprehension
编辑推荐：
•
一个多退化基准测试评估了大语言模型（MLLM）在视频理解方面的鲁棒性。
- •
一个多退化基准测试评估了大语言模型（MLLM）在视频理解方面的鲁棒性。
- •
VALOR将退化感知的视频恢复与自适应关键帧采样集成在一起。
- •
前端流程改进了三种MLLM在八种视频退化情况下的表现。
- •
自适应关键帧采样将每个片段的采样输入从24帧减少到6-8帧。
引言
多模态大语言模型（MLLM）最近在视频问答及相关视频理解任务上取得了优异的性能（Li等人，2024b；Wang等人，2024a；Yin等人，2024）。然而，大多数报告的评估使用了干净且精心策划的视频。这种设置与实际应用不同，在实际应用中，捕获的流媒体通常会受到空间下采样、传感器噪声、模糊、光照不足、雾霾、降雨和积雪等因素的影响。这些退化改变了帧级外观和帧间运动线索，从而可能破坏跨模态推理所依赖的视觉表示。
尽管这些情况普遍存在，但MLLM对可控视频退化的鲁棒性尚未得到充分研究。现有的MLLM基准测试主要在其原始视频分布上测量语义和时间推理能力（Li等人，2024b；Park等人，2025；Yang等人，2025）；它们没有单独分析个别物理退化如何影响下游答案。因此，目前尚不清楚哪些退化最为有害，一个通用的前端恢复模型是否能够恢复丢失的语义信息，以及是否可以通过向MLMM发送更少但信息更丰富的帧来抵消额外的恢复成本。
一体化恢复提供了一个可能的前端解决方案，因为单个网络可以处理多种类型的数据损坏（Potlapalli等人，2023；Tian等人，2025；Liao等人，2025）。然而，将这一想法从图像扩展到视频则带来了三个挑战：首先，不同类型的退化具有不同的物理特性，可能在共享网络中导致优化方向的冲突；其次，仅进行帧级恢复无法保证时间一致性：动态噪声、模糊和天气效应可能会扰乱帧间对应关系和长距离依赖性；第三，将每个恢复后的帧传递给MLMM在计算上效率低下，并且可能会保留冗余或低质量的视觉信息。现有的恢复方法通常针对像素保真度进行优化，而不是针对下游机器推理，因此恢复质量、帧选择和MLMM准确率之间的联系尚未得到充分研究。
本研究探讨了以下研究问题：一个与模型无关的视觉前端是否可以在不修改下游MLMM的情况下提高MLMM的视频理解能力？为了解答这个问题，我们首先构建了涵盖八种传感器、光照和天气条件的受控退化版本的MVBench。然后，我们开发了VALOR，这是一个包括退化合成、鲁棒性诊断、一体化视频恢复和基于AKS的MLMM推理的三阶段流程。
恢复阶段在现有视频和一体化恢复机制的基础上进行了改进，使其适应于受退化影响的MLMM预处理。具体来说，VALOR采用了VRT（Liang等人，2024）中的时间互惠自注意力（TMSA）机制来进行帧间特征聚合，并通过退化引导的调制来增强输入特征。这种注意力路径与基于可变形卷积的变形技术相结合，用于运动补偿。从退化感知特征扰动（Tian等人，2025）开发的退化引导扰动模块（DGPB）被放置在跳过连接中，以根据退化描述对共享特征进行条件处理。恢复后，自适应关键帧采样（AKS）结合场景分割和基于显著性 的帧排名来减少多余的视觉输入，然后再进行MLMM推理。因此，VALOR的方法学贡献在于其对退化的感知适应性和这些组件的系统级集成，以便实现鲁棒的MLMM视频理解，而不是将原有的TMSA或帧选择机制视为新的贡献。本书的贡献总结如下：
• 我们构建了涵盖八种物理损坏类型的受控退化版本的MVBench，并量化了它们对三种代表性MLMM的影响。
• 我们引入了VALOR，这是一个与模型无关的前端，它结合了退化条件下的一体化视频恢复、VRT衍生的时间对齐、可变形变形技术和AKS，而不修改下游MLMM的权重。
• 通过LLaVA-OneVision、Qwen2.5-VL和VideoLLaMA3的实验表明，与退化输入基线相比，恢复效果一致，同时帧选择阶段将每个片段的采样输入从24帧减少到6-8帧。
本文的其余部分组织如下：第2节回顾了MLLM视频理解、视觉退化和视频恢复。第3节描述了包括退化条件下的恢复、时间对齐和AKS在内的三阶段VALOR流程。第4节介绍了实验方案、鲁棒性分析、比较和消融研究。第5节总结了本文并讨论了其局限性。
章节片段
多模态大语言模型在视频理解中的应用
多模态大语言模型将视频理解从特定任务的预测转向了通用视觉语言推理（Tang等人，2025b；Wang等人，2024a；Yin等人，2024）。Video-ChatGPT通过时空编码器将语言模型置于动态视觉环境中（Maaz等人，2024），而NExT-GPT支持跨多种模态的统一推理和生成（Wu等人，2024）。Video-LLaVA减少了表示差距。
提出的方法设计
VALOR是一个前端视频恢复和帧选择框架，用于提高下游MLMM对异构视频退化的鲁棒性。该框架不更新或不以其他方式修改下游MLMM，而是将退化的输入序列转换为一组紧凑的恢复关键帧。图2总结了完整的输入到输出流程。
实验设置
数据集和评估协议。我们使用MVBench（Li等人，2024b）作为下游诊断基准。MVBench包含20个视频问答任务，每个任务有200个标注过的片段。对于每个原始MVBench片段，第3.2节中的退化生成器会产生八种单独控制的变体：空间下采样、极低光照、高斯模糊、高斯噪声、椒盐噪声、降雨、雾霾和积雪。我们在相同的问题和答案下评估了三种输入。
结论
本研究探讨了八种物理视频退化如何影响下游MLMM的推理，并提出了VALOR作为一个与模型无关的视觉前端。VALOR集成了退化条件下的特征扰动、VRT衍生的时间互惠自注意力、可变形变形技术和AKS，而不改变下游MLMM的权重。在LLaVA-OneVision、Qwen2.5-VL和VideoLLaMA3成功评估的18个共同任务子集中，当前结果显示出一致的准确性恢复效果。
CRediT作者贡献声明
Hao Li：研究、方法论、评估、撰写——原始草稿；撰写——审阅与编辑；验证。 Rui Wang：监督、概念化、验证、撰写——审阅与编辑。 Shiyuan Han：监督、验证、撰写——审阅与编辑。 Jin Zhou：监督、验证、撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
