《IEEE Access》：Multi-Scale Contextual Alignment and Sequence-Adaptive Attention for Video Summarization
编辑推荐：
视频摘要旨在将长视频压缩为紧凑且信息丰富的表示，但现有的序列建模和基于注意力的方法在处理异质时间节奏、长程语义漂移和冗余背景帧方面仍面临挑战。研究人员提出MASA，一种围绕多尺度上下文对齐（Multi-Scale Contextual Alignment, M
视频摘要旨在将长视频压缩为紧凑且信息丰富的表示，但现有的序列建模和基于注意力的方法在处理异质时间节奏、长程语义漂移和冗余背景帧方面仍面临挑战。研究人员提出MASA，一种围绕多尺度上下文对齐（Multi-Scale Contextual Alignment, MCA）和序列自适应注意力（Sequence-Adaptive Attention, SAA）构建的参数紧凑框架，用于帧级重要性预测。MASA将采样视频表示为通道复制的时序特征张量；复制为卷积骨干提供了输入兼容形式，但不引入新的空间信息。多尺度上下文对齐构建视频条件化原型锚点，并在互补的时间感受野上对齐局部序列模式。序列自适应注意力预测位置相关的高斯孔径，双轴特征聚合（Dual-Axis Feature Aggregation, DAFA）在分数预测前结合时序和潜在特征响应。在固定五折协议下，MASA在SumMe上达到Kendall’s tau/Spearman’s rho为0.263/0.294，在TVSum上为0.196/0.258。重复运行研究报告了代表性组件和核配置的运行级变异性和置信区间，完整模型在大多数匹配运行中相对于最强的同代码消融保持稳定优势。这些结果支持具有11.44M参数的评分模型具备有竞争力的秩相关性能，而实测计算成本表明参数紧凑性不应被解释为低FLOPs。
随着社交媒体、监控系统和智慧城市应用中视频数据量的急剧增长，人工浏览和筛选视频变得愈发低效。用户常常需要从冗长且冗余的视频流中定位少量信息丰富的时刻，这增加了时间和认知负担。视频摘要技术通过将长且未裁剪的视频压缩为代表性关键帧或视频片段，旨在解决该问题。理想的摘要模型不仅要缩短视频长度，还要保持原始内容的语义连续性和事件级显著性。然而，现有的序列建模和基于注意力的方法在处理异质时间节奏、长程语义漂移和冗余背景帧时仍面临挑战。具体而言，许多注意力方法采用静态或均匀的感受野，在快速动作与长稳定场景共存时过度平滑判别特征；局部图或多尺度模型缺乏稳定的视频级上下文参考；单轴池化或直接注意力加权可能对无关背景帧赋予不必要响应。因此，研究需要一种更自适应的机制，能联合考虑局部显著性、全局上下文和紧凑特征聚合。
针对上述问题，研究人员提出了MASA（Multi-Scale Contextual Alignment and Sequence-Adaptive Attention）框架，一种参数紧凑的监督式视频摘要方法，采用序列到分数的回归范式。MASA以通道复制的时序特征张量作为输入，通过多尺度上下文对齐（Multi-Scale Contextual Alignment, MCA）构建视频条件化原型锚点，并对齐互补时间感受野上的局部序列模式；通过序列自适应注意力（Sequence-Adaptive Attention, SAA）预测位置相关的高斯孔径，以校准帧特定的时间感受野；通过双轴特征聚合（Dual-Axis Feature Aggregation, DAFA）在分数预测前结合时序和潜在特征响应。在固定五折协议下，MASA在SumMe和TVSum数据集上取得有竞争力的秩相关性能，同时以11.44M参数实现了性能、可解释性和参数效率的平衡。该研究论文发表在《IEEE Access》上。
为开展研究，研究人员主要采用了以下关键技术方法。使用ImageNet预训练的GoogLeNet提取均匀采样帧的1024维池化特征，构成时序特征矩阵，并沿通道复制为三通道张量以适配2D CNN骨干。MCA模块通过对原型库进行缩放点积注意力生成视频条件化锚点，并用核大小为3和7的深度时间卷积提取差分特征，经残差融合形成对齐表示。SAA模块通过MLP预测每个位置的σ
t，构造高斯距离惩罚矩阵并加入注意力对数。DAFA沿时间和特征维度分别Softmax归一化后加权融合值嵌入，经自适应池化恢复长度，最终由全连接层和Sigmoid输出帧级分数。训练使用MSE损失，推理采用KTS镜头分割和0/1背包在15%时长预算下选择摘要。
研究结果部分如下。
Effectiveness of Multi-Scale Contextual Alignment (MCA)：消融研究显示，在骨干基础上添加MCA使Kendall’s tau在SumMe上从0.140提升至0.193，在TVSum上从0.075提升至0.173，表明可学习原型与多尺度对齐能提供比普通骨干更强大的时序表示。
Effectiveness of Sequence-Adaptive Attention (SAA)：将SAA添加到MCA后，SumMe上的秩相关指标在重复运行中提升，但TVSum上略低于仅MCA。研究人员认为，TVSum的类别结构视频中显著时刻已能被MCA局部上下文捕获，加入时间孔径可能过度聚焦局部可信帧，弱化全局校准。当SAA与DAFA结合时，时序和特征响应被联合归一化，全模型在两个数据集上取得最佳平均结果，说明SAA是节奏自适应交互组件，其收益依赖于整体聚合设计。
Effectiveness of Dual-Axis Feature Aggregation (DAFA)：与仅MCA相比，加入DAFA在SumMe上提升0.042/0.047，在TVSum上提升0.020/0.027；与MCA+SAA相比，全模型进一步在SumMe提升0.042/0.047，TVSum提升0.026/0.033。在匹配运行比较中，全模型在全部十次SumMe运行、十次TVSum Kendall运行中的八次以及九次Spearman运行中优于MCA+DAFA，支持DAFA作为互补聚合阶段的结论。
Targeted Control Experiments：控制实验表明，完整的三通道输入接口优于单通道2D和Temporal Conv1D，通道复制本身不产生新信息，但作为兼容变换对ImageNet预训练卷积滤波器有效。移除视频条件化全局token在SumMe上下降明显（0.263→0.213），在TVSum上略有下降；双轴聚合优于仅时间轴或仅特征轴，提供最佳跨数据集平衡。
Analysis of Structural Hyperparameters：原型数K和注意力头数H的单次探索曲线显示K=4和H=8为所选设置，但未声称统计最优。核组合(3,7)在SumMe上均值最强，在TVSum上与(1,5)差异很小，因此作为最终配置。
Efficiency and Computational Cost：在RTX 3090上，T=1000时MASA需79.03 GFLOPs（39.52 GMAC），延迟14.46±0.03ms，对应69.15序列/秒。参数11.44M，少于STVT（90.74M）和TCVT（42.30M），但FLOPs高于它们，表明参数紧凑不等于低算术复杂度。
Cross-Dataset Generalization and F1 Completeness：双向跨数据集转移实验显示，从TVSum到SumMe的转移强于反向，但均低于域内性能，说明存在域差距，交叉数据评估应作为域漂移限制而非鲁棒性等同。
Protocol-Aware Comparison of Related Methods：由于不同方法采用不同监督、输入表示、分割规则和指标，MASA与引文方法的结果对比仅具有描述性，不应视为同管线性能排名。
Visualization：定性比较显示，基线会选择冗余边界区域，而MASA生成的摘要更紧凑且更接近人工标注；在背景干扰下，基线产生碎片化误选，MASA保持较好的时间连贯性。这支持了所提模块不仅改善选中的时刻，也改善了所选片段的时间平滑性。
在讨论部分，研究人员总结了工作的局限与未来方向。效率审计表明，密集2D卷积在T×1024平面上的算术成本随T增长而升高，未来需评估现代轻量特征提取器和1D、可分离或稀疏评分替代方案。双向转移研究揭示从SumMe到TVSum的显著域差距，需要在未来进行域自适应和骨干受控评估。此外，海事监控被视为可能的应用扩展，但需时序SAR或光学序列、原始空间表示、域适应和独立重训验证，因此仅作未来展望而未宣称当前能力。
研究结论：本文提出了MASA，一种参数紧凑框架，结合了多尺度上下文对齐、序列自适应注意力和双轴特征聚合。MASA在通道复制的时序特征张量上操作，无需重建显式像素级空间结构。所设计阶段提供了从全局池化帧描述符到不同视频节奏下摘要分数的清晰路径。最终模型在SumMe上取得0.263/0.294，在TVSum上取得0.196/0.258。重复运行分析、不确定性估计和组件比较表明，全模型在大多数匹配运行中优于最强同代码消融，而跨论文比较因协议差异仅为描述性。未来工作将在更严格验证和更广泛跨数据集设置下评估该交互，并探索1D或稀疏替代方法以降低长序列算术成本。域差距的存在也促使未来研究关注域自适应和骨干受控评估。
