动态视频摘要中记忆增强扩展长短期记忆网络的多尺度时间卷积

《Pattern Recognition Letters》：Multi-Scale Temporal Convolutions in a Memory-Augmented Extended LSTM for Dynamic Video Summarization

　　

研究人员在记忆增强扩展长短期记忆（Extended Long Short?Term Memory, xLSTM）中引入多尺度时间卷积以提升动态视频摘要的准确性。记忆增强xLSTM能够捕捉短时与长时时间模式。自适应融合（Adaptive fusion）平衡结构特征与长期记忆线索。在SumMe与TVSum数据集上取得持续增益，并与人类评分高度一致。

研究背景方面，视频摘要旨在选取保留视频语义结构的视觉内容子集以显著缩短时长，在监控和视频字幕等场景中日益重要，现有方法主要分为关键帧选择与关键片段（keyshot）检测两类范式。关键帧方法强调压缩但常忽视时间连续性，关键片段方法利用时间信息保留事件顺序结构以生成更连贯摘要。然而生成简洁且时间一致的摘要仍具挑战，需建模复杂场景转换并适应用户主观偏好，有效捕捉时间依赖成为核心需求，推动更具表达力且能平衡相关性、连贯性与压缩率的模型发展。用户生成标注本身编码主观相关性概念，导致标注者间差异并增加学习一致表示的难度，这种主观性影响训练并在评估中引入差异，因为不同真值摘要可能强调同一视频的不同方面。监督方法利用多用户标注使模型捕获更广泛偏好分布并产生更符合多样期望的摘要，这种多视角学习范式被证明可提升鲁棒性与泛化能力，尤其在时间重要性非唯一定义的场景中。基于关键片段策略的动态视频摘要或称视频略读（video skimming）关注选择时间一致的片段以保留视觉事件连续性，在片段而非孤立帧上操作更好捕捉场景演化，使摘要反映原始视频结构与语义方面，但该形式需建模多尺度时间依赖（从短时运动模式到序列间长程交互）。为此研究人员采用扩展长短期记忆（xLSTM）这一近期LSTM架构扩展以提升记忆容量与并行化，传统LSTM在高效捕捉长程依赖方面存在局限，xLSTM通过改进记忆机制增强时间建模并在自然语言处理任务中表现良好，研究人员将这些时间建模能力适配至视频摘要以实现连贯且信息丰富的时间片段提取。本文提出基于xLSTM的模型，命名为MUSL?MALSumm（MUlti?ScaLe Memory?Augmented LSTM for Dynamic Video Summmarization），集成两个循环块：一个用于保留本质时间信息，另一个用于学习演化时间模式；动机在于尽管事件时长、节奏与帧率存在显著变化仍需可靠识别视频关键事件，通过并行时间卷积核提取互补表示以捕捉瞬时高影响时刻与持续主题叙事弧，多尺度架构实现快速转换与微事件（micro?events）检测同时整合维持摘要连续性所需的广时间上下文，从而对多样剪辑风格与动作速度更具鲁棒性并稳定代表性地选择摘要帧。主要贡献包括：扩展融入多分辨率并行时间卷积的结构感知模块多尺度变体；基于自适应聚类的视频略读生成与自动确定最优摘要长度策略；与人类定义相关性更贴合的监督框架，在SumMe与TVSum数据集上相比先进监督与强化学习方法取得竞争或更优性能。本工作扩展先前StreamExLSTM与MALSumm研究，StreamExLSTM作为xLSTM简化变体在实验中优于近期监督基线，MALSumm作为同样基于xLSTM的记忆增强架构集成加权记忆以评估局部与全局信息，在保留细粒度细节的同时维持整体时间一致性，在SumMe数据集上超越所有监督与无监督方法并在TVSum上超越所有监督与半监督方法；MALSumm虽聚焦增强记忆机制以更好捕捉长程时间依赖，但在建模细粒度局部模式（尤其快速转换与短时变化场景）中存在局限，而MUSL?MALSumm通过将多尺度时间卷积集成至循环框架以解决该局限，从而更有效捕捉局部与全局时间动态。论文发表于《Pattern Recognition Letters》。

研究人员采用的关键技术方法包括：在记忆增强扩展长短期记忆（xLSTM）框架中并行嵌入核大小为3、5、7的多尺度时间卷积（temporal convolutions）以提取多尺度时间模式；构建多尺度结构感知LSTM（msaLSTM）模块并结合残差连接、层归一化（LayerNorm）与组归一化（GroupNorm）稳定特征分布；采用记忆增强带注意力LSTM（maLSTM）第二层并引入自注意力（self?attention）机制通过缩放点积注意力（scaled dot?product attention）捕获跨时间位置依赖；通过动态融合门（dynamic fusion gate）自适应结合msaLSTM与maLSTM输出并利用挤压激励（Squeeze?and?Excitation, SE）机制进行通道重校准；使用GoogleNet pool5层提取1024维帧级特征，视频统一采样2 fps，在SumMe（25段视频，含egocentric 4、motion 17、static 4）与TVSum（50段视频，来自TRECVid MED十类事件，每段20人标注）数据集上采用5折随机划分与早停（patience 30 epoch）评估F?score及Kendall’s τ与Spearman’s ρ秩相关指标，优化器为Adam（学习率5×10^?5），dropout 0.5，L2正则10^?5，Xavier初始化，训练200 epoch。

研究结果部分保留原文小节标题并说明研究与结论如下。

1. 1.
   Introduction
   研究人员通过回顾视频摘要两类范式与主观标注挑战，指出需建模多尺度时间依赖，提出基于xLSTM的MUSL?MALSumm模型并阐述三项贡献，明确其在SumMe与TVSum上的预期优势及与前作StreamExLSTM、MALSumm的继承与改进关系。
2. 2.
   Related Works
   研究人员将视频摘要分为监督、无监督、半监督、基于强化学习（Reinforcement Learning, RL）与生成对抗网络（Generative Adversarial Networks, GANs）等方法，分别举例HieTaSkim、HieTaSumm、VSS?Net、DN?VSN、SUM?GAN?AED等，说明各类方法在处理主观标注与结构模式上的差异，为本研究监督多尺度记忆增强框架定位提供依据。
3. 3.
   Fundamental Concepts
   研究人员阐述传统长短期记忆（Long Short?Term Memory, LSTM）的门控机制与公式，指出其顺序处理限制并行与扩展性；进一步说明扩展长短期记忆（xLSTM）的sLSTM块（指数门控与归一化）与mLSTM块（矩阵记忆、键值查询、并行更新），给出相应公式并强调其在长序列视频数据中建模长程依赖与计算效率的优势。
4. 4.
   MUSL?MALSumm
   研究人员设计多尺度结构感知LSTM（msaLSTM）以并行1D卷积核大小3、5、7处理输入序列X∈R^B×T×D，经拼接与1×1卷积融合得X′∈R^B×T×C（C=128），接LayerNorm得H⁽¹⁾，通过可学习投影与非线性激活得残差R，与LSTM输出H相加后经GroupNorm得H^(l)，再通过指数输入门i、遗忘门f、tanh候选z、sigmoid输出门o及调制项m计算重校准门?、f?以更新细胞状态c与输出H^(c)，再经双线性投影、Dropout得H^(s)。随后记忆增强LSTM（maLSTM）将H^(s)经第二LSTM得H⁽²⁾，通过自注意力（Q,K,V与缩放点积得权重A）得H^(a)，再经第二门控（i′,f′,o′,c′）与H^(g)、LayerNorm、Dropout、Linear得H^(m)。动态融合门G以sigmoid(W_g(H^(s)+H^(m)))计算，凸组合得H^(f)=G⊙H^(s)+(1?G)⊙H^(m)；SE机制经全局平均池化与瓶颈结构得通道权重SE，重校准为H^(se)=H^(f)⊙SE；最终经两层网络（MLP）映射为每时间步标量摘要得分Y∈R^T×1。
5. 5.
   Experimental Results
   5.1. Datasets
   研究人员在SumMe（25视频，1–6分钟，多类别，每视频15–18个关键片段标注，帧级重要度平均分真值）与TVSum（50视频，1–11分钟，10类事件，每视频20人标注1–5分）上实验，采用5折随机划分80%/20%，分别以固定训练体制与早停（patience 30）报告平均F?score。

5.2. Evaluation Metrics

研究人员以F?score为主要指标衡量预测摘要与人工真值重叠，SumMe取每段视频最高F?score后平均，TVSum依标准协议转关键片段后平均；额外在TVSum上计算Kendall’s τ与Spearman’s ρ秩相关以评估预测重要度与人工判断排序一致性。

5.3. Implementation Details

研究人员以2 fps采样，GoogleNet pool5提取1024维特征，Adam学习率5×10^?5，dropout 0.5，L2 10^?5，Xavier初始化，训练200 epoch，早停patience 30，硬件为Intel i9?14900KF、192 GB RAM、NVIDIA QUADRO RTX A6000（48 GB），Ubuntu 22.04、Python 3.9、PyTorch 2.4.1。

5.4. Results Analysis

研究人员报告MALSumm在SumMe为49.7、TVSum为62.1；MUSL?MALSumm为50.1与62.2；启用早停的MUSL?MALSumm^e为53.9与62.4，参数量16.92M；秩相关上MUSL?MALSumm达Kendall’s τ 0.185、Spearman’s ρ 0.247，MUSL?MALSumm^e为0.184与0.246，均略优于原MALSumm（0.180与0.242）并接近人类一致性（τ 0.177，ρ 0.204），表明多尺度扩展在提升F?score同时更好保留帧重要度序关系。

5.5. Qualitative Analysis

研究人员在SumMe的Paintball视频（egocentric类）中显示模型预测与人工标注高度吻合，忽略相机故障无信息段并按起始、中间、结尾三段分布代表帧；在TVSum视频6中尽管镜头角度变化大，模型集中选取中部高标注密度区关键帧并保留少量前部上下文，显示对人类判断的强对齐与视觉变异下语义内容检测鲁棒性。

结论（Conclusion and Future Works）翻译与总结：

本研究介绍了MUSL?MALSumm，一种为多尺度时间动态异构的真实世界视频建模设计的多尺度记忆增强长短期记忆（xLSTM）框架。通过结合并行时间卷积与扩展长短期记忆（xLSTM）架构及自适应融合，该方法有效捕捉短时变化与长程依赖，从而实现更准确且连贯的视频摘要重要度估计。在SumMe与TVSum数据集上的实验结果表明，MUSL?MALSumm相比先前基于长短期记忆的方法持续提升性能，并与先进方法具竞争力，尤其在具有复杂时间结构的视频上；这些发现凸显了显式多尺度时间建模的价值，并指出未来可向更大数据集、端到端特征学习与可扩展性改进方向扩展。