《Array》：AI-Driven Federated Unsupervised Video Summarization with Ensemble Reinforcement Learning and Explainable Caption Generation
编辑推荐：
视频摘要被实现为一种自动化过程，将长视频缩减为紧凑表示，从而有效描述其内容与意义。视频摘要技术受限于高计算资源需求、对长期依赖关系建模能力的不足、帧间表征的冗余以及可解释性的缺乏。为解决这些挑战，本文提出一种新颖的无监督视频摘要框架BiSpiDRL_DOA，该
视频摘要被实现为一种自动化过程，将长视频缩减为紧凑表示，从而有效描述其内容与意义。视频摘要技术受限于高计算资源需求、对长期依赖关系建模能力的不足、帧间表征的冗余以及可解释性的缺乏。为解决这些挑战，本文提出一种新颖的无监督视频摘要框架BiSpiDRL_DOA，该框架集成了插值、基于混合Transformer的时间建模、优化关键帧选择与可解释字幕生成。首先，通过基于科尔莫戈罗夫-阿诺德神经网络（Kolmogorov-Arnold Neural Network，KANN）的插值与多特征融合来提取并增强视频帧。随后，采用混合视觉Transformer-Swin Transformer（ViT_Swin）模型估计帧级重要性分数。关键帧通过由梦想优化算法（Dream Optimization Algorithm，DOA）优化的二值化脉冲深度强化学习（Binarized Spiking Deep Reinforcement Learning，BiSpiDRL）模型进行选择，以减少冗余并提高选择精度。此外，结合梯度加权类激活映射（Gradient-weighted Class Activation Mapping，Grad-CAM）的基于BLIP的字幕生成模块生成卡纳达语的可解释文本摘要。为支持隐私保护部署，引入了联邦学习（Federated Learning，FL），在不共享原始视频数据的情况下进行分布式模型训练。实验结果证明了该框架的有效性，实现了0.98的成功率、0.97的灵敏度、0.96的阳性预测值（Positive Predictive Value，PPV）和0.96的F1分数，表明其适用于高效且可解释的实时视频摘要。
**论文解读：基于BiSpiDRL_DOA框架的联邦无监督视频摘要研究**
**研究背景与问题**
随着数字媒体平台的高速发展，视频已成为信息传播与娱乐消费的主要载体。视频摘要技术旨在将长视频自动缩减为紧凑表示，以便用户快速获取关键语义信息。然而，现有视频摘要方法仍面临多重挑战：高计算资源需求、对长期时间依赖关系建模能力不足、帧间表征冗余、缺乏可解释性以及集中式处理带来的隐私风险。监督学习方法高度依赖帧级人工标注，难以规模化扩展；单一特征提取器仅能捕获有限的语义与空间特征，独立使用的时间建模架构难以同时兼顾全局与局部依赖关系，而传统关键帧选择机制往往产生冗余摘要。此外，多数现有系统不提供解释性输出，也无法在分布式环境下保护原始视频数据。因此，亟需一种综合性框架，能够同时增强特征表示能力、时间依赖建模、关键帧多样性、可解释性与隐私保护。
**研究内容与结论**
研究人员提出了一种名为BiSpiDRL_DOA的无监督视频摘要框架，该框架整合了KANN插值、集成特征提取、混合ViT_Swin Transformer时间建模、基于DOA优化的BiSpiDRL关键帧选择、结合Grad-CAM的XAI_BLIP可解释字幕生成以及联邦学习隐私保护部署。在TVSum与SumMe公开基准数据集上的实验结果表明，该框架综合成功率达0.98、灵敏度0.97、PPV 0.96、F1分数0.96，验证了其在高效、可解释的实时视频摘要任务中的适用性。该研究成果发表在《Array》期刊。
**关键技术方法**
研究人员利用TVSum与SumMe公开基准数据集进行验证。主要技术方法包括：基于科尔莫戈罗夫-阿诺德神经网络（KANN）的时域插值以生成平滑中间帧；集成ConvNeXt、EfficientNetV2与ShuffleNet进行多特征提取与融合；利用混合视觉Transformer-Swin Transformer（ViT_Swin）模型估计帧级重要性概率；提出由二值化脉冲神经网络（BSNN）与深度强化学习（DRL）组成的BiSpiDRL模型，并结合梦想优化算法（DOA）优化关键帧选择；采用BLIP模型联合Grad-CAM生成可解释的卡纳达语字幕；通过联邦学习（FL）框架实现隐私保护的分布式模型训练。
**研究结果**
4.1 Performance Analysis
训练、测试与验证曲线显示，深度强化学习（DRL）代理的奖励值随训练轮次稳步上升，训练奖励从第20轮的0.75升至第100轮的峰值，验证奖励达0.79；损失值持续下降，训练损失从0.10降至0.001，验证损失从0.30降至0.25，表明模型收敛稳定。帧选择率在多个epoch内保持在0.05左右。插值模型对比中，KANN准确率达0.95，优于CNN（0.83）、ANN（0.87）与FNN（0.89）。优化算法对比中，DOA损失值0.01，显著优于GA（0.11）、LEO（0.1）与PSO（0.3）。DRL奖励分析展示了多样性奖励与代表性奖励的有效平衡。与现有模型BNN、GNN、BiLSTM相比，提出的BiSpiDRL_DOA在成功率达0.96、PPV 0.95、灵敏度0.95、F1分数0.95，均优于对比方法，且误差更低（MSE 0.01，MAE 0.01）。字幕生成模块对比中，XAI_BLIP成功率达0.9863、PPV 0.96、灵敏度0.97、F1分数0.965，误差仅MSE 0.013、MAE 0.011，优于传统BLIP与CLIP模型。计算复杂度分析显示，提出模型执行时间为18秒，低于BNN（42秒）、GNN（35秒）与BiLSTM（28秒）。ROC曲线表明模型具有良好的判别能力。与SegSum、SpiVG、AGMFN、DHMDL、SETR-Net、SJ-PVC、SDFF-Net等最新方法在TVSum与SumMe数据集上的对比显示，提出模型各项指标均处于领先水平。联邦学习性能与隐私分析表明，隐私感知FL框架在消除原始数据共享的同时，性能与集中式学习相当，成功率保持0.96。消融研究表明，移除任何单一模块均导致性能下降：移除KANN后成功率降至0.80，移除ViT_Swin降至0.86，移除BiSpiDRL降至0.90，移除BLIP降至0.93，而仅保留集成特征提取的基线模型成功率仅0.54，充分验证了各组成模块的必要性。
**总结讨论与结论**
讨论部分指出，BiSpiDRL_DOA框架通过插值与关键帧优化选择有效保留了视频的时空语义信息，减少了冗余；混合Transformer网络实现了局部与全局上下文依赖的联合建模，支持实时帧重要性估计；可解释人工智能（XAI）技术的引入增强了用户对生成摘要的理解，使其适用于监控视频分析、媒体内容摘要等真实场景。该研究的局限性在于使用离线基准数据集而非实时视频流，且未在硬件资源受限平台上评估部署效果。未来工作将扩展至在线视频推理、多模态输入融合及硬件友好型部署。研究结论翻译如下：本研究提出了一种新颖的视频摘要系统，集成插值、深度特征融合、时间建模、最优关键帧选择与文本字幕生成。视频预处理后，通过插值生成中间帧，中间帧经集成特征提取网络获得语义表示，融合特征在时间域由混合ViT_Swin Transformer建模以预测帧重要性概率。系统完成了关键帧选择与字幕生成。摘要模块实现了0.95的高PPV与低错误值（MSE 0.015，MAE 0.012）。此外，基于XAI_BLIP的字幕生成模块达到0.96的PPV，MSE 0.013，MAE 0.011，突显其强大的描述与上下文理解能力。
