具有通用语义保持的DeepJSCC视频语义通信

《Neural Networks》：DeepJSCC for Video Semantic Communication with General Semantic Preservation

　　

摘要基于视频的智能应用（如自动驾驶、视频理解和远程医疗）严重依赖于鲁棒且可迁移的语义表征的可用性。然而，在实际系统中，通过无线链路传输的视频信号通常会受到由带宽限制、时变噪声和传输损伤引起的严重且不可预测的失真影响。在这种条件下，高重建质量并不一定能保证支持下游推理的语义结构的保留，从而导致时间连贯性下降和对未见任务的泛化能力差。现有的基于学习的视频传输和压缩方法主要优化像素级重建保真度，而通用、任务无关的语义表征的保留尚未得到充分探索。为应对这一挑战，我们提出了一种新颖的端到端深度联合信源信道编码（DeepJSCC）框架，用于视频语义传输，该框架明确保留了用于多种下游视频任务的通用语义信息，并经过无线信道传输。我们的框架首先采用视频级语义对齐模块（VSAM），通过视频级对比学习目标来减少原始视频和重建视频之间的语义距离。此外，我们提出了时间一致性学习模块（TCLM），通过预测未来帧的语义嵌入来增强时间连贯性，从而实现重建视频中更稳定的时间动态。实验表明，提出的框架实现了与现有基于 DeepJSCC 的传统传输方案相当的重建质量，同时在无需针对特定任务进行微调的情况下，在多个视频下游任务中带来了持续的性能提升。

引言随着自动驾驶、视频理解和远程医疗等基于视频的智能应用不断普及，无线视频传输不仅需要支持高质量的视觉重建，还需要支持可靠的语义理解（Index, 2017）。传统通信系统专注于在接收端重建与发送端一致的比特流，以确保比特级内容的准确恢复，而没有明确考虑重建视频对人工智能应用的语义可用性。因此，重建视频往往表现出弱化的语义表征和下降的时间连贯性，导致依赖一致且可迁移视频语义的下游任务性能不佳（Chaccour et al., 2025）。这种不匹配突显了传统视频传输方案在支持需要鲁棒且通用语义信息而非纯粹视觉重建质量的智能应用方面的局限性。

不同于传统通信范式，语义通信（Shannon and Weaver, 1949）关注信息传递的本质，注重信息语义内容是否能准确传达，而不仅仅是比特级的准确恢复。在语义通信系统中，接收端更关注是否成功恢复了语义级信息或完成了特定的智能任务（Gündüz, 2023）。近期的研究进一步将语义通信扩展到交互式多媒体场景，如实时视频会议和跨模态触觉交互，展示了其在实用智能通信系统中的潜力（Chen, et al., 2026, Lu, et al., 2025）。在现有方法中，深度联合信源信道编码（DeepJSCC）已成为语义通信的一项关键技术。它利用人工神经网络（ANNs）实现信源表征和信道传输的联合优化（Xie et al., 2021），将信源数据映射为连续值信道符号，并在通信过程中有效优化传输效率。图像语义通信领域的最新进展表明，基于 DeepJSCC 的方法不仅保持了高重建质量，而且在特定智能任务（例如分类和检测）中表现出优于传统方法的性能（Lyu, Zhu, Xu, Ai, Cui, 2024, Peng, Qin, Tao, Lu, Letaief, 2025）。相比之下，关于视频传输的 DeepJSCC 研究仍然有限。大多数现有方法借鉴了视频压缩的范式，主要分为残差编码（Hu, Xu, Lu, Jiang, Wang, Liu, 2023, Lu, Zhang, Ouyang, Chen, Gao, Xu, 2021）和条件编码（Li et al., 2021)-(Sheng et al., 2022）。例如，Deepwive（Tung 和 Gündüz, 2022）结合了双向光流估计和强化学习驱动的动态带宽分配策略，旨在在不同带宽约束下最大化视觉重建质量。MDVSC（Bao et al., 2023）通过提取视频帧之间的共同语义特征，实现了低带宽下的高效视频传输。DVST（Wang, 2023）使用非线性变换模块和条件编码架构自适应地提取视频帧之间的语义特征。

然而，这些方法主要关注重建质量和传输效率，而忽视了对通用语义信息的保留，导致下游任务性能不佳。与针对单一应用定制的任务特定语义不同，本文中的通用语义信息指的是任务无关且可迁移的语义表征，这些表征并非针对特定下游任务优化，并期望在不同的下游视频分析任务中保持有用性。显式或隐式地保留此类信息对于视频在自动驾驶、远程医疗和视频理解等下游任务中的可用性至关重要。

目前，自监督学习和视频表征方法（He et al., 2020)-(Tong et al., 2022) 已展示了通用语义特征在多任务迁移中的潜力。然而，关于通用视频语义和传输的研究仍然有限。Chang et al. (2023) 将输入图像分解为纹理表征和语义图，并将它们压缩到比特流中，在低比特率下平衡重建质量和语义可用性；Tang et al. (2023) 提出了语义对比编码，通过联合优化对比损失和重建损失，实现了图像重建质量和下游推理性能之间的权衡。对于视频源，近期的研究探索了用于视频语义压缩的编解码器辅助语义编码框架。近期的工作（Tian, Ling, Geng, Hu, Lu, Zhai, 2026, Tian, Lu, Zhai, Gao, 2023）结合了传统视频编解码器和神经网络，并使用掩码块预测机制来学习语义表征。在类似的方向上，Tian et al. (2024) 的低比特率视频理解框架采用了一种混合传统 - 神经编码流水线，其中学习到的语义流直接由神经分支编码。该框架使用基于瓶颈图的对比学习目标进行优化，其中用于对比学习的视频特征是通过瓶颈图提取和时间聚合获得的。Tian et al. (2025) 中的 Free-VSC 提出了一种由视觉基础模型引导的无监督视频语义压缩框架，该框架使用基于基础模型的语义对齐和基于动态轨迹的熵模型进行视频语义压缩。此外，EAN（Tian et al., 2022）提出了一种事件自适应动作识别网络，用于建模视频时间动态和短期运动线索。尽管这些研究为语义压缩和时间表征学习提供了有用的见解，但它们主要是建立在信源编码或编解码器辅助的压缩流水线上，或者专注于面向任务的视频表征学习。与这些方法不同，我们的工作研究视频语义传输，并明确针对端到端 DeepJSCC 框架中通用语义信息的保留。此外，我们不仅只在压缩前学习语义表征，而是在信道传输后对重建视频施加语义对齐和时间一致性约束，以便更好地保留可迁移的视频级语义免受无线失真影响。我们的目标是确保重建视频能够有效支持多种下游视频分析任务，而无需针对特定任务进行微调，在 多任务迁移中表现出更好的适应性和鲁棒性。

为此，我们提出了一种新颖的基于 DeepJSCC 的端到端视频语义传输架构，将对比学习整合到视频语义通信中。首先，针对现有方法主要优化重建质量和传输成本而忽视通用语义信息的问题，我们提出了视频级语义对齐模块（VSAM），利用对比学习减少原始视频和重建视频之间的语义距离，同时保持不同视频之间的可区分性，从而明确增强保留通用语义的能力。然后，为了减轻冗余非语义信息造成的干扰，我们提出了一种基于轻量级二值图提取模块的帧级特征聚合方法，以低计算和传输开销编码语义关系，这有助于抑制语义无关信息。此外，考虑到视频任务对时间一致性的依赖，我们还提出了时间一致性学习模块（TCLM），通过未来帧语义预测任务来加强全局时间维度的建模，并提高重建视频在下游智能任务中的可用性。最后，面对重建质量和下游任务性能之间的矛盾，我们提出了一种多阶段训练策略，以逐渐引导模型在不同目标之间实现良好平衡。重要的是要强调，我们的方法并非针对特定下游任务进行训练或微调，而是旨在保留通用语义信息，确保重建视频在未知下游任务和复杂信道环境中具有良好的适应性和鲁棒性。

本文的主要贡献如下：
1. 我们提出了一种新颖的基于 DeepJSCC 的端到端视频语义传输架构，明确保留通用语义信息。我们的架构在复杂信道环境中保持高重建质量，同时无需针对特定下游任务微调即可适应多种下游任务。
2. 我们引入了视频级语义对齐模块（VSAM），将对比学习整合到视频语义通信中，增强了通用语义的保留并提高了重建视频对多种下游任务的鲁棒性。此外，我们结合帧内和帧间双层对比约束，进一步增强了重建视频的通用语义一致性和时间对齐能力。
3. 我们提出了时间一致性学习模块（TCLM），通过未来帧语义预测任务建模全局时间依赖关系，提高了下游任务的可用性。
4. 我们的方法保持了与最先进的 DeepJSCC 和传统方案相当的重建性能，同时在多个下游推理任务中取得了显著改进。

本文其余部分组织如下。第 2 节介绍基本的 DeepJSCC 视频通信框架和我们提出的视频语义通信框架。第 3 节介绍所提出的方法和整体语义传输框架。第 4 节描述实验设置并讨论结果。最后，第 5 节总结全文。

章节片段系统模型考虑一个具有带宽和功率约束的无线视频传输问题，我们首先介绍基于 DeepJSCC 的基本视频传输框架，如图 1 (a) 所示。给定视频序列 X={xt}t=1n 的图像组（GOP），包含 n 帧，其中每一帧 xt∈Rw×h×3 表示为 24 位 RGB 图像的向量。这里，w 和 h 分别表示视频帧的宽度和高度。每个 GOP 通常由一个帧内编码帧（I 帧）和 n?1

概述我们的目标超越传统的视觉重建目标，明确解决通用语义信息的保留问题。这一设计选择源于这样一个观察：高质量的重建并不一定能保证在下游任务中的可用性，尤其是在受限的无线信道下。为此，我们在 Chen et al. (2026) 提出的基于 DeepJSCC 的视频传输主干网基础上构建我们的视频语义通信框架，并进一步引入

评估数据集在训练方面，我们在模型上采用了 (Xue et al., 2019) 数据集，并将数据集分为训练集和测试集。所有图像随机裁剪到 256 × 256 的空间分辨率。在评估方面，我们采用了广泛使用的 HEVC 基准（Bossen, 2013）进行视频编码评估。HEVC 数据集包含 16 个 YUV420 格式的视频，具有不同的内容类别和分辨率，从静态背景到高运动场景不等。这种多样性使我们能够检查

结论在本文中，我们提出了一种基于 DeepJSCC 的端到端视频语义传输框架，明确针对下游视频分析任务保留通用语义信息。与传统主要优化重建保真度的视频传输方法不同，提出的框架通过在潜在空间中联合建模视频级语义对齐和时间一致性来增强语义可用性。具体而言，我们引入了视频级

未引用参考文献Bi et al. (2024); He et al. (2016); Li et al. (2022); Pan et al. (2021); Ronneberger et al. (2015); Shi et al. (2016); Shin et al. (2026); Wang et al. (2016)

CRediT 作者贡献声明李俊廷：撰写——初稿、可视化、验证、软件、项目管理、方法论、调查、正式分析、数据整理。陈学辰：撰写——审查与编辑、监督、项目管理、概念化。

邓晓宏：撰写——审阅与编辑，监督，构思。利益冲突声明：作者声明，不存在任何已知的竞争性经济利益或个人关系，这些因素可能对本研究报告的工作产生影响。致谢：本工作部分得到国家自然科学基金项目（62572494、62172441）的资助，部分得到国家自然科学基金铁路基础研究联合基金项目（U2368201）的资助，部分得到湖南省自然科学基金项目（资助号：2025JJ50388）和长沙市自然科学基金（资助号：kq2502118）的资助。李俊婷|陈学辰|邓晓宏