DRJSCC：深度联合源信道编码技术，用于快速传输和重建无人机拍摄的灾害图像

《Digital Signal Processing》：DRJSCC: Deep Joint Source-Channel Coding for Fast Transmission and Reconstruction of UAV Disaster Images

低延迟高质量无人机图像传输与重建方法研究，提出DRJSCC框架融合全局-局部结构感知、多方向信道注意力及双分支解码，实验显示PSNR提升2dB，LPIPS降低30%，推理速度达41FPS。

　　

郝璐|梁源|宁超|王洛斌|郑彦明|张云飞

中国江苏省南京市河海大学计算机与软件工程学院，211100

摘要

在灾难场景中，基于无人机的遥感技术需要通过带宽有限且不稳定的无线通道实现低延迟和高质量的图像传输与重建。然而，传统的分离式通信框架容易受到“悬崖效应”和错误传播的影响，而现有的深度联合源信道编码（DeepJSCC）方法虽然经过端到端优化，但仍存在局部细节模糊、方向性纹理丢失以及像素保真度与感知自然度之间的权衡问题。为了解决这些问题，本文提出了一种面向灾难恢复的DeepJSCC框架（DRJSCC），该框架整合了全局-局部结构感知、多方向信道注意力机制和双分支解码技术，以提高语义鲁棒性和视觉质量。具体而言，全局-局部结构感知模块通过跨尺度的“局部增强-全局建模”路径加强结构一致性；多方向信道注意力机制捕捉方向敏感的统计信息以恢复裂缝和阴影等弱纹理；双分支解码器则分离像素级和感知目标，实现平衡的重建效果。在xView2、RescueNet和COCO数据集上进行的广泛实验表明，在加性白高斯噪声（AWGN）和瑞利信道条件下，DRJSCC能够将峰值信噪比（PSNR）提高2分贝，并将学习感知图像块相似性（LPIPS）降低30%，同时保持41帧每秒的推理速度。这些结果证明了DRJSCC作为一种鲁棒且高效的端到端解决方案，在实时无人机灾难图像传输与重建中的有效性。

引言

近年来，极端天气事件和自然灾害（如地震、洪水、飓风和野火）变得越来越频繁和具有破坏性，对公共安全和社会经济稳定构成了严重威胁。在灾难发生后的关键“黄金救援窗口”期间，指挥中心迫切需要高分辨率、广覆盖范围和时间敏感的视觉数据来支持态势感知、路径规划和资源分配等关键任务。由于成本低、部署迅速和移动性强，无人机已成为灾难监测和应急通信的重要工具。即使在交通受阻或地形复杂的地区，它们也能高效收集遥感图像[1,2]。然而，在灾难环境中，通信基础设施往往受损，导致无线链路带宽有限、时变且易受干扰。在这种具有挑战性的信道条件下，确保低延迟和高质量的无人机图像传输与重建仍然是学术界和工业界面临的关键问题。

传统的无线图像传输通常采用分离式架构，即源编码和信道编码分别进行：图像首先使用JPEG或BPG等源编码器压缩，然后通过LDPC、Turbo或Polar等信道编码器进行错误保护。在理想条件下，分离式架构理论上可以接近香农极限，实现长块长度和静态信道下的渐进最优性能。然而，在以短块长度和低信噪比（SNR）为特征的灾难响应场景中，这种分离式方案极易受到“悬崖效应”和错误传播的影响：一旦信道质量下降，重建图像会急剧恶化。此外，源编码和信道编码的独立优化阻碍了压缩失真和传输错误的共同补偿，难以平衡端到端的质量和延迟[3]。此外，基于分离式的框架[4]通常以像素保真度为主要目标，缺乏优先考虑任务相关语义的能力——例如倒塌的建筑物、堵塞的道路、裂缝边缘或可疑的人影——这些对于灾难恢复中的应急决策至关重要。这些局限性促使了语义通信（SemCom）[5]的出现，它提倡在端到端框架内学习有意义的表示，并将通信系统的重点从比特级传输转移到语义级理解。基于这一概念的深度联合源信道编码（DeepJSCC）[6]将压缩和错误保护统一到一个可训练的端到端系统中，在有限块长度约束下展现出强大的理论支持和优于传统分离式框架的实证性能。

DeepJSCC学习从图像到信道符号的端到端映射，消除了传统分离式流程中编码、调制和解码阶段之间的不连续性。基于卷积神经网络（CNN）的DeepJSCC框架[6]在AWGN和瑞利信道下表现出优于传统方法的性能，但在固定SNR和带宽配置下的训练限制了其对动态信道变化的泛化和适应性。

随着研究的深入，许多研究扩展了DeepJSCC框架的功能，以增强其表示能力和传输能力。基于Transformer的架构[7,8]被引入以增强全局建模，而JSCC进一步应用于多输入多输出（MIMO）[9]、正交频分复用（OFDM）[10,11]中继[12]和多用户系统[13,14]以及有限星座调制[15,16]。尽管这些努力提高了灵活性，但不可避免地增加了计算复杂性和推理成本，以及对大规模训练数据的依赖性，限制了其在资源受限或实时灾难响应场景中的应用。

最近的研究还致力于提高适应性。基于反馈的JSCC框架[17,18]通过利用反馈机制提高了在时变信道下的鲁棒性，但代价是增加了额外的延迟和硬件复杂性。Lee等人[17]采用预训练的去噪器来改进重建效果，虽然提高了感知质量，但严重依赖于先验知识，这限制了其对灾难场景中不可预测噪声模式的泛化能力。在架构上，Transformer[19]和Mamba[20]模型被探索用于加强序列建模，但它们在恢复弱纹理和保持全局一致性与局部细节之间的平衡方面仍存在困难。

同时，生成式方法也被整合到DeepJSCC中，以解决传统像素级目标的局限性。使用PatchGAN[21,22,23]的对抗训练提高了感知真实性，但往往以牺牲PSNR和MS-SSIM为代价。基于StyleGAN的重建[24]改善了视觉外观，但仍受均方误差（MSE）主导的损失限制，限制了语义表达能力。最近，基于扩散的方法[25]取得了有希望的感知性能，但其迭代采样和高计算成本阻碍了实时传输。总体而言，这些发展展示了在语义感知通信方面的进展，但尚未完全兼顾准确性、感知质量和实时可行性。

尽管最近的研究将CNN、Transformer甚至生成模型纳入DeepJSCC，但在将这些技术应用于面向灾难的无人机图像传输时仍存在几个关键差距。

首先，灾难图像通常同时包含大规模的全局退化（例如遮挡或模糊）和细粒度的局部损失（例如裂缝、小目标和纹理褪色）。基于CNN的架构在捕捉局部细节方面有效，但在建模长距离依赖性方面存在不足；而基于Transformer的结构虽然具有强大的全局建模能力，但在恢复细纹理方面效果较差。因此，现有方法无法在单一框架内实现全局一致性和局部清晰度的统一平衡——这在低SNR和带宽受限的信道条件下尤为明显。

其次，灾难场景中的裂缝、阴影和碎石边缘具有明显的方向特性，这对于态势评估至关重要。然而，现有的注意力机制（如Squeeze-and-Excitation（SE）[26]和Efficient Channel Attention（ECA）[27]主要关注信道级加权，缺乏方向敏感性。即使是频域增强方法（如FAJSCC[28]）也不足以充分描述方向性和纹理线索之间的相互作用，导致在带宽受限条件下关键灾难相关特征的保存效果不佳。

最后，灾难响应应用需要同时满足像素级准确性和感知一致性。以MSE为主的优化目标虽然提高了PSNR和MS-SSIM，但往往导致重建结果过于平滑。相比之下，基于GAN或感知损失的方法虽然提高了LPIPS和主观质量，但往往会牺牲数值保真度。尽管扩散模型在保持感知连贯性方面表现出色，但其推理延迟较高，不适合实时应急场景。因此，通过解码器设计实现像素保真度和感知自然度之间的可控权衡仍然是无人机灾难图像传输的一个基本挑战。

为了解决上述问题，本文提出了一种灾难恢复联合源信道编码（DRJSCC）框架，其主要贡献如下：

• 1) 全局-局部结构感知（GLSP）。与依赖局部窗口划分的Transformer基方法（如SwinJSCC和JSCCFormer）不同，提出的GLSP模块采用“局部增强-全局建模”策略，在跨尺度重建灾难无人机图像时实现了全局一致性和局部清晰度的统一平衡。
• 2) 多方向信道注意力（MDCA）。超越传统的信道注意力机制（如SE-Net、ECA-Net）和频域增强方法（如FAJSCC），MDCA模块在JSCC框架中引入了系统的多方向统计建模，显著提高了裂缝和阴影等弱纹理的辨识度。
• 3) 双分支解码器（DBD）。与依赖生成先验的对抗性或基于扩散的方法不同，提出的解码器分离并整合了像素级和感知分支，实现了保真度和自然度之间的可控权衡，无需依赖生成模型。这种设计在保持PSNR的同时大幅降低了LPIPS。
• 4) 全面评估和性能提升。在xView2、RescueNet和COCO数据集上进行的广泛实验表明，DRJSCC在中高SNR条件下将PSNR提高了2分贝，并将LPIPS降低了30%，同时保持了41帧每秒的推理速度，从而在准确性和实时性能之间实现了有效平衡。

本文的其余部分安排如下：第2节回顾相关工作；第3节详细介绍了DRJSCC的架构和关键模块；第4节介绍了实验设置、评估指标和结果分析；第5节总结了本文并讨论了未来研究方向。

部分摘录

全局-局部建模

无人机灾难图像通常包含大规模退化（例如模糊、遮挡）和细粒度缺陷（例如裂缝、小目标缺失）。早期的基于CNN的DeepJSCC框架[6]通过局部感受野实现了强大的局部纹理恢复，但缺乏建模长距离依赖性的能力，导致全局结构一致性较差。基于Transformer的JSCC（如JSCCFormer[29]和SwinJSCC[30,46]引入了自注意力和分层窗口化

方法

所提出的DRJSCC是一个用于灾难场景中快速传输和重建无人机图像的端到端框架。如图1所示，它由三个部分组成：编码器、信道建模模块和解码器。在灾难环境中，图像通常表现出两种典型的退化类型：大规模的结构损坏（如大面积遮挡或模糊，图1(a)A），以及局部细粒度损失（如裂缝、小目标缺失和纹理褪色，图

数据集和实现细节

为了全面评估DRJSCC的有效性，我们在三个代表性数据集上进行了实验。xView2数据集[42]作为主要的灾难遥感数据集，涵盖了各种自然灾害场景，用于整体性能比较；RescueNet数据集[43]具有高分辨率和详细的注释，特别适合评估MDCA在建模裂缝和阴影等细节方面的贡献；COCO数据集[44]

结论

本文解决了无线传输灾难遥感图像的核心挑战，提出了三项关键方面的解决方案，以克服现有方法的局限性。首先，为了解决传统端到端模型难以同时保持全局语义和局部细节的问题，我们设计了GLSP模块。该模块在灾难场景中增强了结构一致性，使PSNR比基线模型提高了6-7分贝

CRediT作者声明

郝璐：概念化、方法论、软件开发、验证、形式分析、调查、数据管理、初稿撰写、可视化。

梁源：方法论、验证、形式分析、撰写 - 审稿与编辑。

宁超：资源管理、撰写 - 审稿与编辑、项目监督、资金获取。

王洛斌：软件开发、调查、数据管理。

郑彦明：验证、可视化。

张云飞：调查、撰写 - 审稿与编辑。