**面向目标视觉感知的视觉–雷达语义通信:联合图像重建与动态状态估计**

《Sensors》:Vision–Radar Semantic Communication for Target-Oriented Visual Sensing: Image Reconstruction and Dynamic State Estimation

【字体: 大 中 小 】 时间:2026年09月18日 来源:Sensors 4.0

编辑推荐:

  面向目标的感知图像处理与分析对于智能监控和动态感知应用至关重要,在此类应用中,无线系统需要从异构感知数据中恢复与任务相关的视觉和状态信息。本研究开发了一种视觉–雷达语义通信(Vision–Radar Semantic Communication)系统,用于联合

  
面向目标的感知图像处理与分析对于智能监控和动态感知应用至关重要,在此类应用中,无线系统需要从异构感知数据中恢复与任务相关的视觉和状态信息。本研究开发了一种视觉–雷达语义通信(Vision–Radar Semantic Communication)系统,用于联合目标图像重建与动态状态估计。发射端通过视觉–雷达语义提取与融合、轻量级上下文语义编码以及通信感知语义传输,对场景级视觉观测和目标关联的雷达回波进行联合编码。接收端采用多任务语义解码器(Multi-Task Semantic Decoder)重建目标图像,并估计归一化距离、角度和速度。实验在自适应信噪比(Signal-to-Noise Ratio, SNR)–调制工作点下进行,并采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index Measure, SSIM)和归一化状态估计均方根误差(Root Mean Square Errors, RMSEs)进行评估。所开发的系统实现了平均PSNR为24.57 dB、SSIM为0.8896、归一化距离RMSE为0.0120、归一化角度RMSE为0.0059、归一化速度RMSE为0.0015,在所有报告的平均指标上均优于连续信道训练变体。消融研究表明,复合重建目标和自适应任务平衡方案提供了有利的视觉–感知权衡。这些结果表明,视觉–雷达语义通信能够在统一的面向感知的无线框架内支持面向目标的视觉感知和动态状态恢复。
## 论文解读:视觉–雷达语义通信系统用于面向目标的联合图像重建与动态状态估计

### 一、研究背景与问题提出

感知图像处理与分析在智能监控、交通监测和移动感知等应用场景中扮演着关键角色。在这些场景中,接收端通常既需要目标级别的视觉信息,也需要动态状态信息来支持后续决策。然而,现有的感知流程往往难以在实用通信约束下同时实现视觉重建与面向目标的分析。

语义通信(Semantic Communication,一种以传递任务相关信息而非比特级数据为目标的通信范式)近年来成为未来无线系统的重要研究方向。与传统通信不同,语义通信旨在提取、传输并恢复对接收端任务直接有用的紧凑语义表征。当前面向任务和面向图像的语义通信研究已经探索了语义特征提取、无线图像传输以及接收端视觉恢复等问题,表明语义通信正从源级重建走向任务感知的信息传递。然而,这些研究主要聚焦于视觉数据传输或视觉语义恢复,并未同时涉及目标图像重建与动态目标状态(距离、角度、速度)的联合恢复。

在多模态感知领域,视觉观测提供丰富的空间结构和外观线索,有利于目标图像重建;而雷达回波则提供与目标距离、角度和运动相关的互补感知信息。近年来雷达–相机融合研究已经表明,两种模态可以为交通场景中的鲁棒目标感知提供互补信息。但这些面向感知的方法主要聚焦于检测、定位、跟踪或分割,通常假设在本地进行多模态处理,而未考虑通过无线链路的语义传输。

因此,在面向目标的视觉感知中,如何在统一的语义通信框架内联合编码视觉与雷达语义信息、经过通信感知传输后在接收端同时恢复目标图像和归一化动态状态,仍是一个尚未充分探索的研究空白。

### 二、研究内容与意义

针对上述研究空白,研究人员开发了一套视觉–雷达语义通信系统,以联合目标图像重建与动态状态估计作为接收端目标。在发射端,系统联合处理场景级视觉观测和目标关联的雷达回波,通过视觉–雷达语义提取与融合、轻量级上下文语义编码以及通信感知语义传输,生成多模态语义表征并完成无线传输。在接收端,多任务语义解码器同时重建目标图像并估计归一化距离、角度和速度。该系统的核心贡献在于,将视觉–雷达语义传输、目标图像重建和归一化目标状态恢复统一纳入面向感知的无线框架中,区别于仅图像的语义通信、单任务感知估计和仅感知的视觉–雷达融合方法。实验结果表明,所开发的系统在自适应信噪比(SNR)–调制工作点下,相较连续信道训练变体取得了更优的图像重建质量和状态估计精度,验证了该统一框架的有效性。

### 三、关键技术方法

图像语义提取器采用BiFormer-tiny视觉骨干网络,将最终视觉特征图映射为49个视觉语义令牌(Token),每个令牌维度为512。雷达语义提取器包含三个复值一维残差卷积块(通道维度为10–128–256–512),提取的雷达特征被投影为49个雷达语义令牌。视觉与雷达语义令牌通过交叉注意力(Cross-Attention)融合模块进行双向令牌级交互,该模块具有512维令牌表征和8个注意力头。融合后的令牌被映射至冻结的ALBERT(A Lite BERT,一种轻量级Transformer预训练模型)编码器的128维输入嵌入空间,其上下文语义表征的隐藏维度为768;ALBERT编码器包含12层Transformer编码层、12个注意力头,参数量约11.7M,预训练于英文维基百科和BookCorpus语料。通信感知语义传输模块将语义表征映射为无线传输兼容形式,在选定的SNR和调制设置下进行传播。接收端多任务语义解码器选取49个语义令牌,重塑为7×7特征图,经过CNN特征精炼和ViT(Vision Transformer)解码器进行目标图像重建,同时通过三个标量回归头预测归一化距离、角度和速度。数据集来源于VIRAT视频数据集(Video and Image Retrieval and Analysis Tool),选取四个代表性场景,以每秒一帧采样约14,000幅场景级视觉观测,提取约79,000幅目标车辆图像。雷达回波基于简化的线性调频目标回波模型生成,嵌入距离、角度和多普勒相关线索。训练目标采用基于不确定性的自适应任务平衡策略,通过四个可学习任务参数动态调整图像重建损失(结合MSE、L1损失和SSIM相关项)与三个归一化状态估计损失之间的相对贡献。

### 四、主要研究结果

**代表性目标图像重建:** 重建结果展示了所开发系统对目标车辆轮廓、颜色特征和目标级语义外观的恢复能力,表明接收端能够从传输的语义表征中重建出与任务相关的视觉信息。

**自适应无线工作点下的性能对比:** 在自适应SNR–调制工作点(0/5 dB采用BPSK、10/15 dB采用QPSK、20 dB采用8PSK、25 dB采用16-QAM)下,所开发系统的平均PSNR为24.57 dB、SSIM为0.8896,归一化距离RMSE、角度RMSE和速度RMSE分别为0.0120、0.0059和0.0015,在所有指标上均优于连续信道训练变体(PSNR 23.55 dB、SSIM 0.8670,三项归一化RMSE分别为0.0432、0.0486和0.0028)。多次重复运行中各项指标的标准差很小(PSNR标准差0.06 dB),表明系统在不同训练种子下具有稳定的性能趋势。

**模态可用性消融:** 仅视觉变体因缺乏雷达感知线索,状态估计精度有限;仅雷达变体虽状态估计较强,但缺乏视觉外观信息。视觉–雷达联合设置在所有指标上(除归一化速度RMSE因数值极小差异不明显外)均取得最优结果,证实了两种模态的互补性。

**重建目标消融:** 对比MSE目标、MSE+L1目标和复合重建目标(结合MSE、L1损失和SSIM相关项),复合重建目标取得了最高的PSNR和SSIM,同时归一化距离RMSE和角度RMSE也最低,表明引入结构一致性约束有利于同时改善视觉重建质量和状态估计精度。

**任务平衡方案消融:** 对比均衡固定方案、温和固定方案、状态感知固定方案和自适应平衡方案,自适应方案取得了最低的归一化距离RMSE和角度RMSE,同时保持了与固定方案相当的视觉重建质量。由于归一化速度RMSE在所有方案中均已处于极低数值水平,四舍五入后差异不显著。

**雷达扰动下的鲁棒性:** 测试时引入加性复高斯噪声、随机幅度增益变化和随机相位旋转等扰动后,所开发系统仍保持稳定的PSNR、SSIM以及各项归一化RMSE,表明学习到的多模态语义表征对雷达输入扰动具有较好的鲁棒性。

### 五、总结与结论

实验结果表明,所开发的视觉–雷达语义通信系统能够在自适应无线工作点下联合恢复目标外观信息和归一化动态状态信息。模态可用性消融揭示了视觉和雷达输入的互补作用;重建目标和任务平衡方案的消融分析进一步阐释了训练设计选择对视觉–感知权衡的影响;雷达扰动实验则验证了系统在雷达输入变化下的鲁棒性。

研究结论如下:针对现有图像语义通信方法主要关注视觉传输或重建、现有多模态或多任务语义通信方法通常未针对联合视觉–雷达目标恢复进行建模、以及雷达–相机感知方法通常不考虑通信感知语义传输这一研究空白,本文开发了一套面向目标视觉感知的视觉–雷达语义通信系统。该系统在发射端联合编码场景级视觉观测和目标关联雷达回波,在接收端同时恢复目标图像和归一化动态状态信息。主要贡献在于构建了一个统一的视觉–雷达语义通信框架,将发射端多模态语义提取与融合、轻量级上下文语义编码、通信感知语义传输与接收端多任务语义解码相连接,使接收端能够在自适应无线工作点下同时重建目标图像并估计归一化距离、角度和速度。实验结果显示,所开发系统在目标图像重建质量和归一化状态估计精度方面均优于连续信道训练变体;模态可用性消融进一步表明视觉–雷达语义传输相较于仅视觉和仅雷达变体的整体性能优势;重建目标和任务平衡方案消融研究表明复合重建目标和自适应任务平衡策略在视觉重建与归一化状态估计之间提供了有利的权衡;此外,雷达扰动分析表明系统在附加扰动下保持稳定性能。未来工作将进一步探索更广泛的场景条件、额外的通信工作点,以及使用实测雷达数据进行进一步验证以扩展视觉–雷达语义通信的评估范围。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号