基于权重共享与层次特征增强的RGB-T图像语义分割网络研究

为解决RGB-T图像语义分割中权重共享编码器难以有效提取模态特异性特征的问题，研究人员提出了一种结合层次特征增强模块(HFEM)和渐进融合解码器(PFD)的新型网络WSRT。该研究通过增强模态共享特征并生成相对模态特异性特征，显著提升了分割性能，在多个数据集上达到领先水平，为多模态感知系统提供了更高效的解决方案。

　　

在自动驾驶和机器人领域，环境感知的准确性直接关系到系统的安全性。RGB-T（可见光-热成像）图像语义分割技术因其在低光照条件下的独特优势备受关注，但现有方法面临两大困境：采用独立编码器会导致参数激增和特征冲突，而权重共享编码器又难以充分捕捉模态特异性特征。这种矛盾严重制约了多模态感知系统的性能提升。

大连海事大学信息科学技术学院的研究团队在《Neurocomputing》发表论文，提出创新性解决方案——基于权重共享的WSRT网络。该网络通过层次特征增强模块(HFEM)和渐进融合解码器(PFD)的协同设计，首次实现了权重共享架构下模态共享与特异性特征的双重优化。研究采用MFNet等三个挑战性数据集验证，其性能超越现有方法，为多模态感知系统提供了更轻量化、更鲁棒的解决方案。

关键技术包括：1）构建权重共享编码器提取基础特征；2）设计HFEM模块分层生成增强型模态共享特征和相对模态特异性特征；3）开发PFD解码器渐进融合多尺度特征。实验采用交并比(mIoU)等指标评估，并与DeepLab V3+等主流方法对比。

层次特征增强模块设计
HFEM首先整合权重共享编码器输出的特征图，通过跨模态交互生成增强型模态共享特征。这些特征既包含共性信息，又通过差分运算派生出RGB与热成像模态的相对特异性特征，解决了传统权重共享架构的特征表达局限问题。

渐进融合解码机制
PFD采用自顶向下的解码路径，逐步整合不同阶段的增强特征。通过跳跃连接保留空间细节，同时利用注意力机制抑制冗余信息，使网络在减少25%参数量的情况下，解码效率提升18%。

跨数据集性能验证
在包含昼夜场景的MFNet数据集上，WSRT的mIoU达到58.7%，夜间场景性能提升尤为显著（+6.2%）。在VT5000和VT1000数据集上的实验进一步证实，该方法对光照变化、目标遮挡等复杂场景具有更强鲁棒性。

研究表明，WSRT网络通过层次特征增强和渐进解码的创新组合，成功突破了权重共享架构在多模态分割中的性能瓶颈。该方法不仅参数效率优于双编码器方案，其提取的相对模态特异性特征更开创了新的技术路径。这项工作为自动驾驶、智能监控等需要实时多模态感知的领域提供了重要技术支撑，其设计理念还可拓展至RGB-D等其他跨模态视觉任务。未来研究可探索动态权重调整机制，进一步提升网络对极端环境的适应能力。