面向铁路监控实时去雨雾的频率自适应多尺度网络(FAMNet)

《Algorithms》:Frequency-Attentive Multiscale Network for Real-Time Adverse Weather Restoration in Railway Monitoring

【字体: 大 中 小 】 时间:2026年10月24日 来源:Algorithms 2.6

编辑推荐:

  雨和雾会因其非均匀空间分布和动态时间变化而显著降低轨道交通监控系统的可见度。传统图像恢复方法在极端天气条件下难以兼顾计算效率与边缘保持。研究人员提出频率自适应多尺度网络(Frequency-Adaptive Multi-Scale Network, FAMNe

  
雨和雾会因其非均匀空间分布和动态时间变化而显著降低轨道交通监控系统的可见度。传统图像恢复方法在极端天气条件下难以兼顾计算效率与边缘保持。研究人员提出频率自适应多尺度网络(Frequency-Adaptive Multi-Scale Network, FAMNet),联合优化基于小波的频谱分解与相似性驱动特征聚合。该框架通过自适应频谱核动态建模退化模式,同时通过相似性驱动聚合捕获跨区域依赖。在由RailSem19基准衍生的8500幅合成轨道交通图像上评估,该方法去雨达到32.6 dB峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)/0.95结构相似性指数(Structural Similarity Index, SSIM)(相较Restormer提升+1.0 dB/+4%)。该方法在NVIDIA RTX 3080 GPU、256 × 256输入(批大小1,FP32精度)下评估,端到端推理速度约比Restormer快40×;Restormer是恢复质量领先的基线,同时该方法保持有竞争力的性能。这种效率显示其在全天候轨道交通巡检系统中具有成本效益部署的较强潜力,并可能应用于轨道障碍物检测等安全关键场景。
研究背景与问题:雨雾会显著降低轨道交通监控系统可见度,其空间分布非均匀且随时间动态变化;铁路基础设施中能见度下降可能导致道岔故障和信号灯被遮蔽,增加运营风险。现有去雨去雾方法中,深度学习较传统方法在性能与通用性上占优,但早期统一框架如LI R et al.与PATIL P et al.存在不稳定和高计算成本,难以实时应用;传统基于先验的雨痕与背景分离结果欠佳;逐像素核预测网络(KPN)等深度模型仍面临实时效率挑战。去雾方面,GCANet、注意力引导多尺度网络、MSBDN、对比正则化、边缘注意力混合网络等提升了清晰度和细节恢复,但在动态不可预测环境下,高质量恢复与实时处理仍未解决。频域方法如Liu et al.、Moser et al.、Zou et al.、Kim et al.在抑噪、去伪影和去模糊方面有效,但计算复杂度对实时应用仍有挑战。模型复杂度与恢复质量之间的权衡是关键问题,轻量注意力多尺度网络虽通过特征交互提升计算效率,但计算效率、实时处理和复杂退化仍限制实际应用。为此,研究人员开展基于频域的实时去雨去雾研究,提出FAMNet;其基于U-Net架构,采用多尺度空洞卷积增强细节保持,并引入频域处理、全局特征聚合和多尺度自适应融合。为克服配对铁路数据稀缺,研究人员基于物理天气模拟在清晰轨道图像上合成雨雾。研究结论显示该方法在恢复质量与推理速度上满足实时部署需求,对铁路安全系统具有意义。

关键技术方法:基于RailSem19合成8500对256 × 256铁路雨雾图像。FAMNet以U-Net预测逐像素滤波核,并在多尺度空洞卷积(d = {1,2,3,4})上滤波,3 × 3卷积融合多尺度结果。频域模块用3级U-Net处理小波变换分解的高低频分量,含4头多头自注意力与通道注意力,经逆小波重构。相似性特征聚合在深层语义特征上分3 × 3重叠块,经?2归一化、余弦相似度和列softmax权重进行跨区域聚合,再用{1,2,4,8}空洞卷积多尺度融合与通道权重生成。损失为L1范数损失(L1 Norm Loss)与SSIM复合,SSIM项权重为0.2。

研究结果:(1)数据集与评价指标:通过基于RailSem19的数据合成生成8500对256 × 256铁路极端天气配对样本,采用PSNR和SSIM定量评价,训练与测试按8:2划分,并采用随机水平翻转、旋转、裁剪及部分低光合成;结论是为模型训练和比较提供受控配对数据。(2)实验细节:通过PyTorch 2.5.0实现,以NVIDIA A100 48 GB训练、RTX 3080测试,训练1000 epochs,采用Adam优化器,批大小32,权重衰减0.05;结论是在统一平台完成训练与推理评测。(3)对比实验:通过去雨任务与Restormer、PReNet、Ir-sde、MPRNet等比较,FAMNet达到32.6 dB PSNR、0.95 SSIM,较Restormer高1.0 dB和4% SSIM,较PReNet高3.1 dB和6% SSIM;IPT的PSNR最高为41.6 dB但参数量达114.0 M,MPRNet较本方法高3.8 dB但需36.3 M参数,本方法为49 GFLOPs、27.5 M参数。通过去雾任务与ConvIR-B、DeHamer、FFANet、DSANet、FSNet比较,SSIM分别高约4%、1%、5%、9%;FSNet的PSNR最高为34.12 dB,DeHamer为33.63 dB,本方法为32.60 dB、排名第三,但计算成本最低(49 GFLOPs,对比DeHamer 60.3、FSNet 110.5);视觉比较显示结果更自然、色偏更少。结论是该模型在恢复质量与计算效率间取得有竞争力平衡。(4)消融研究:通过消融频域处理模块(FDP)与相似性特征聚合模块(SFA),FDP使去雨PSNR提高2.1 dB,SFA使SSIM提高0.009,完整模型(ALL)性能最佳;结论是两模块分别处理频域抑噪与空间一致性,具有互补性。

讨论与结论翻译:研究结论指出,研究工作提出一种多尺度核估计图像恢复算法,专门用于应对铁路运输场景中极端天气条件下的图像退化。在8500幅合成铁路图像上的广泛实验表明,所提方法取得有竞争力的恢复质量:去雨PSNR为32.6 dB、SSIM为0.95,去雾PSNR为32.6 dB、SSIM为0.94。与恢复质量领先基线Restormer相比,该方法在去雨上PSNR提高1.0 dB,同时去雾性能相当。该方法仅有27.5 M参数和49 GFLOPs,在NVIDIA RTX 3080 GPU上实现约40×更快的推理速度,因而高度适合资源受限铁路监控系统的实时部署。当前评估基于合成生成图像,这是该领域可实现与先前工作受控比较的标准做法;所提方法在这些基准上取得了很好结果。强性能、轻量架构和实时推理能力为最终部署到真实铁路监控系统提供了坚实基础。作为该研究的自然延伸,研究人员正积极协调获取运营铁路视频,以进一步验证方法的实际适用性。该方法的实用性和效率凸显其作为提升恶劣天气下铁路运输视觉清晰度和运营安全的有前景解决方案的潜力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号