学习偏好形成:基于RWKV的奖励驱动型红外-可见光融合技术
《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Learning to Prefer: Reward-Driven Infrared-Visible Fusion via RWKV
【字体:
大
中
小
】
时间:2026年08月10日
来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4
编辑推荐:
•RD-Fusion是一种基于奖励机制的框架,用于在复杂退化条件下实现红外与可见光图像的恢复与融合。•隐式提示调优功能使得该框架能够适应多种不同的退化模式。•基于CLIP的视觉语义奖励模型可提升语义一致性并减少视觉伪影。•线性复杂度的IP-RWKV结构能够高效捕捉局部细节与全局关
•RD-Fusion是一种基于奖励机制的框架,用于在复杂退化条件下实现红外与可见光图像的恢复与融合。•隐式提示调优功能使得该框架能够适应多种不同的退化模式。•基于CLIP的视觉语义奖励模型可提升语义一致性并减少视觉伪影。•线性复杂度的IP-RWKV结构能够高效捕捉局部细节与全局关联。•RD-Fusion取得了当前最佳性能,有助于提升后续的视觉处理任务效果。
引言
视觉感知系统对于自动驾驶和全天候监控等智能应用而言至关重要。然而,在复杂的户外环境中,由于物理限制,单模传感器往往无法提供完整的场景视图。可见光传感器擅长捕捉纹理和颜色,但在光照条件不佳或环境复杂的情形下表现欠佳。而红外传感器则能在任何光照条件下有效识别热目标,但无法呈现重要的结构信息与细节。红外-可见光图像融合技术正是结合了这两种传感器的优势,其目标是生成既能保留清晰热目标又能呈现丰富纹理的完整图像[1],从而为后续的语义分割[2]、物体检测[3]以及目标跟踪[4]等任务提供支持。
近年来,得益于卷积神经网络[5]、[6]、Transformer模型[7]以及Mamba模型[8]等先进深度学习技术的推动,红外-可见光图像融合领域取得了显著进展。不过,现有的大多数融合算法都假设输入图像是清晰的,因此当面对退化的红外或可见光图像时,其性能会大幅下降。尽管近期有一些方法[9]试图缓解图像退化问题,但它们在复杂的户外环境下仍表现不佳。一个主要问题是,现有方法往往缺乏内在的自适应感知能力。为应对不同类型的图像退化,这些方法通常依赖人工设定的先验条件或真实标签来生成固定提示,这种对预设专家知识的过度依赖限制了它们的泛化能力,进而影响了其在现实场景中处理多样退化模式的能力。
此外,目前的优化目标仍以像素级的统计约束为主,比如强度一致性和结构相似性。虽然这些目标能够确保融合图像与原始图像在像素层面保持对应关系,但却没有充分考虑语义连贯性或人类视觉偏好。因此,即便融合后的图像在数值指标上表现良好,也可能无法准确呈现关键目标与有用的结构信息,还会出现视觉伪影或外观不自然的问题。优化目标与视觉语义需求之间的这种偏差,最终限制了融合结果在高级视觉任务中的应用效果。
另一个当前恢复-融合模型面临的重大挑战,是在较大的感受野与计算效率之间找到平衡。由于图像恢复效果在很大程度上取决于有效的感受野[10],那些采用固定核大小的CNN模型难以捕捉长距离的依赖关系。而基于Transformer的模型虽然能通过自注意力机制很好地捕捉这类依赖关系,但其二次方的计算复杂度使得它们无法应用于高分辨率的融合任务中。
为了解决这些问题,我们提出了RD-Fusion——一种基于奖励机制的框架,用于实现红外与可见光图像的联合恢复与融合。该框架基于三个核心设计:具备退化感知能力的提示机制、由语义奖励引导的优化策略,以及高效的全局-局部上下文建模方法。具体而言,首先我们设计了一种隐式提示调优策略,能够动态向RWKV序列中注入特定于不同图像模态的标记,从而在无需依赖预先设定明确先验的情况下,实现针对不同退化条件的自适应特征调节。接着,我们引入了基于CLIP的视觉语义奖励模型(VSRM),通过同时兼顾图像的物理真实性与人类视觉偏好,来优化网络结构。这种基于语义空间的正则化机制有助于生成在视觉上自然且语义连贯的融合图像,同时减少视觉伪影。最后,为在感受野大小与计算成本之间取得更好的平衡,我们设计了一种线性复杂度的IP-RWKV核心结构,该结构结合了C-Shift与Axial-WKV两种机制:C-Shift负责强化局部纹理的聚合,而Axial-WKV则通过线性扫描的方式以O(N)的复杂度实现全局依赖关系的建模,避免了自注意力机制所带来的二次方级计算负担。通过这种方式,所设计的核心结构能够有效捕捉长距离的上下文信息与精细的局部细节,从而在复杂退化场景下生成可靠的图像表示。大量实验表明,RD-Fusion的性能始终优于现有方法,达到了当前最佳水平。
总结而言,本工作的贡献如下:
•我们提出了RD-Fusion,这是一种全新的基于奖励机制的统一框架,用于在复杂退化条件下实现红外与可见光图像的联合恢复与融合。该框架采用了具有线性复杂度的IP-RWKV核心结构,并结合了C-Shift与Axial-WKV机制,能够高效捕捉精细的局部细节与全局依赖关系。
•我们设计了一种隐式提示调优策略,以实现具备退化感知能力的自适应处理。通过动态注入特定于不同图像模态的隐式标记,该框架无需依赖预先设定的明确先验,即可适应各种不同的退化模式。
•我们引入了基于CLIP的视觉语义奖励模型(VSRM),用于同时保障图像的物理真实性与语义一致性。该模型能够使融合图像在保持语义连贯性的同时具备自然的视觉效果,同时减少视觉伪影。
•在多个基准数据集上的大量定量与定性实验表明,无论在图像退化还是未退化的场景中,RD-Fusion的性能均显著优于现有方法,达到了当前最佳水平。
章节节选
图像融合
深度学习的快速发展为红外-可见光图像融合领域带来了显著进步。现有的方法主要基于CNN架构[5]、[6]、自编码器[AE] [11]、[12]、生成对抗网络[GAN] [13]、Transformer模型[7]、基于Mamba的方法[8]以及扩散模型[14]。尽管这些方法已经取得了优异的性能,但它们通常是在输入图像为清晰状态的假设下开发的,因此一旦遇到图像退化问题,其性能就会大幅下降。
整体框架
图2展示了所提出的RD-Fusion的整体架构。RD-Fusion采用分层式的编码器-解码器框架,用于实现红外与可见光图像的联合恢复与融合。给定两幅退化的源图像IirLQ、IviLQ∈RH×W×3(其中H和W分别表示输入图像的空间高度和宽度),首先会使用一个3×3的卷积层进行初步的特征提取,得到FS∈RH×W×C。随后,这些提取出的特征会被传递到四个编码器层中...
数据集
为全面验证RD-Fusion在面对各类退化模式时的稳定性,我们专门构建了一个名为多退化融合基准测试(MDFB)的评估体系。考虑到开放环境应用中常见的恶劣环境条件以及传感器本身的缺陷,我们基于高质量的源图像合成了四种具有代表性的退化模式:(1)利用可见光图像中的低光照条件来模拟光照不足的情况...
结论
在本文中,我们提出了RD-Fusion——一种基于奖励机制的统一框架,用于实现红外与可见光图像的联合恢复与融合。为提升其在复杂退化条件下的稳定性,RD-Fusion首先引入了一种隐式提示调优策略,能够动态注入特定于不同图像模态的隐式标记,从而在无需依赖预先设定明确先验的情况下,实现具备退化感知能力的特征调节。此外,该框架还整合了基于CLIP的视觉语义奖励模型(VSRM),用以协调图像的物理真实性与人类视觉偏好之间的关系...
未标注的图表
图1. CRediT作者贡献说明
黄佳玲:写作——审稿与编辑、写作——初稿撰写、可视化、软件工具、方法论、概念设计。王莹莹:写作——审稿与编辑、软件工具、方法论。何宣华:写作——审稿与编辑、软件工具、方法论。郑辉:写作——审稿与编辑、方法论。段玉发:写作——审稿与编辑、可视化。车浩轩:写作——审稿与编辑。徐昊特:写作——审稿与编辑。黄海龙:写作——审稿与编辑。黄悦...
利益冲突声明
作者们声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
黄佳玲|王莹莹|何宣华|郑辉|段玉发|车浩轩|徐昊特|黄海龙|黄悦|丁星豪|涂晓桐
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号