CISPD:互补光照-语义提示扩散技术在低光照遥感图像增强中的应用 高欢(Huan Gao) 廖云泰(Yuntai Liao) 马宗芳(Zongfang Ma) 宋林(Lin Song)

《Remote Sensing》:CISPD: Complementary Illumination–Semantic Prompt Diffusion for Low-Light Remote Sensing Image Enhancement Huan Gao, Yuntai Liao, Zongfang Ma and Lin Song

【字体: 大 中 小 】 时间:2026年04月29日 来源:Remote Sensing 4.1

编辑推荐:

  **亮点** **主要发现是什么?** 我们提出了CISPD,这是一种基于提示的扩散框架,它明确区分了光照校正和结构保留,用于低光照条件下的遥感图像增强。光照感知提示和语义不变提示在对比约束的调节下,共同引导扩散过程,以获得曝光良好的结果,并保持几何结构的真实性。 **主要发

  **亮点**

**主要发现是什么?**
我们提出了CISPD,这是一种基于提示的扩散框架,它明确区分了光照校正和结构保留,用于低光照条件下的遥感图像增强。光照感知提示和语义不变提示在对比约束的调节下,共同引导扩散过程,以获得曝光良好的结果,并保持几何结构的真实性。

**主要发现的意义是什么?**
CISPD在iSAID-dark数据集上持续表现出最先进的性能,并在darkrs数据集上展示了强大的真实场景泛化能力,能够在保留细小结构和边界的同时进行区域光照校正。这种基于提示的扩散范式在自然图像数据集LOLv1和LOLv2上也同样有效,表明这是一种可泛化的增强策略,适用于不仅仅是遥感领域。

**摘要**
在对非发射性陆地表面进行夜间被动可见光遥感时,光照通常由随月相变化的微弱月光主导,这会导致图像辐射度低且纹理质量下降,因此需要改进低辐射度可见光遥感图像。我们提出了一种互补光照-语义提示扩散框架(CISPD),该框架结合了语义不变提示和自学习的照明感知提示来指导基于扩散的图像增强。在去噪过程中,我们依次注入两种互补的提示:首先从当前潜在上下文中检索一个自学习的照明感知提示来校正不均匀的亮度,然后应用从视觉基础模型中提取的语义不变提示来强化几何结构并抑制伪影。为了使这两种提示相互补充而不是冗余,我们引入了一个对比约束,以鼓励它们的表示保持差异性,从而使双重提示共同引导扩散轨迹,获得曝光良好且结构真实的图像结果。在iSAID-dark、darkrs以及LOLv1和LOLv2数据集上的实验表明,CISPD在iSAID-dark数据集上实现了最佳的PSNR和SSIM分数,在darkrs数据集上具有强大的定性泛化能力,在LOLv1和LOLv2数据集上则具有竞争力的定量性能。

**1. 引言**
随着基于遥感的物联网系统的快速部署,高分辨率的航空和卫星图像及视频越来越多地被用作大规模、连续监控应用的感知输入。高分辨率的遥感图像通常包含密集的人造结构和异质的土地覆盖类型。然而,在夜间采集时,光照往往受到微弱且随月相变化的月光的影响,导致图像辐射度低、纹理质量下降,从而影响了道路和屋顶边界等细小结构的可见性。这不可避免地影响了依赖高分辨率遥感图像的下游任务,包括灾害评估、野生动物监测和环境保护。因此,开发专门用于增强低光照遥感图像的算法至关重要。

最近的基于CNN或Transformer的低光照增强方法主要采用单次前向处理流程。基于CNN的方法通常通过成对监督学习直接的光照补偿或Retinex分解与恢复,旨在提高曝光度同时抑制噪声并恢复细节[1,2,3]。在低光照遥感中,这种范式通过领域定向表示和高分辨率建模得到扩展,包括双域特征融合和针对阴影区域的数据高效适应[1,2]。基于Transformer的方法进一步引入了全局依赖建模和长距离交互,以改善在空间变化光照下的区域校正和细节恢复[4,5,6]。尽管有这些进展,但CNN和Transformer范式通常采用基于像素目标优化的单次前向映射,这往往会导致在严重曝光不足的区域产生过度平均的解决方案,从而影响细节和结构的一致性。这种退化对遥感特别有害,因为它可能会掩盖小尺度目标并模糊物体边界。

为了缓解单次像素优化的局限性,最近的研究越来越多地将低光照增强纳入扩散框架中,其中恢复过程被建模为在图像分布上的迭代去噪轨迹,从而逐步细化曝光度、对比度和结构细节[7,8,9,10,11]。这样的框架为在采样过程中引入额外的指导信号提供了灵活性,特别是在处理严重退化和不均匀光照时非常有益。现有方法通常依赖于外部调制或指导来稳定去噪过程,包括傅里叶域约束和受Retinex启发的分解[7,8],以及通过预训练的潜在扩散模型进行零样本增强和无训练的属性指导[9,11,12]。最近,基于提示的指导作为一种有效机制出现,它将辅助线索注入扩散模型中,其中可学习的或检索的提示调节中间表示,提供对退化的感知指导,而无需修改核心架构[13,14,15,16,17]。尽管有这些进展,现有基于扩散的低光照增强中采用的指导通常是单一且静态的,在整个去噪过程中保持不变,并紧密耦合到特定的先验或提示形式。这种单一的指导方式难以同时适应空间变化的光照校正和保留语义上有意义的结构,特别是当真实世界场景条件与增强模型假设的先验不同时。在遥感图像中,这通常表现为区域间校正不一致和局部结构扭曲,可能会掩盖小尺度目标并模糊物体边界。这些观察结果表明,有效的基于扩散的增强需要互补和自适应的指导机制,这激发了设计双重、可学习提示以协同引导扩散过程的动机。

这种分解是必要的,因为低光照遥感增强必须同时解决两个不同的目标:首先是适应性地校正空间变化的曝光不足;其次是即使在低对比度下也要保留语义结构和物体边界。单一的指导信号往往难以同时处理光照调整和结构保留。

为了解决这些问题,我们提出了一个针对低光照遥感图像增强的互补光照-语义提示扩散(CISPD)框架。CISPD不是依赖于单一的固定指导机制,而是通过注入去噪器中的两种互补提示来分离光照校正和结构保留。具体来说,我们从一个根据当前潜在上下文可学习的提示池中检索一个自学习的照明感知提示(IAP),以提供适应性的曝光相关指导来处理空间变化的曝光不足;同时,从一个视觉基础模型中提取的语义不变提示(SIP)提供稳定的结构线索,这些线索受光照变化的影响较小,从而提高几何一致性并抑制伪影。在去噪过程中,CISPD首先应用照明感知提示来校正不均匀的亮度,然后使用语义不变提示在曝光校正后强化结构并恢复细节。为了防止两种提示变成冗余的指导,我们进一步施加了一个对比提示约束损失(CPL),以保持它们的表示差异性,鼓励在整个细化过程中信息的互补流动。通过这种设计,CISPD以自适应的光照控制和语义不变提示协调地引导扩散细化,从而在低光照遥感图像上获得曝光良好且结构真实的结果。

**我们的贡献总结如下:**
我们开发了CISPD,这是一个基于提示的残差扩散框架,用于低光照遥感图像增强,它将自适应的光照感知提示检索与语义不变的结构指导相结合,以在迭代细化过程中处理空间变化的曝光不足问题。
我们设计了一个自学习的照明感知提示和一个语义不变提示,并将它们依次注入扩散去噪器中,同时加入对比约束以鼓励互补的指导。
在低光照遥感和自然图像数据集上的广泛实验表明,CISPD在空间变化的光照条件下实现了卓越的增强质量和强大的泛化能力。

**2. 相关工作**
**2.1. 图像恢复中的扩散模型**
最近的图像恢复研究越来越多地采用扩散模型作为灵活的图像先验,通过引导反向扩散过程朝向满足观测约束的解决方案来实现恢复。一个代表性的工作路线保持预训练的扩散先验不变,并设计指导规则,将数据一致性与去噪轨迹相结合。例如,迭代预处理的指导[18]改进了指导公式,以更好地处理逆问题中的噪声观测;而频率引导的后验[19]采样利用反向扩散的频率结构来减少近似误差并提高恢复质量。除了指导设计之外,还研究了扩散采样的效率和可控性。DeqIR[20]将长采样链重新表述为一个定点系统,实现了并行采样和快速梯度计算,无需额外训练。对于难以用参数形式指定的退化,Diffusion Image Prior[21]通过利用预训练扩散先验的优化动态和早期停止策略来进行盲恢复。
另一个方向是训练或调整扩散模型,以更好地使扩散过程与恢复目标对齐,而不仅仅依赖于测试时的指导。DTPM[22]将扩散先验集中在纹理恢复上,然后通过条件组件对其进行调整,以适应下游恢复任务。RDDM[23]提出了一个双扩散过程,明确地模拟残差扩散和噪声扩散,旨在使基于扩散的恢复更具解释性和通用性。扩散先验还与任务结构和额外模态结合,以在复杂退化下提高鲁棒性。DiffBIR[24]将盲恢复分解为退化去除和信息再生,利用生成式扩散先验在统一流程中进行细节合成。Osmosis[25]将扩散先验扩展到RGBD,通过学习联合扩散先验并应用基于模型的指导来进行水下恢复。对于低光照增强,LightenDiffusion[8]在潜在空间中结合了受Retinex启发的分解和基于扩散的恢复,并在非成对监督下进行。
基于扩散的恢复还在真实世界的超分辨率应用中得到了进一步探索,其中平衡保真度和幻觉效果至关重要。FaithDiff[26]研究了如何在保持与输入的结构一致性的同时更好地利用潜在扩散先验;扩散逆向[27]实现了灵活采样,可以通过调整步骤数量来进行超分辨率。UPSR[28]研究了如何在扩散过程中更有效地利用低分辨率信息,通过区域依赖的不确定性指导。由于扩散推理在计算上可能要求较高,压缩和蒸馏变得越来越重要。Adversarial Diffusion Compression[29]将基于扩散的超分辨率转化为更轻量级的扩散-GAN混合模型,降低了计算成本同时保持了生成能力。总体而言,这些最近的研究表明了一种趋势,即结合原则性指导、任务对齐的扩散公式和效率导向的设计,使扩散恢复更加实用[18,19,20,21,28,29]。Equivariant sampling通过利用双重采样轨迹和时步感知调度进一步改进了基于扩散的图像恢复[30]。TPGDiff通过引入分层的三重先验指导,进一步改进了基于扩散的图像恢复,将退化先验、结构先验和语义先验结合在去噪轨迹中,以实现统一的图像重建[31]。

**2.2. 图像恢复中的提示学习**
提示学习已成为图像恢复中常见的条件机制,特别是在混合或未知退化情况下,期望单个模型能够根据不同的输入调整其恢复行为。与固定的任务令牌不同,恢复提示通常被设计为具有退化感知能力,并能动态调整,以便模型可以根据当前输入选择或组合信息性线索。MPerceiver[13]利用文本和视觉提示来利用预训练的扩散先验进行一站式恢复,重点是在未见或少量样本退化下的可转移性。UHD-Processor[32]引入了具有退化感知的提示以及渐进式频率学习,以支持超高清图像的统一恢复,同时保持资源效率。
最近的工作还研究了如何更明确地编码退化并在条件信号中减少歧义。不同于将文本提示视为外部指令,AutoDIR[34]将文本表示中的退化去除映射到文本空间,编辑与退化相关的信息,然后将恢复的文本表示转换为图像恢复的指导[33]。AutoDIR[34]将退化识别与潜在扩散相结合,其中评估阶段预测退化描述,这些描述可以作为一站式恢复阶段的提示。SPIRE[14]通过支持基于指令的恢复和具有退化感知的恢复提示,提供了更可控的细粒度恢复接口。FPro[15]提出了频率提示指导,将提示组件注入不同频率带中,以解决多个恢复任务中的结构和细节问题。
提示池和检索提供了另一种处理退化组合复杂性的机制。T3-DiffWeather[35]使用提示池构建天气提示,并引入对比目标来区分不同类型的提示,提高对混合恶劣天气输入的鲁棒性。在基于扩散的恢复中,DPIR[17]结合了双重提示和扩散变压器,从低质量输入中提取条件信息,同时利用视觉和文本线索。相比之下,CISPD是为低光照遥感增强设计的,适用于空间非均匀光照条件。它使用从当前潜在特征中检索的自学习照明感知提示和语义不变提示来进行残差扩散过程中的结构保持指导。Defusion[36]构建了与退化模式对齐的明确视觉指令,并指导在退化空间中运行的扩散过程,旨在实现跨任务的稳定泛化。特征差异指令[37]通过从视觉-语言表示中提取退化指导,并通过轻量级调整将其注入扩散过程,来适应通用图像恢复的文本到图像扩散技术。提示学习也扩展到了RGB自然图像之外。MP-HSIR[38]结合了光谱、文本和视觉提示,用于在多种退化情况下进行高光谱图像恢复,表明提示条件化可以泛化到具有不同先验和退化特性的模态。总体而言,这些工作表明提示学习提供了一种结构化的方式来编码退化线索和可控的恢复意图,并且它与基于扩散的恢复技术越来越紧密地结合在一起,以提高在复杂现实世界退化条件下的适应性和可控性[13,14,17,36,37,38]。神经判别引导的Transformer进一步表明,提示引导的注意力和特征调制可以提高UHD图像恢复和增强的质量和计算效率[39]。

2.3. 低光遥感图像增强
低光遥感图像增强是一个专门的挑战,其特点是成像条件复杂,包括非均匀照明、巨大的空间尺度以及多样的地面特征。吴等人[40]通过开发一个基于Retinex的深度展开网络来解决这个问题,该网络在可学习的优化框架内将低光图像分解为反射层和照明层。为了最大化特征提取,傅等人[41]使用成对的低光图像进行训练。在探索替代表示方法时,杨等人[42]将隐式神经表示应用于增强过程。在更模块化的方法中,刘等人[43]实现了一个恢复方案,包括三个核心元素:视觉状态空间模块(VSSM)、局部特征模块(LFM)和双门Dconv前馈网络(DGDFFN)。从无监督学习的角度来看,邢等人[44]引入了一个基于GAN的框架,通过自相似性对比学习(SSCL)来优化低光图像和恢复图像之间的互信息。此外,姚等人[1]将增强任务分为两个阶段:通过幅度信息恢复全局亮度,以及使用相位信息细化结构细节。最后,针对非均匀照明的具体问题,赵等人[3]提出了一种基于大气散射模型的增强方法,适用于复杂的遥感环境。HDCGAN+结合了弱配对训练和结构感知融合,用于低光照无人机遥感图像增强[45]。另一项最近的研究提出了一种四元数小波Retinex框架,用于低光图像增强,并将其应用于遥感,其中结合了照明-反射分解和小波去噪,以提高颜色恒定性和噪声抑制[46]。这些方法主要依赖于显式分解或手工制作的物理建模。相比之下,CISPD不将照明和反射作为单独的恢复输出进行估计。相反,它在迭代去噪过程中执行残差扩散,并使用提示引导的条件化来处理照明校正和结构保留。

3. 方法论
3.1. 带有隐式先验的残差扩散
如图1所示,我们提出了CISPD,旨在通过学习照明-退化残差来增强低光遥感图像,其中清晰图像是参考图像。在去噪UNet中,首先注入照明感知提示,然后通过顺序交叉注意力注入语义不变提示。设为的潜在表示。前向扩散过程在时间步t产生一个噪声潜在表示,如下所示:
图1. 我们提出方法的架构。去噪UNet由两个连续的交叉注意力阶段引导。首先注入照明感知提示以进行照明校正,然后注入语义不变提示以保持结构。所提出的框架优化了一个条件去噪器,以预测噪声,该去噪器由两个协同的提示引导,这两个提示分别分离了语义反射和复杂的照明背景。这种设计遵循了低光遥感增强中的任务分解,其中照明校正需要适应性的退化感知指导,而结构保持则需要受照明变化影响较小的稳定语义指导。

3.2. 语义不变提示
遥感图像的语义成分代表了土地覆盖对象的内在物理属性,这些属性应该不受照明变化的影响而保持不变。为了保留这些内在属性,我们引入了语义不变提示。我们利用视觉基础模型DINOv3[47]作为SIP的特征提取器。我们选择DINOv3是因为SIP旨在编码语义结构而不是照明强度,而预训练的视觉基础模型提供了比直接使用低级图像特征更丰富和更稳定的描述符。这适用于遥感图像,因为在照明变化下,土地覆盖布局和对象边界应该保持稳定。给定输入,我们提取语义特征,这些特征通过投影层投影到提示空间中,形成静态语义特征:
作为扩散过程中的语义锚点,确保在强度恢复过程中保持地貌完整性。

3.3. 自学照明感知提示
我们提出了一种自学到的照明感知提示,以补充语义不变提示,通过建模特定于照明的变化而不是语义结构。这种提示旨在适应空间变化的退化下的自适应曝光校正。我们定义了一个提示池,作为一个可学习的退化提示嵌入库,其中每个嵌入隐式地表示一种与照明相关的退化模式。对于特定输入,我们从去噪UNet的潜在空间中提取其上下文特征,并进行top-k稀疏检索以适应其独特的退化分布。我们计算查询与与池相关联的可学习键之间的相似性:
为了提供对非均匀照明的局部归纳偏差,我们选择top-k个最相关的描述符来构建照明感知提示:
这种稀疏选择机制允许模型适应复杂的照明分布,而不受理想化物理假设的约束。在CISPD中,照明调整不由手工制作的曝光阈值控制。相反,它由基于相似性的稀疏检索控制,其中相似性分数和top-k选择决定了当前潜在上下文中激活哪些照明描述符。

3.4. 通过顺序交叉注意力注入照明-语义提示
为了确保提示精确地指导去噪过程,我们在去噪UNet的潜在空间内实现了顺序交叉注意力机制。去噪器与和以级联方式交互,逐步细化潜在特征。设为UNet的中间特征图。在第一阶段,特征图关注照明描述符以进行局部亮度补偿:
在这里,、、和分别表示生成查询、键和值表示的可学习线性投影。符号dim表示用于缩放点积规范化的特征维度。在第二阶段,更新后的特征关注语义不变锚点,以加强地貌结构并消除照明增强引入的潜在伪影:
这种顺序设计遵循了低光遥感图像的恢复要求。首先通过进行空间变化的曝光不足的校正。在此校正之后,提供语义不变的结构指导以保持边界并抑制伪影。因此,在亮度提升之后是结构感知校正,这有助于在照明调整期间抑制过度增强并保留局部细节。第4.7节提供了与替代提示集成策略的比较。形式上,两个提示通过由方程(5)和(6)定义的中间潜在特征变换来条件化去噪器。因此,去噪器可以写为,其中对和的依赖是通过在去噪UNet内部用提示细化后的特征替换原始中间特征来实现的。这样,提示信息通过潜在特征调制而不是通过外部采样指导项注入反向过程。

3.5. 通过对比提示学习实现照明-语义提示解耦
为了进一步确保和真正分离为语义和照明领域,我们实现了对比提示损失()。我们强制语义不变锚点和照明上下文描述符之间的余弦相似性:
这里,B表示批量大小,b表示批次内的样本索引。和分别表示第b个样本的语义不变提示和照明感知提示。函数sim表示余弦相似性。通过最小化,我们减少了和之间的相似性,同时增加了和之间的相似性。因此,被锚定在语义不变特征上,而被鼓励编码与这个语义锚点不同的信息。这样,损失抑制了两个提示之间的表示重叠,并促进了照明指导和结构指导之间的功能解耦。

3.6. 采样和优化
最终的训练目标结合了残差扩散损失、对比提示损失和像素级保真度项:
其中,、和是权重超参数,用于平衡每个损失组分的贡献。我们将它们设置为1,作为所有数据集的统一默认配置。这种等权重设置避免了额外的数据集特定手动调整,并保持实验之间优化设置的一致性。监督去噪器恢复照明-退化残差,因此主要驱动残差扩散空间中的照明增强。强制和之间的功能分离,使得与照明相关的校正和语义不变结构指导不会变成冗余的条件。限制恢复结果接近清晰参考图像,这有助于在增强过程中减少结构失真。因此,优化促进了曝光恢复,同时保持了结构一致性。相应地,反向转换被参数化为,其中提示仅通过提示条件化的噪声预测网络影响反向过程。在推理过程中,去噪过程通过顺序交叉注意力机制实现,该机制在噪声预测之前更新中间潜在特征:
最终重建的遥感图像为。通过围绕扩散残差,该框架在高效采样过程中恢复了局部辐射梯度和地形细节。

4. 实验
4.1. 数据集
我们在低光遥感数据集和成对的自然低光图像增强(LLIE)数据集上评估了所提出的方法。
遥感数据集。我们采用了两个用于低光遥感图像增强的数据集。iSAID-dark[1]是一个由高分辨率遥感图像构建的成对数据集。该数据集选择751张图像作为基础数据集,并通过合成退化过程生成成对的低光/正常光样本。为了增加场景多样性并使训练可行,提取并调整了多个随机裁剪,得到3755对训练图像对和66对验证图像对。darkrs[1]包含86张由无人机捕获的真实夜间遥感图像。由于没有成对的真实值,它主要用于通过定性比较来评估现实世界的泛化能力。这两个遥感数据集共同覆盖了互补的挑战性条件。iSAID-dark评估在具有强空间照明变化的成对低光退化下的恢复,而darkrs评估在具有复杂照明和传感器依赖噪声的真实夜间场景上的鲁棒性。
自然图像数据集。我们还在三个具有官方分割的常见成对数据集上进行了评估。LOLv1[48]包含500对在真实环境中捕获的低光/正常光图像,其中485对用于训练,15对用于测试。LOLv2-Real[49]提供了689对训练对和100对测试对,这些数据集是从真实场景捕获的。LOLv2-Syn[49]是一个合成成对数据集,包含900对训练对和100对测试对,旨在模拟多样化的低光场景。

4.2. 度量标准
对于成对数据集,我们报告PSNR和SSIM来衡量重建保真度和结构相似性。为了评估感知质量,我们在iSAID-dark上采用LPIPS进行遥感评估,在LOLv1、LOLv2-Real和LOLv2-Syn上采用FID进行自然图像评估。我们保留这些度量标准,因为它们在低光增强中广泛使用,并提供了与现有基线的直接可比性。较高的PSNR和SSIM表示更好的保真度和结构保持,而较低的LPIPS和FID反映了更好的感知质量。

4.3. 训练计划
所提出的扩散框架在PyTorch 2.1.0中实现,并在双NVIDIA RTX4090(NVIDIA Corporation,加州圣克拉拉)GPU上训练。训练从学习率开始,通过余弦退火逐渐减弱。Adam优化器用于参数优化,结合了权重为0.995的指数移动平均。扩散框架在从0.0001到0.02的线性缩放值下运行t步。图像输入作为像素块处理,批量大小为2。数据增强包括水平翻转和在固定角度、和的随机旋转。

4.4. 定性评估
我们在遥感和自然图像数据集上提供了定性比较,包括iSAID-dark、darkrs、LOLv1和LOLv2-Real。在图中,图2和图3对应于目标遥感任务,而图4和图5作为补充的跨领域验证,使用了标准的成对自然图像低光照基准数据集,以证明所提出的基于提示的扩散机制并不局限于遥感数据。为了进行公平的视觉评估,我们关注三个关键方面:(i)严重曝光不足的区域是否得到了充分的提升;(ii)增强后物体边界、结构布局和低对比度细节是否得到保留;(iii)是否避免了常见的伪影。图2是在iSAID-dark数据集上的视觉比较。比较的方法包括FourLLIE [50]、CUE [51]、LANet [52]、LLFormer [4]、NeRCo [42]、SCI [53]。图3是在darkrs数据集上的视觉比较。图4是在LOLv1数据集上的视觉比较。图5是在LOLv2-Real数据集上的视觉比较。在iSAID-dark数据集上的结果中,图2展示了定性比较。该数据集的特点是大规模的曝光不足和强烈的空间光照变化,有效的增强需要提升暗部区域的同时保留航拍视图中的细小结构和低对比度纹理。如图2所示,一些竞争方法虽然提高了整体亮度,但倾向于压缩局部对比度,这减弱了诸如停车槽标记和沥青路面上边界过渡等细微场景线索的可见性。相比之下,强调保守校正的方法可能会使阴影区域恢复不足,在严重黑暗的区域中提升效果有限。具体来说,CUE在曝光不足的区域表现出明显的过度亮化,导致图像显得过于模糊且纹理分离度降低。SCI在相对均匀的区域引入了明显的色噪样模式,这干扰了结构感知并损害了视觉一致性。NeRCo的光照提升效果相对有限,因此与其他结果相比,暗部区域的信息量较少。相比之下,CISPD在曝光校正和结构保留之间取得了更好的平衡:它提升了阴影区域,使有意义的场景内容得以显现,同时保持了停车线图案和低对比度物体边界的清晰度,并避免了SCI中观察到的明显颜色损坏以及由于过度亮化导致的对比度崩溃。

在darkrs数据集上的结果中,图3显示了比较情况。该数据集包含具有复杂光照条件和传感器依赖噪声的真实夜间遥感图像,增强质量很大程度上取决于方法是否避免了过度放大并保持了整个场景的稳定色彩统计。总体而言,几种竞争方法都产生了过强的曝光提升,使得场景显得过度曝光,降低了结构过渡的可见性,尤其是在圆形布局和周围路径周围。例如,FourLLIE和LLFormer显著提高了整个图像的亮度,导致色调分离度减弱,降低了布局中的深度线索。NeRCo引入了明显的暖色调偏差,使整体色调偏离了自然的夜间分布,影响了照明区域与非照明区域之间的一致性。SCI表现出明显的亮度过度校正,并伴有强烈的色调变化,进一步损害了视觉真实性。相比之下,CISPD进行了更可控的光照调整:它在保持全局色调稳定的同时提高了暗部区域的可见性,并避免了NeRCo中出现的强烈颜色偏移,同时更好地保留了场景的结构布局和边界过渡,没有出现几种基线方法中的过度曝光效应,表明其在darkrs数据集上的泛化能力更强。这一结果还表明,即使在具有非均匀光照和传感器依赖噪声的具有挑战性的真实夜间成像条件下,CISPD也能保持稳定。

在LOLv1数据集上的结果中,图4表明CISPD恢复了自然亮度和对比度,同时保持了颜色的真实性和纹理的完整性。在这个数据集上,竞争方法的一个常见问题是提高整体亮度但牺牲了局部对比度或颜色保真度,导致某些区域变得模糊、色调偏移或细节丢失。一些方法在抑制噪声时还会引入过度平滑处理,从而去除了高频纹理。相比之下,CISPD提供了更清晰的细节和更连贯的视觉结果:它增强了暗部区域而不导致过度饱和,保持了更自然的色调过渡,并在局部区域保留了纹理和边缘。关注图4中的放大区域,RUAS倾向于使红色框内的区域增强不足,其中毛发的纹理和与背景的边界仍然不清晰。LLFormer大幅提升了曝光度,但红色框内的裁剪显示毛发的微纹理减弱,而绿色框内的裁剪显示出更饱和的纱线色调,线状图案不那么清晰。RetinexFormer虽然抑制了噪声,但也平滑了绿色框内的细小结构,导致高频细节减少。相比之下,CISPD在两个裁剪区域内都恢复了曝光度,同时保留了红色框内的毛发纤维,并在绿色框内保留了纱线凹槽和葡萄的边界,没有引入明显的饱和度漂移。

在LOLv2-Real数据集上的结果进一步验证了CISPD的表现。该数据集包含更多样化的真实场景退化情况,通常比LOLv1更具挑战性。现有方法在不同区域之间的校正效果不一致,导致部分区域仍然较暗或输出过度亮化,局部结构退化。此外,不均匀的光照校正可能导致局部对比度崩溃或不自然的外观。CISPD在整个图像中实现了更连贯的光照调整,并减少了伪影,表明其在多样化的真实世界光照条件下的鲁棒性更强。图5中的放大裁剪进一步揭示了在真实场景退化下的局部行为。QuadPrior在绿色框内显示出明显的颜色偏移和局部对比度降低,而红色框内的裁剪显示电缆和包周围的轮廓变得柔和。CWNet提高了整体亮度,但绿色框内相邻条纹之间的分离度减弱,红色框内的边缘定义仍然不稳定。相比之下,CISPD在绿色框内保留了更清晰的条纹图案,并在红色框内保持了更清晰的电缆边界,同时保持了全局色调的一致性,从而在LOLv2-Real上实现了更可靠的局部结构。

4.5 定量评估
我们使用成对的遥感数据集iSAID-dark以及成对的自然图像数据集LOLv1、LOLv2-Real和LOLv2-Syn,定量比较了CISPD与最先进的LLIE方法。我们报告了以保真度为导向的指标以及感知指标,以反映重建精度和感知质量,并确保与之前的低光照增强方法进行一致比较。

在iSAID-dark数据集上的结果中,表1报告了两种设置下的结果:直接在iSAID-dark上进行评估和在iSAID-dark上重新训练进行比较。标题为iSAID-dark的列表示直接在iSAID-dark测试集上进行评估,无需重新训练,用于评估跨领域泛化能力。标题为iSAID-dark retrain的列表示在iSAID-dark训练分割上进行重新训练后获得的结果,用于评估在特定数据集监督下的领域内性能。未经重新训练时,CISPD在PSNR上获得了最佳的21.51 dB和SSIM上的0.707,比第二好的方法在PSNR上高出3.07 dB,在SSIM上高出0.128。尽管LPIPS在直接跨数据集评估中不是最好的,但CISPD仍然显示出最强的PSNR和SSIM优势。经过重新训练后,CISPD在PSNR上获得了最佳的26.53 dB,在SSIM上获得了0.856,在LPIPS上获得了0.101。与第二好的方法相比,CISPD在PSNR上提高了1.26 dB,在SSIM上提高了0.035,并进一步降低了LPIPS 0.028。这些结果表明,CISPD在更强、更现代的遥感比较中仍然有效。

在LOLv1和LOLv2数据集上的结果中,表2总结了在LOLv1、LOLv2-Real和LOLv2-Syn上的定量比较。在LOLv1上,CISPD在报告该指标的方法中获得了最佳的PSNR和最低的FID,而PyDiff报告了略高的SSIM。在LOLv2-Real上,CISPD在PSNR上保持了竞争力,为23.31 dB,在SSIM上为0.888,而CUGD报告了略高的SSIM,PyDiff报告了更高的PSNR。在LOLv2-Syn上,CISPD在PSNR上获得了最佳的评分,并在SSIM上超过了第二好的方法1.23 dB,在SSIM上超过了第二好的方法0.004。总体而言,更新后的比较表明CISPD在标准的成对自然图像基准测试中仍然具有很高的竞争力。我们注意到,CISPD在LOLv2-Real上没有获得最高的PSNR、SSIM或FID。LOLv2-Real包含比LOLv1和LOLv2-Syn更多样化的真实场景退化,其中残余不对齐和传感器依赖的噪声可能会影响像素级别的保真度和特征分布指标。在这种情况下,CISPD仍然保持了有竞争力的定量结果和强大的结构保留能力。

4.6 效率分析
我们分析了基于扩散的方法在LOLv1数据集上的模型复杂性。由于扩散模型在计算上可能要求较高,我们报告了参数数量和MACs来表征架构层面的计算成本。如表3所示,CISPD在比较的基于扩散的基线方法中参数数量适中,并且所需的MACs显著较少。这些结果表明,CISPD在参数数量和MACs方面实现了恢复性能和计算复杂性之间的良好平衡。我们并不仅凭这些指标来声称其具有部署导向的效率。

4.7 消融研究
大多数消融实验是在与主要比较相同的训练和评估设置下在iSAID-dark数据集上进行的,我们报告了PSNR和SSIM以进行定量分析。我们还在LOLv1数据集上补充了针对IAP长度和top-k选择的关键超参数的跨数据集验证。

IAPs和SIPs的影响。表4通过从CISPD中移除每个组件来评估这两种提示的贡献。当移除IAPs时,PSNR从26.53 dB下降到26.32 dB,SSIM从0.856下降到0.821,表明光照感知的指导对于改善曝光校正和保持结构一致性是必要的。当移除SIPs时,性能进一步下降到PSNR上的26.24 dB和SSIM上的0.818,表明语义不变的指导在增强过程中保持结构稳定性方面起着关键作用。我们还评估了一个没有可学习IAPs键的变体,其PSNR为26.39 dB,SSIM为0.826。与完整模型相比,这个变体的SSIM较低,表明可学习的键有助于检索与潜在上下文更匹配的光照提示,从而提高结构保真度。总体而言,结合使用SIPs和IAPs可以获得最佳性能,验证了在CISPD中使用双重提示的必要性。

4.7 消融研究
大多数消融实验是在与主要比较相同的训练和评估设置下在iSAID-dark数据集上进行的,我们报告了PSNR和SSIM以进行定量分析。我们还进一步在LOLv1数据集上补充了对IAP长度和top-k选择的跨数据集验证。

IAPs长度的影响。表5通过将IAP长度分别设置为32、64和128来研究其影响。使用长度64获得了最佳结果,PSNR为26.53 dB,SSIM为0.856。较短的提示长度32将性能降低到PSNR上的26.31 dB和SSIM上的0.829,表明表示能力不足以捕捉去噪器所需的光照线索。将长度增加到128并没有提高性能,反而导致PSNR为26.33 dB,SSIM为0.831。这表明过长的提示可能会引入冗余信息并削弱提示注入的效果。因此,我们在CISPD中采用长度64作为默认设置。其在LOLv1数据集上的跨数据集稳定性在表6中得到了进一步验证。

4.6 效率分析
我们分析了基于扩散的方法在LOLv1数据集上的模型复杂性。由于扩散模型在计算上可能要求较高,我们报告了参数数量和MACs来表征计算成本。如表3所总结的,CISPD在参数数量和MACs方面实现了恢复性能和计算复杂性之间的良好平衡。我们并不仅凭这些指标来声称其具有部署导向的效率。

4.7 消融研究
大多数消融实验是在与主要比较相同的训练和评估设置下在iSAID-dark数据集上进行的,我们报告了PSNR和SSIM以进行定量分析。我们还进一步在LOLv1数据集上补充了对IAP长度和top-k选择的跨数据集验证。

IAPs和SIPs的影响。表4通过从CISPD中移除每个组件来评估这两种提示的贡献。当移除IAPs时,PSNR从26.53 dB下降到26.32 dB,SSIM从0.856下降到0.821,表明光照感知的指导对于改善曝光校正和保持结构一致性是必要的。当移除SIPs时,性能进一步下降到PSNR上的26.24 dB和SSIM上的0.818,表明语义不变的指导在增强过程中保持结构稳定性方面起着关键作用。我们还评估了一个没有可学习IAPs键的变体,其PSNR为26.39 dB,SSIM为0.826。与完整模型相比,这个变体的SSIM较低,表明可学习的键有助于检索与潜在上下文更匹配的光照提示,从而提高结构保真度。总体而言,结合使用SIPs和IAPs可以获得最佳性能,验证了在CISPD中使用双重提示的必要性。去除负成分后,PSNR提高了26.19分贝,SSIM提高了0.817分贝;而去除正成分后,PSNR提高了26.15分贝,SSIM提高了0.813分贝。这两种变体的性能都低于全损失公式,表明这两个术语共同作用于学习独特且有用的提示表示。这一结果与CPL的设计目标一致,即强制分离照明引导和结构引导的功能性。使用全对比提示损失时,CISPD在PSNR上达到了26.53分贝,在SSIM上达到了0.856分贝,相比没有对比约束的变体,PSNR提高了0.44分贝,SSIM提高了0.054分贝。表7显示了在iSAID-dark数据集上对比提示损失的消融研究。图6探讨了IAP池大小对iSAID-dark的影响。随着池大小的增加,PSNR稳步提高,并在中等池大小时达到最佳值。当池太小时,检索到的照明线索多样性较低,这限制了CISPD处理空间变化曝光的能力。当池过大时,性能会从峰值下降,表明扩大候选集并不一定能提高检索质量,反而可能引入不太相关的提示,从而削弱引导信号。因此,我们采用图6中表现最佳的池大小作为默认设置。图6还研究了在iSAID-dark数据集上top-k值和IAP数量对性能的影响。结果表明,中等top-k值可以获得最佳性能。使用过小的top-k可能会错过校正非均匀亮度所需的线索;而使用过大的top-k则倾向于混合不太相关的候选项,从而降低检索的选择性并削弱照明先验。这表明CISPD中的照明调整实际上是由检索选择性控制的,而不是由固定的亮度阈值控制的。因此,我们采用图6中表现最佳的top-k值作为默认设置。其在LOLv1数据集上的跨数据集稳定性也在表6中得到了进一步验证。我们比较了三种提示集成策略在iSAID-dark数据集上的效果。如表8所示,直接输入串联的效果最差,这表明简单的联合融合无法有效分离照明校正和结构保持。顺序融合在两个方面都改善了结果,其中提出的IAP → SIP策略获得了最佳的PSNR和SSIM,而相反的顺序仍然较差。这一结果表明,在语义不变的结构细化之前校正与照明相关的失真对于低光照遥感图像增强更为有效。因此,CISPD采用IAP → SIP作为默认的集成策略。表8进一步验证了不同提示集成策略在iSAID-dark数据集上的效果,并在LOLv1数据集上进行了跨数据集验证,以检查在iSAID-dark上选择的默认设置是否在各个数据集上都保持稳定。表6显示,默认的IAP长度64在LOLv1上仍然获得了最佳性能,而较短和较长的提示则导致了较差的结果。top-k选择也表现出类似的趋势,其中默认值也获得了最佳的PSNR和SSIM。这些结果表明,所选的超参数不特定于单一数据集,并且在遥感和自然图像低光照增强基准测试中都保持稳定。5. 结论在这项工作中,我们研究了在空间变化照明、传感器噪声和场景依赖性退化等实际挑战下的低光照遥感图像增强问题,其中保持细小结构和边界保真度对于可靠的遥感解释至关重要。为此,我们提出了CISPD,这是一个补充性的照明-语义提示扩散框架,它将增强过程重新定义为迭代去噪过程,并引入了补充性提示引导,以分离照明校正和结构保持。具体来说,CISPD根据当前的潜在上下文从一个可学习的提示池中检索出一个自学习的、具有照明意识的提示,为校正非均匀欠曝提供自适应线索。同时,从视觉基础模型中提取的语义不变提示提供了稳定的结构先验,有助于在亮度校正后保持几何一致性并抑制伪影。通过沿着扩散轨迹顺序注入这两个提示,CISPD实现了有针对性的曝光调整,同时保留了场景结构和细节。此外,我们采用了对比提示约束来防止冗余引导,并鼓励两个提示编码互补信息,从而稳定细化过程并提高结构保真度。在成对的低光照遥感数据集和真实的夜间遥感图像上的广泛实验表明,CISPD一致性地提高了重建保真度和感知质量,在定性比较中产生了更连贯的区域校正和更清晰的结构。我们还在标准的成对自然图像数据集上验证了CISPD的泛化能力,表明所提出的引导机制不限于单一领域。效率分析表明,与最近的基于扩散的基线相比,CISPD在计算成本降低的情况下实现了具有竞争力的模型复杂性,使其更适合高分辨率增强。消融研究进一步确认了照明意识和语义不变提示的作用、提示设计选择以及对比约束的重要性,并验证了适当的提示池大小和检索配置对于稳定性能的重要性。当前的遥感评估受到可用基准设置的限制,这些设置包括一个成对的合成数据集和一个没有成对真实标签的真实夜间数据集。未来的工作将进一步将验证扩展到更广泛的遥感基准和更多样化的采集条件。特别是,实际推理速度和内存使用将进一步优化,以适应实际的高分辨率处理。我们还计划探索在领域变化和真实传感器噪声下的更鲁棒的提示检索,以便该框架能够在没有额外监督的情况下更好地适应多样化的采集环境。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号