基于快速傅里叶变换与Retinex模型的多模态图像融合框架FRFusion在低光环境下的医学影像增强研究

本综述提出基于快速傅里叶变换（FFT）和Retinex模型的深度学习框架FRFusion，通过特征调整模块（FAM）实现红外与可见光图像在空间域与频率域的双重特征提取，结合双注意力特征融合模块（DAFFM）和亮度自适应网络（BAN），有效解决低光环境下医学影像的纹理对比度退化问题，为临床诊断提供增强的多模态可视化支持。

　　

研究亮点

我们提出名为FRFusion的红外与可见光图像融合网络。该网络基于Retinex模型，从红外与可见光图像的空间域和频率域提取对比度与纹理信息，有效恢复暗环境下融合图像的色彩、纹理等细节。

我们开发了特征调整模块（FAM），使模型能同时关注输入图像的空间域与频率域特征。FAM有效提取红外图像的热辐射数据，以及可见光图像的对比度与梯度信息，凸显两者的互补性。

在特征融合阶段，我们引入双注意力特征融合模块（DAFFM）。DAFFM在全局与局部层面有效整合编码器提取的特征，确保两种模态信息的彻底融合。

我们提出亮度自适应网络（BAN），通过多维协同注意力机制与自适应最大池化，在不同光照条件下自动优化光照层，使融合图像呈现卓越的视觉效果。

基于深度学习的图像融合方法

凭借强大的学习与特征表征能力，神经网络在红外与可见光图像融合领域得到广泛应用。主要可分为基于自编码器（AE）的方法、基于卷积神经网络（CNN）的方法、基于生成对抗网络（GAN）的方法以及基于Transformer的方法。

DenseFuse首次提出基于自编码器的红外与可见光图像融合方法，在编码过程中引入密集连接以有效缓解信息丢失问题。

背景与动机

基于Retinex模型的低光图像增强方法为本研究的模型设计提供了有力支撑。该模型有效分离光照与反射分量，并提取与深度卷积神经网络特征学习能力形成互补的关键特征。在医学成像中，低光图像增强可改善病灶区域的可视化，而红外与可见光图像的融合有助于医生做出更精准的诊断。

实验配置

在训练阶段，从LLVIP数据集中随机选择400对红外与可见光图像。此外，通过随机裁剪生成4000对像素尺寸为256×256的图像用于模型训练。本文采用Adam优化器更新模型参数，批次大小设为3，学习率为0.001，共训练10个周期。根据经验，某些损失函数的超参数设置为...

结论与建议

本文提出用于暗环境下红外与可见光图像融合的网络FRFusion。我们的目标是有效整合红外图像的热辐射信息，同时恢复融合图像中的纹理对比度信息。我们设计了多种类型的特征调整模块（FAM），从空间域和频率域提取暗光可见光图像的纹理对比度信息，以及红外图像的热辐射特征。此外，我们...