基于特征增强与上下文优化的参考式红外图像着色方法(FCNet)

为解决红外图像色彩缺失和细节保留难题，研究人员提出基于特征增强与上下文优化的参考式着色网络(FCNet)。通过双路径特征挖掘模块(DFM)和多信息显著性转换器(MST)，实现跨尺度特征融合与全局-局部特征建模，在KAIST和FLIR数据集上PSNR分别达28.670/30.424，显著提升着色精度，为安防监控和自动驾驶提供新解决方案。

　　

在低光照环境下，红外成像技术虽能突破可见光相机的局限，但其固有的低对比度、模糊边界和单色特性，严重制约了人类解读与算法处理效果。尤其在安防监控和自动驾驶领域，传统着色方法如TIC-CGAN和MCU-GAN因空间特征对齐能力不足，难以应对复杂场景下的细节保留挑战。现有参考式方法如Laffont等提出的跨域映射模型，又因光照差异导致鲁棒性不足，使得红外图像着色成为计算机视觉领域亟待攻克的"病态问题"。

针对这一瓶颈，吉林大学与重庆理工大学联合团队在《Knowledge-Based Systems》发表创新研究，提出特征增强与上下文优化网络(FCNet)。该工作通过三阶段架构——特征提取、对齐匹配和重建优化，首次实现红外图像与参考图像间的精确语义关联。关键技术包括：采用双路径特征挖掘模块(DFM)融合多尺度特征；设计多信息显著性转换器(MST)整合全局-局部-频率特征；构建跨尺度信息聚合模块(CIAM)增强深度特征对应；开发上下文信息优化模块(CIRM)缓解下采样信息损失。实验采用KAIST和FLIR数据集，包含95,328对可见光-红外图像。

特征提取阶段
通过DFM模块并行使用3×3和5×5卷积核提取不同感受野特征，结合残差连接保留层次信息。该设计使网络在复杂目标（如遮挡行人）的深层语义特征提取上提升23.6%。

对齐匹配阶段
MST模块创新性地将自注意力机制与自适应滤波器结合，在频率域捕获纹理特征。实验表明该模块对交通标志等小目标的颜色迁移准确率提升18.4%。

重建优化阶段
CIAM通过金字塔结构聚合不同深度特征，CIRM采用可学习权重融合多尺度特征。联合使用使边缘保持指数(EPI)提高31.2%，有效解决传统方法的空间信息丢失问题。

在KAIST数据集测试中，FCNet的PSNR达28.670，SSIM为0.542，较次优方法提升2.4dB；FLIR数据集上更达到30.424/0.726，验证其跨场景适应性。消融实验显示DFM和MST分别贡献41.7%和38.2%的性能增益。

该研究突破性地解决了参考式着色中的三大核心问题：通过DFM实现跨层级特征融合，利用MST建立多维度特征关联，借助CIAM/CIRM保持空间一致性。其技术价值体现在三方面：1) 为多模态图像处理提供可解释的特征交互框架；2) 开创性地将频率域特征引入着色任务；3) 开发出首个端到端的红外-可见光联合优化管道。实际应用中，该方法已成功用于夜间自动驾驶的环境感知系统，使目标检测准确率提升15.8%。未来可通过引入动态卷积进一步优化计算效率，推动红外图像处理技术的工业化落地。