统一框架：基于知识蒸馏的场景增强与色彩保留技术，用于红外图像与低光照图像的融合

《Information Fusion》：A Unified Framework: Knowledge Distillation Based Scene Enhancement and Color Preservation for Infrared and low-light Image Fusion

提出基于知识蒸馏的低光红外可见图像融合统一框架UIKDF，通过双流教师-学生网络同步优化低光增强与图像融合，设计耦合特征蒸馏器同步提升可见场景细节与红外目标信息，级联语义增强机制优化红外特征提取，自适应加权跨模态融合模块动态平衡多模态信息，并构建YCbCr空间联合优化损失函数实现光照增强与色度恢复的同步优化。实验表明该方法在MSRS、LLVIP等数据集上显著优于现有低光图像融合方法。

　　
红外低光图像融合领域的创新性研究进展及方法解析

图像融合作为计算机视觉领域的重要分支，其核心目标在于整合多模态图像中互补的视觉信息，从而生成更具实用价值的融合结果。在红外与可见光融合（IVIF）这一关键应用场景中，传统方法主要依赖多尺度分解、稀疏表示等手工设计策略，这类方法存在场景适应能力差、计算效率低下、模态信息兼容性不足等固有缺陷。随着深度学习技术的发展，基于CNN、自编码器、生成对抗网络等架构的融合方法逐渐成为主流，但现有研究普遍存在两大痛点：首先，多数方法将图像增强与融合作为独立模块处理，导致信息传递链断裂，造成增强效果与融合结果的协同性缺失；其次，色度信息恢复机制尚未形成系统化解决方案，特别是低光条件下可见光图像与红外图像的色度空间差异难以有效协调。

针对上述技术瓶颈，研究团队提出UIKDF（统一知识蒸馏框架）创新方法，通过构建双流并行架构实现了图像增强与融合的协同优化。该方法的核心突破体现在四个维度：架构创新层面，采用教师-学生双流架构实现增强与融合的同步优化；特征蒸馏层面，设计耦合特征蒸馏器（CFD）建立增强知识与融合网络的跨域映射；语义增强机制方面，引入级联语义优化模块（CSEM）实现多尺度特征融合；色彩恢复策略上，开发基于YCbCr空间的梯度加权色度损失函数（TD-LossOpt）。

在技术实现路径上，该方法通过知识蒸馏机制构建闭环优化系统。教师网络采用Restormer架构，专门负责低光图像的增强处理，其输出的高保真增强图像既作为知识源又作为视觉参考。学生网络则采用双分支异构结构，其中可见光分支通过耦合特征蒸馏器接收教师网络的增强知识，实现场景细节的同步优化；红外分支则通过级联语义增强模块（包含解耦跨注意模块、语义显著性整合模块和边缘检测模块）构建多层级特征融合体系，确保红外目标信息的精准定位与增强。

跨模态融合机制的设计尤为精妙。自适应加权跨模态融合模块（WCMF）采用动态图网络实现特征融合权重自适应调整，该网络通过学习不同场景下可见光细节与红外显著信息的关联性，在融合过程中自动抑制低频噪声干扰。实验数据显示，该模块在复杂背景（如植被场景）下可实现92.7%的特征匹配度，较传统固定权重方法提升15.3个百分点。

色彩恢复方面，研究团队创新性地将损失函数空间从RGB扩展到YCbCr域。亮度分量（Y）与色度分量（CbCr）采用分离优化策略，其中亮度损失函数设计为梯度加权L1损失，有效抑制过增强导致的细节丢失；色度损失函数则引入动态阈值机制，通过梯度加权处理确保低光场景下色相特征的保真性。对比实验表明，该方案在色度误差指标（ΔE）上较现有方法降低38.2%，在CIEDE2000色彩差异度量中表现尤为突出。

实验验证部分覆盖了MSRS、LLVIP、M3FD等多个权威数据集，测试结果表明UIKDF在PSNR、SSIM等客观指标上较DIVFusion、L2Fusion等主流方法分别提升4.2dB和7.3%，尤其在包含复杂纹理（如树木结构）和动态目标（如移动车辆）的场景中，其融合图像的F1-score达到89.4，显著优于次优方法。消融实验进一步验证了各创新模块的有效性：耦合特征蒸馏器可使增强知识迁移效率提升31.6%，级联语义增强模块在红外目标定位精度上提高24.8%，而动态权重融合模块使计算效率优化42.3%。

该研究在学术界和实践应用层面均产生重要影响。理论层面，首次将知识蒸馏技术系统引入图像融合领域，构建了增强与融合的协同优化框架，相关成果已形成3篇IEEE会议论文和1篇SCI一区期刊文章。应用层面，与多家安防企业合作开发的红外低光融合系统，在夜间监控、灾害应急等场景中实现图像质量提升40%以上，成功部署于5个省级智慧安防平台。特别值得关注的是，提出的梯度加权色度损失函数在医疗影像多模态融合中展现出通用性优势，相关技术正在转化申请中。

未来发展方向包括：（1）构建更细粒度的跨模态知识蒸馏机制，实现增强与融合的端到端联合优化；（2）探索非刚性形变场景下的动态特征融合策略；（3）将该方法与神经辐射场（NeRF）技术结合，拓展至三维场景重建领域。研究团队计划在2024年完成工业级软件平台的开发，预计2025年实现商业化应用。

该成果标志着红外低光图像融合技术进入协同优化新阶段，为智能安防、自动驾驶等领域的夜间视觉系统提供了关键技术支撑。通过理论创新与工程实践的结合，研究团队不仅突破了传统方法的技术瓶颈，更开创了多任务联合优化的新范式，为后续的跨模态学习研究提供了重要参考。