基于记忆单元的红外与可见光图像融合新架构：MemoryFusion的长时依赖突破

为解决红外与可见光图像融合中长时依赖缺失、信息冗余及计算负载过高的问题，研究人员提出基于门控循环单元（GRU）的MemoryFusion架构。该研究通过输入扩展编码器（IEE）生成层次化特征序列，利用循环记忆融合单元（RMFU）的差分门控与记忆门控实现时空级特征融合，并结合多层级聚合模块（MHAM）优化权重分配。实验表明，该方法在低光照、雾霾等低质量场景下仍保持卓越性能，为下游目标检测、语义分割等任务提供更鲁棒的融合图像。

　　

在计算机视觉领域，红外与可见光图像融合技术因其在军事侦察、夜间监控和医疗诊断中的广泛应用而备受关注。红外图像能穿透烟雾、黑暗等极端环境突出目标热辐射信息，而可见光图像则保留丰富的纹理细节。然而，现有融合方法面临两大瓶颈：一是深度网络编码过程中浅层细节的渐进丢失，即长时依赖（long-term dependence）缺失；二是传统跳连（skip connection）或密集连接（dense connection）虽能缓解信息流失，却引入冗余计算并加重硬件负担。尤其面对低光照、雾霾等低质量场景，现有方法常出现细节模糊或目标失真的问题。

针对这些挑战，江南大学的研究团队在《Pattern Recognition》发表论文，提出名为MemoryFusion的创新架构。该研究首次将时空级记忆机制引入图像融合领域，通过门控循环单元（GRU）衍生的循环记忆融合单元（RMFU），实现浅层细节与深层语义的自适应融合。实验证明，该方法在MSRS等数据集上超越现有最优模型，即使对低质量输入图像仍能保持场景保真度。

关键技术包括：1）输入扩展编码器（IEE）将源图像转换为层次化特征序列；2）RMFU通过融合模块、差分门控（differential gating）和记忆门控（memory gating）实现跨模态特征选择；3）多层级聚合模块（MHAM）结合预训练光照感知模型生成的平衡因子，动态分配特征权重。训练使用MSRS数据集的64×64图像切片，采用Adam优化器与复合损失函数（含L₁范数约束）。

研究结果
Skip connection方法的局限
分析指出传统跳连直接注入未编码的浅层特征会导致冗余信息堆积，而密集连接虽减轻该问题，却因特征堆叠引发平方级计算增长。

Overall framework设计
MemoryFusion框架包含双模态IEE、RFE和MHAM。IEE生成的特征序列通过RMFU逐步融合，其中差分门控补偿模态互补性，记忆门控实现时空选择性遗忘。

Experimental settings验证
在MSRS数据集上，6层网络、128隐藏通道的配置下，该方法在EN（熵值）、SD（标准差）等指标上显著优于对比模型，低光照场景的VIFF（视觉信息保真度）提升12.7%。

结论与意义
该研究通过记忆单元创新性地解决了长时依赖与计算效率的矛盾。RMFU的差分门控机制有效保留跨模态互补信息，而MHAM的权重分配策略增强了场景适应性。相比传统方法，MemoryFusion在保持P_SNR（峰值信噪比）优势的同时，推理速度提升1.8倍，为自动驾驶、安防监控等实时应用提供新解决方案。论文同时指出，未来可探索Transformer与记忆单元的协同优化，进一步突破复杂动态场景的融合瓶颈。