《Journal of Visual Communication and Image Representation》:All-in-focus image fusion using graph wavelet transform for multi-modal light field
编辑推荐:
本文提出了一种基于图小波变换(GWT)的光场全聚焦图像融合新框架。该方案通过自适应建模像素关联有效处理不规则景深边界,采用多层低频融合策略补偿微透镜校准误差,结合引导滤波增强的加权方案保留高频细节。实验显示其在EI(44.939)、QY(0.9941)和SSIM(0.8719)指标上均优于现有方法。
1引言
光场(Light Field, LF)成像作为一种多模态数据采集范式,通过微透镜阵列同时捕获空间与角度信息,形成包含两个空间维度和两个角度维度的4D数据表示。这种特性为数字重对焦、超分辨率重建等图像处理任务提供了基础。全聚焦(All-in-Focus, AIF)图像融合作为光场技术的重要应用,旨在将不同焦深的图像序列融合成全局清晰的单幅图像,在工业检测、虚拟现实等领域具有广泛应用价值。
当前融合方法主要分为三类:空间域方法计算简单但边界处理能力有限;变换域方法(如NSCT、DWT)依赖固定基函数,难以适应光场图像的非线性边界;学习类方法虽效果显著但泛化性受训练数据限制。针对光场图像存在的边界不规则性、空间分辨率下降等问题,本研究提出基于图小波变换的融合新范式。
2图信号处理理论基础
图信号处理将图像像素映射为图节点,通过邻接矩阵编码像素间关联关系。图小波变换(Graph Wavelet Transform, GWT)利用切比雪夫多项式快速逼近实现多尺度分解,既能捕捉图像的非规则几何结构,又保持计算效率。该变换将每个重对焦图像分解为1个低频分量wLαn和τ个高频分量wHjαn,为后续分层融合奠定基础。
3全聚焦融合方案设计
方案流程包含三个核心环节:首先对光场数据L(x,y,u,v)进行数字重对焦,生成N幅不同焦深的图像序列Iαn;随后通过快速GWT将每幅图像分解为低频结构成分和高频细节成分;最后采用差异化策略进行分量融合。
低频融合采用基底层-边缘层-细节层的三层架构:基底层通过加权平均保留整体结构,边缘层专用于补偿微透镜校准导致的边缘失真,细节层通过显著性检测强化纹理信息。高频融合则整合一致性权重、聚焦权重与显著性权重,并引入引导滤波优化权重分配,有效抑制焦点过渡区域的伪影。
4实验验证与性能分析
在光场数据集上的测试表明,该方法在视觉质量和定量指标上均优于对比算法。其EI指标达44.939,QY指标接近理论最大值0.9941,SSIM指标为0.8719。参数敏感性实验证实引导滤波的半径参数r=15、正则化参数ε=0.01时能取得最优平衡。复杂度分析显示,基于切比雪夫近似的GWT算法将计算复杂度控制在O(|E|)级别,显著优于传统方法的O(|V|2)。
5结论与展望
本研究提出的GWT融合框架通过自适应图结构建模、多层低频融合和增强型高频加权,有效解决了光场图像融合中的边界不规则和细节保留难题。未来工作将聚焦于动态光场视频的实时融合,并探索图神经网络(Graph Neural Network, GNN)与GWT的联合优化路径。