基于联合空间-频率图像质量评估的微组装高效两阶段自动对焦技术 张建鹏(Jianpeng Zhang) 康天博(Tianbo Kang) 赵欣(Xin Zhao) 孙明珠(Mingzhu Sun) 杨毅(Yi Yang)

《Journal of Imaging》:Efficient Two-Stage Autofocus for Micro-Assembly Based on Joint Spatial-Frequency Image Quality Assessment Jianpeng Zhang, Tianbo Kang, Xin Zhao, Mingzhu Sun and Yi Yang

【字体: 大 中 小 】 时间:2026年03月20日 来源:Journal of Imaging 3.3

编辑推荐:

  摘要 可靠的自动对焦是微组装系统中精确定位的基本前提,因为在微组装系统中,复杂的反射、尺寸变化和狭窄的景深范围往往会降低传统清晰度指标的鲁棒性。为了解决这些挑战,我们提出了一种基于空间频率图像质量评估(IQA)模型的高效两阶段自动对焦方法,适用于双摄像头微

  摘要 可靠的自动对焦是微组装系统中精确定位的基本前提,因为在微组装系统中,复杂的反射、尺寸变化和狭窄的景深范围往往会降低传统清晰度指标的鲁棒性。为了解决这些挑战,我们提出了一种基于空间频率图像质量评估(IQA)模型的高效两阶段自动对焦方法,适用于双摄像头微视觉系统。首先,我们设计了WaveMamba-IQA用于图像清晰度估计,它结合了离散小波变换(DWT)和视觉变换器(ViT)来捕捉高频细节和语义特征,并通过多线性转置注意力(MLTA)和视觉Mamba进一步增强了全局上下文建模。此外,我们实现了一个从粗到细的对焦工作流程,首先使用协方差矩阵适应进化策略(CMA-ES)对水平摄像头进行全局优化,然后对倾斜摄像头进行基于几何先验的精确调整。在自定义的微球数据集上的实验结果表明,WaveMamba-IQA获得了0.9786的Spearman相关系数。此外,该集成系统在不同光照条件下的自动对焦成功率达到了98.33%。这种方法显著提高了微组装系统的鲁棒性和自动化水平,有效克服了手动和传统对焦技术的局限性。

1. 引言
微组装技术是执行微米级精确操作的关键能力,已广泛应用于航空航天、生物医学和微机电系统等领域[1,2]。随着设备的小型化和复杂性的增加,对更高精度和自动化的需求也在增加,集成微视觉系统已成为引导微组装机器人实现精确操作的关键手段[3,4]。在众多微组装应用中,微球和微管的精确组装是一项典型且极具挑战性的任务[5]。这一过程对微球空间位置的准确估计提出了严格要求,而这严重依赖于微视觉系统清晰捕捉微球轮廓的能力[6]。然而,在实际操作环境中,复杂的反射干扰和微球尺寸的变化往往导致传统自动对焦策略的性能不稳定[7]。因此,获得可靠且清晰的成像结果非常困难,迫使当前的组装过程主要依赖手动对焦。这严重限制了系统效率和完全自动化的改进[8]。因此,研究微组装视觉系统的自动对焦方法具有重要的实际意义。可靠的自动对焦可以为微球位置估计和精确组装提供清晰的图像信息,同时减少对人工操作的依赖,并提高微组装过程的效率和自动化水平。

构建鲁棒自动对焦系统的核心在于准确的图像清晰度评估。基于数学统计和梯度信息的传统清晰度评估函数长期以来因其简单性而在自动对焦应用中被广泛使用[9,10]。例如,Tenengrad梯度算子已被广泛采用作为对焦度量,并成功应用于微球组装的自动对焦任务[11]。此外,灰度统计函数(如方差)以及基于边缘的方法(包括Brenner梯度和Laplacian能量)也常用于自动对焦系统[12]。这些方法主要通过高频响应或统计变化来量化图像清晰度。然而,由于它们依赖于手工制作的特征,其性能容易受到噪声、光照变化和背景干扰的影响,在复杂的微组装环境中鲁棒性有限。

为了克服这些限制,最近的研究开始探索基于学习的清晰度评估方法用于自动对焦和图像质量评估。例如,引入了对数图像处理(LIP)框架等替代公式来提高在光照变化下的鲁棒性[13],并研究了Kolmogorov–Arnold网络(KAN)以改善图像清晰度评估的泛化能力[14]。这些进展表明,数据驱动的方法可以提供比传统手工制作的对焦度量更灵活和鲁棒的解决方案。

同时,无参考图像质量评估(NR-IQA)的进步为微组装系统中的自动对焦提供了有希望的方向[15,16,17]。基于深度学习的NR-IQA模型,如MANIQA、HyperIQA和MetaIQA[18,19,20,21],可以直接从图像中学习深度语义和结构表示,并在一般图像质量评估任务中取得了比传统清晰度算子更好的性能[22]。这表明它们在噪声和环境变化下提高自动对焦鲁棒性的潜力[22]。尽管如此,现有的清晰度评估和IQA方法对于微组装自动对焦来说仍然不够充分。一方面,大多数现有方法是针对一般图像质量评估或自然图像清晰度评估开发的,而不是针对微组装场景中的微米级自动对焦任务。另一方面,它们通常对由轻微相机位移引起的微妙失焦变化不够敏感,特别是在强镜面反射、背景干扰和目标尺寸变化的情况下。此外,许多现有架构主要关注空间域表示学习,而未充分利用对于区分细微对焦差异至关重要的频率域信息[23,24,25]。因此,现有方法仍然难以提供可靠的清晰度评估,以实现精确的微球组装。

为了解决这些挑战,本研究提出了一种基于空间频率IQA模型的高效两阶段自动对焦框架,称为WaveMamba-IQA,并结合了几何引导的双摄像头约束。首先,我们构建了一个联合空间频率IQA模型,将离散小波变换(DWT)[26]与视觉变换器(ViT)[27]结合起来,以利用互补的高频细节和空间语义特征进行自动对焦。在模型中,引入了多线性转置注意力(MLTA)[18,28]来建模全局通道依赖性,并采用了视觉Mamba状态空间模块[29]以线性复杂性捕捉全局上下文,从而实现鲁棒的清晰度评分。其次,利用双摄像头微视觉系统的几何约束(包括一个全局水平摄像头和一个高倍率倾斜摄像头),我们设计了一个实用的自动对焦工作流程。在对焦搜索阶段,采用协方差矩阵适应进化策略(CMA-ES)[30]来减轻通常阻碍传统二次拟合或爬山方法的局部极值问题。

我们的贡献总结如下:
1. 我们提出了WaveMamba-IQA,这是一个结合DWT和ViT的联合空间频率IQA模型,用于互补的频率和空间特征建模,并进一步结合MLTA和视觉Mamba状态空间模块以实现鲁棒的清晰度评分。
2. 我们在对焦搜索阶段使用CMA-ES来缓解传统二次拟合或爬山策略遇到的局部极值问题,从而在反射主导的场景中提高鲁棒性。
3. 我们设计了一个几何约束的双摄像头自动对焦工作流程,将全局水平摄像头与高倍率倾斜摄像头相结合,以实现高效的初始化和精细化。

本文的其余部分组织如下。第2节介绍了所提出的自动对焦方法。第3节描述了实验设置和实现细节。第4节和第5节展示了实验结果和讨论。最后,第6节总结了本文。

2. 方法
2.1. 系统设置
如图1所示,该系统采用双摄像头微视觉架构。水平摄像头的放大倍数较低,主要用于全局观察;倾斜摄像头具有高放大倍数,能够捕捉高分辨率的微球边缘。对焦运动由电机控制的机器人操作器实现,该操作器夹紧并移动摄像头,提供最小1 μm的增量运动和±2 μm的双向重复性(?? =20),在N次重复接近同一目标位置的情况下测量。两个摄像头都使用MV-CH250-60TM-M58S-NF型号。水平光学设置的放大范围为1.36×–10×,景深为0.89–0.03 mm,数值孔径(NA)为0.08;倾斜光学设置的放大范围为2.04×–15×,景深为0.4–0.01 mm,数值孔径(NA)为0.12。图1. 双摄像头微视觉系统。(a) 系统配置。(b) 倾斜视角下的微球图像。(c) 水平视角下的微球图像。通过实现清晰的成像并在倾斜视野中拟合微球中心,并将这些信息与摄像头校准参数结合,系统为后续的空间定位提供了准确的几何线索,从而满足微球和微管组装的严格定位精度要求。

2.2. 整体流程
该方法的整个过程如图2所示。它主要由四个关键模块组成:
图2. 所提出的双摄像头自动对焦方法的整体流程。
WaveMamba-IQA清晰度评估模型;
水平摄像头的大范围自动对焦;
基于几何先验的倾斜摄像头初始位置计算;
倾斜摄像头的小范围精细自动对焦。

在对焦过程中,水平摄像头获取的图像被输入到WaveMamba-IQA模型中进行无参考清晰度评分。通过联合建模图像的空间和频率域特征,该模型为不同位置的图像计算出可靠的清晰度分数。在此基础上,水平摄像头使用CMA-ES在大的搜索空间内进行全局优化,以准确定位最佳位置。随后,利用已知的微球尺寸信息以及两个摄像头之间的几何关系,推导出倾斜摄像头的理论清晰位置。然而,由于存在组装误差和微球制造公差,仍需要在其邻域内进行小范围搜索,从而在整个过程中实现两个摄像头的高精度自动对焦。

2.3. WaveMamba-IQA模型
2.3.1. 整体架构
WaveMamba-IQA是一个用于自动对焦任务的联合空间频率无参考图像质量评估模型。其整体网络结构如图3所示。给定一个输入图像?? ∈???×??×3,模型首先将其划分为N个不重叠的补丁,表示为{????}????=1。随后,所有补丁并行输入到两个互补的特征提取分支:一个用于建模频率域细节信息,另一个用于捕获与图像清晰度密切相关的空间语义信息。图3. WaveMamba-IQA架构,包括并行小波–ViT特征提取和MLTA Mamba融合。一方面,小波分支通过对每个补丁进行DWT[26]进行多尺度频率分解,并将其与Transformer层结合以建模高频子带。这里,P表示补丁大小,令牌网格分辨率为???? ×????。这有效地捕捉了与图像清晰度高度相关的边缘和纹理细节特征,得到频率域特征表示??wave ∈?????×????×??wave [31]。

另一方面,设???? ∈?????×????×????表示来自视觉变换器第??层的特征图。为了增强模型在不同感受野尺度上表示信息的能力,本研究将第6层到第9层的中间特征沿通道维度连接起来,形成空间语义特征表示??ViT ∈?????×????×∑9??=6????。随后,两个分支的特征在通道维度上连接起来,得到联合特征表示: ??=Concat?(??wave,???ViT),??∈?????×????×(??wave+∑9??=6????) (1) 融合特征F进一步输入到MLTA Mamba块中进行全局建模,以增强建模长距离依赖性的能力。最后,通过线性层进行图像清晰度评分,并通过ReLU激活函数进行清晰度评估。

2.3.2. 小波分支
在小波分支中,模型首先对每个输入补丁进行DWT[26]分解,将其分解为一个低频子带和多个高频子带,从而明确分离结构信息和细节信息。设输入补丁为x;其小波分解可以表示为: DWT?(??)={??LL,??LH,??HL,??HH} (2) 这里,??LL表示低频近似分量,主要包含图像的总体亮度和结构信息;而??LH、??HL和??HH表示不同方向的高频细节分量,专注于边缘、纹理和细微的结构变化。随后,所有低频和高频子带在通道维度上连接起来,并统一输入到Transformer层进行特征建模。这一过程允许学习不同频率分量之间的全局依赖性,同时保留多尺度频率信息,从而提取出更具辨别力的频率域特征表示。与主要依赖于空间特征的NR-IQA模型(如MANIQA、HyperIQA和MetaIQA[18,19,20]相比,引入显式的频率域建模显著增强了模型对边缘模糊和高频细节退化的感知能力。实验表明,这种小波分支有效提高了模型性能。

2.3.3. MLTA Mamba块
为了实现空间域和频率域特征的有效融合,我们引入了MLTA Mamba块,它由两个核心单元组成:MLTA块和视觉Mamba块。在我们的框架中,两个分支都基于相同的令牌网格分辨率???? ×????对齐。频率分支对每个补丁应用DWT并将结果子带响应编码到通道维度,得到??wave ∈?????×????×??wave,而ViT分支在同一令牌网格上提取空间语义特征。融合表示F通过方程(1)中的通道方式连接得到。

MLTA块的架构如图4所示。与其在令牌网格维度上计算注意力,MLTA通过交换令牌网格和通道轴来沿通道维度执行自注意力。在上述张量布局下,通道级的注意力直接模拟了通道之间的全局相关性,包括不同小波子带之间的相关性以及从小波派生的频率通道和ViT派生的语义通道之间的跨域交互。通过这种方式,MLTA作为一个轻量级的融合操作符,在保留频域线索的同时选择性地增强了空间-频率的互补性。图4. MLTA块与令牌网格-通道维度交换用于通道级注意力。这种转置注意力机制可以隐式编码全局上下文信息,同时显著降低计算复杂性,有效增强来自空间和频率分支的融合特征[28]。Mamba基于状态空间模型(SSM),已经证明它能够在一维长序列建模任务中以线性复杂度高效捕获长距离依赖性[32]。然而,其原始结构主要针对1D序列,难以直接适应视觉任务中2D特征结构的建模需求。为此,Vision Mamba [29]提出了Vim块。如图5所示,2D特征图首先被重塑为1D令牌序列,并采用双向设计通过正向和反向顺序处理序列来建模长距离依赖性。具体来说,反向顺序分支对反转的序列执行相同的局部令牌混合和基于SSM的序列扫描,然后将其输出恢复到原始顺序并通过平均与正向分支的输出融合,使该块能够从两个方向聚合上下文信息,从而以线性复杂度捕获重塑令牌序列中的长距离依赖性。本文将Vim块集成到WaveMamba-IQA框架中,以对空间-频率融合特征进行高效的全局建模,从而在保持线性计算复杂度的同时提高清晰度评估的准确性和鲁棒性。图5. 带有双向状态空间建模的Vision Mamba块。2.4. 自动对焦程序 2.4.1. 水平相机的广域全局对焦在实际应用场景中,微球放置在支架的表面上。然而,微球的具体位置会随着每次放置而变化。这种位置不一致性需要在更换微球后重新执行完整的自动对焦程序。在对焦的第一阶段,系统对水平相机进行广域对焦,以快速确定相机的最佳位置。设相机沿光轴的位置为w,不同w下获取的图像表示为???(??)。使用WaveMamba-IQA模型作为清晰度评估函数,其输出分数可以表示为:???(??)=??WaveMamba?(???(??)) (3) 其中??WaveMamba?(·)代表所提出的空间-频率IQA模型。为了减轻噪声敏感性和传统对焦策略中的局部极值收敛问题,本文采用CMA-ES进行相机位置的全局优化。CMA-ES在均值附近迭代采样候选解。通过使用WaveMamba-IQA模型评估候选位置的图像清晰度来获得适应度分数,从而自适应地更新搜索分布的均值和协方差。这允许用更少的采样迭代次数高效地逼近全局最优解。优化过程可以表示为:(????+1,????+1)=CMA?ES?(????,?????,?{???(??)∣??~???(????,????)}) (4) ?????=argmax??~???(????,????)????(??) (5) 这里,????表示CMA-ES在第??次迭代时的搜索分布均值,而????表示相应的协方差矩阵。它们共同表征了当前相机位置搜索空间中候选解的中心位置和分布形状。符号?? ~???(????,????)表示在此高斯分布下随机采样相机位置以生成一组候选位置。对于每个候选位置w,获取相应的图像并输入到WaveMamba-IQA模型中以获得清晰度分数???(??),该分数作为CMA-ES的适应度函数。在第??次迭代中,?? ???表示当前轮次中清晰度分数最高的候选相机位置。基于所有候选解的分数,CMA-ES在第(??+1)次迭代中自适应地更新搜索分布均值????+1和协方差矩阵????+1,使搜索分布逐渐收敛到高质量成像区域。当连续三代的最优分数没有改善时,认为优化过程已经收敛,相应的?? ?被视为最终的最佳清晰成像位置。2.4.2. 基于几何先验的倾斜相机初始位置估计在完成水平相机对焦后,系统进一步对倾斜相机进行对焦。考虑到在这个微组装系统中,当水平和倾斜相机都处于对焦状态时,它们之间存在固定的几何关系,我们可以使用微球大小信息和水平相机位置的变化来估计倾斜相机的先验清晰成像位置。如图6所示,假设当微球半径为??1 μm时,水平和倾斜相机都能实现清晰成像,倾斜相机的相应清晰位置表示为??Oblique1,水平相机位置表示为??Horizontal1。当微球的实际半径变为??2 μm时,倾斜相机的相应清晰位置表示为??Oblique2,水平相机位置表示为??Horizontal2。在理想的几何条件下,微球半径的变化将导致微球顶点的位移。同时,由于微球的不同放置位置,水平相机在重新对焦时的位置也会相应变化。综合考虑这两个因素,倾斜相机的清晰成像位置??Oblique2可以近似为:Δ???Horizontal=??Horizontal2???Horizontal1, (6) Δ???=??2???1, (7) ??Oblique2=??Oblique1+Δ???Horizontal+Δ??????? (8) 其中Δ???Horizontal表示重新对焦时水平相机的位移,Δ???表示微球半径的变化,????表示沿相机光轴方向的单位向量。图6. 微球半径与相机位置之间的几何关系示意图。上述几何关系为倾斜相机提供了一个合理且可解释的初始清晰位置估计,有效减少了后续对焦的搜索范围并提高了自动对焦的效率。在实际的微组装过程中,诸如组装误差、微球制造公差和系统校准误差等不确定性不可避免地会导致与理想几何模型的偏差。尽管如此,这些误差相对较小,估计的位置??Oblique2仍然足够接近真实的焦距位置。因此,围绕这个初始估计进行小范围的精细对焦搜索就足以进一步提高倾斜相机的成像清晰度和对焦精度。2.4.3. 倾斜相机的小范围精细对焦在倾斜相机的小范围精细对焦中,以估计的倾斜相机清晰位置??Oblique2为中心进行局部搜索。具体来说,在其邻域内沿相机光轴以固定的步长Δ???获取一组候选图像。这些位置可以表示为:??={??Oblique2+???Δ????|??∈{???,???+1,…,??}} (9) 其中K表示与搜索半径相对应的步数,决定了局部搜索范围。所有候选图像都被输入到WaveMamba-IQA模型中进行清晰度评分,然后选择最优的偏移索引?? ?。然后从?? ?、初始位置??Oblique2和步长增量Δ???计算最优清晰成像位置?? ?:???=argmax??∈[???,??]???WaveMamba?(???(??Oblique2+???Δ???)) (10) 其中最优清晰成像位置表示为:???=??Oblique2+????Δ??? (11) 由于此阶段的搜索范围实际上受到前一阶段几何先验估计的限制,对焦过程只需在有限的局部区间内进行。这允许以非常少的图像采样迭代次数实现高精度的自动对焦,有效平衡了系统的对焦效率和鲁棒性。整个自动对焦过程总结在算法1中。算法1 两阶段自动对焦程序。要求:??Horizontal1, ??Oblique1, ??1, ??2, Δ???, K确保:?? ?, ?? ?1:使用CMA-ES和WaveMamba-IQA搜索最佳水平相机位置?? ?。2:设置??Horizontal2 ←???3:计算Δ???Horizontal =??Horizontal2 ???Horizontal1和Δ??? =??2 ???14:估计??Oblique2 =??Oblique1 +Δ???Horizontal +Δ??? ????5:对于?? ∈{???,??? +1,…,??}执行6:评估??WaveMamba?(???(??Oblique2+???Δ???))7:结束循环8:计算??? =argmax??∈{???,…,??}???WaveMamba?(???(??Oblique2+???Δ???))9:设置??? =??Oblique2 +????Δ???10:返回?? ?, ?? ? 3. 实验 3.1. 数据集本研究构建了一个用于微球自动对焦实验的显微图像数据集,详细的数据集统计信息总结在表1中。所有图像都是在真实的微组装实验平台上使用集成在系统中的全局水平相机和高倍率倾斜相机获取的。表1. 微球数据集的统计摘要。数据采集过程采用了系统化的扫描策略来构建一个全面的数据集。我们控制相机沿其光轴以固定步长移动,在每个间隔捕获当前视场的图像。获取的图像序列完全覆盖了从近焦到清晰再到远焦的成像过渡。这种采集方法确保数据集包含了从严重模糊到精细纹理的广泛清晰度状态,从而使模型能够有效学习对相机位置变化的敏感性。此外,数据集涵盖了不同光照条件和不同大小的微球场景,反映了实际组装中存在的反射干扰和目标尺度差异等挑战。图7显示了典型获取序列中的图像。图7. 显示从近焦到远焦清晰度变化的代表性图像序列。关于图像标记,本研究使用每个图像对应的相机位置与该序列中清晰成像位置之间的距离作为基础。这个距离通过线性映射标准化到[0,1]区间,作为图像清晰度标签。每个序列中的清晰成像位置是通过人工视觉检查确定的,选择对人眼来说最清晰的图像。对应于最清晰成像位置的分数被设置为1,随着相机位置逐渐偏离焦点,图像分数相应降低。3.2. 实施细节我们的实验在NVIDIA GeForce RTX 4090 GPU上使用PyTorch 2.2.0和CUDA 11.8进行训练和测试。在模型初始化阶段,选择了在ImageNet-21k数据集上预训练并在ImageNet-1k上微调的ViT-B/8 [27]作为骨干网络的初始权重,块大小设置为8。遵循标准的ViT-B配置,骨干网络使用768的嵌入维度,有12个Transformer块和12个注意力头,并采用可学习的绝对位置嵌入。在训练期间,批量大小设置为16以最大化GPU内存利用率,ViT-B/8骨干网络进行了端到端的微调。鉴于Vision Transformer及其变体通常需要固定大小的输入,而原始获取的图像分辨率为512 × 512,因此在模型输入阶段对数据进行了统一的预处理。在模型训练阶段,为了提高模型的泛化能力和减轻过拟合,从原始训练图像中随机裁剪出224 × 224大小的图像块作为网络输入。此外,对裁剪后的图像以0.5的概率进行随机水平翻转,以增强训练样本的多样性。在模型预测期间,为了提高清晰度预测结果的稳定性,采用了多视图平均策略。具体来说,从每个测试图像中随机裁剪出10个224 × 224大小的图像块并分别输入模型进行评分预测。这10个预测的平均值作为该图像的最终清晰度分数。对于小波分支,小波令牌被投影到384的嵌入维度,并由一个轻量级的Transformer编码器处理,该编码器由4个Transformer层组成,每层有8个注意力头,MLP扩展比为2.0。对于ViT分支,我们从第6个到第9个Transformer块提取中间块令牌特征,丢弃类别令牌,并沿通道维度以令牌方式连接剩余的块令牌,得到一个4 ×768维的空间特征。提取的特征直接从每个块输出并连接,无需额外的池化。使用Adam优化器,权重衰减为1 ×10?5。采用了余弦退火学习率调度,最大迭代周期??max设置为50,最小学习率??min设置为0。在模型训练过程中,使用了均方误差(MSE)损失函数来最小化模型预测的清晰度分数与手动标注分数之间的差异。为了确保实验结果的可靠性和可重复性,数据集在序列级别上以8:2的比例随机划分为训练集和测试集,其中一个图像序列被选为测试集,其余序列用于训练。所有实验都使用了五种不同的随机种子进行重复,且在这些运行中使用了不同的图像序列作为测试集,以确保所有四个序列至少被测试一次。最终结果报告为五次运行中所有评估指标的平均值。

3.3 评估指标
本文采用了Spearman等级相关系数(SROCC)和Pearson线性相关系数(PLCC)作为评估指标,以定量评估所提出方法的性能。这两个指标都是基于多张图像分数之间的相对关系计算得出的,有效地表征了清晰度随相机位置变化时的排序一致性和趋势相关性。这更符合自动对焦任务的实际需求,即根据分数变化来确定方向。
PLCC用于测量模型预测的清晰度分数与真实分数之间的线性相关性,其定义如下:
\[PLCC = \frac{\sum_{i=1}^{N}(s_i - \bar{s}_i)^2}{\sqrt{\sum_{i=1}^{N}(s_i - \bar{s}_i)^2 \sum_{i=1}^{N}(s_i - \bar{s}_i)^2}} \]
其中 \(s_i\) 和 \(\bar{s}_i\) 分别代表第 \(i\) 张测试图像的真实清晰度分数和模型预测分数;\(\bar{s}_i\) 和 \(\bar{s}\) 分别代表真实分数和预测分数的平均值;N代表测试图像的数量。
SROCC用于测量排名级别上预测分数与真实分数之间的一致性。设 \(d_i\) 表示第 \(i\) 张测试图像的真实分数与预测分数之间的排名差异;SROCC的定义为:
\[SROCC = 1 - \frac{6 \sum_{i=1}^{N} d_i^2}{N(N-1)}\]
PLCC和SROCC的值范围都是 \([-1,1]\)。较大的值表示模型预测结果与真实分数之间的相关性和一致性更强,表明模型的图像清晰度评估性能更优。

4. 结果
4.1 WaveMamba-IQA模型性能
为了验证所提出方法的有效性,本文对WaveMamba-IQA与当前代表性的无参考图像质量评估方法MANIQA [18] 和HyperIQA [19] 进行了比较实验。所有方法都在相同的数据分割和训练策略下进行训练。表2报告了五种不同随机种子的平均值±标准差。
表2. WaveMamba-IQA与代表性NR-IQA方法(包括MANIQA和HyperIQA)的比较。加粗的条目表示最佳性能。此外,还进行了配对双侧t检验,以进一步评估WaveMamba-IQA相对于竞争方法的改进是否具有统计学意义,相应的p值在表3中报告。
表3. WaveMamba-IQA与竞争方法之间的配对双侧t检验的p值。加粗的条目表示统计上显著的差异(\(p < 0.05\))。
从表2可以看出,WaveMamba-IQA在水平和倾斜相机视角下的SROCC和PLCC指标上都取得了最佳性能。在水平视角下,WaveMamba-IQA的SROCC和PLCC分别为0.9786和0.9624,相比MANIQA [18] 分别提高了0.82%和0.35个百分点。在倾斜视角下,它也优于其他比较方法。这表明所提出的方法在不同放大倍数下具有更稳定和精确的清晰度建模能力。此外,表3中的配对双侧t检验结果显示,所提出的方法在大多数指标上都取得了统计上显著的改进。特别是SROCC的提高对于自动对焦来说尤为重要,因为SROCC主要反映了图像清晰度分数的相对排名一致性,因此更符合识别最清晰焦点的目标。
为了进一步验证所提出方法的有效性,我们收集了10组在不同照明条件下的水平微球图像序列,涵盖了从近焦到远焦的完整范围。从中随机选择了一个序列进行评估。我们使用多种传统的清晰度函数(包括方差、Brenner能量、Laplacian能量和Tenengrad梯度[12])以及所提出的WaveMamba-IQA模型来计算清晰度分数,并对所有方法的结果进行了归一化处理。比较结果如图8所示。与传统方法相比,WaveMamba-IQA生成的评分曲线在相机轴向位置变化时表现出更好的单调性和稳定性,从而显著促进了自动对焦过程中最佳焦点的搜索。

4.2 消融研究分析
为了进一步验证WaveMamba-IQA中小波分支的贡献,我们在相同的训练和测试配置下进行了消融研究。具体来说,除了完整的WaveMamba-IQA外,我们还考虑了一个没有小波分支的简化版本,记为Mamba(w/o Wavelet),以及另一个将小波分支中的DWT操作替换为离散傅里叶变换(DFT)[33]的操作的版本,其余部分保持不变,记为Mamba(w/ DFT)。比较结果报告在表4中。
表4. 消融研究,探讨了小波分支和频率分解策略选择的有效性。加粗的条目表示最佳性能。此外,为了检验观察到的性能提升是否具有统计学意义,我们进一步对WaveMamba-IQA与这两种消融版本进行了配对双侧t检验。相应的p值总结在表5中,其中 \(p < 0.05\) 表示统计上显著的差异。
表5. 消融研究的配对双侧t检验的p值。加粗的条目表示统计上显著的差异(\(p < 0.05\))。
如表4所示,完整的WaveMamba-IQA在所有四个评估指标上始终取得了最佳性能。与Mamba(w/o Wavelet)相比,WaveMamba-IQA在水平视角下的SROCC和PLCC分别提高了0.54%和0.11%,在倾斜视角下分别提高了0.42%和0.15%。这表明引入小波分支有效地增强了模型捕捉与频率相关的信息的能力。此外,表5中的p值进一步提供了统计证据,证明小波分支及其基于DWT的设计对所提出方法的有效性有所贡献。
此外,将小波分支中的DWT操作替换为DFT同时保持其余分支结构不变时,在水平和倾斜视角下的性能均显著下降。与Mamba(w/ DFT)相比,WaveMamba-IQA在水平视角下的SROCC和PLCC分别提高了0.34%和0.40%,在倾斜视角下分别提高了0.61%和0.72%。这些结果表明,WaveMamba-IQA的优越性不仅仅来自于引入了一个频率处理分支,还来自于该分支中特定使用的DWT。一个可能的原因是DWT提供了更好的多尺度空间频率定位能力,这对于表征自动对焦图像中的局部高频细节和结构畸变更为有效。因此,小波分支不仅有效,而且其基于DWT的设计也更适合所提出的图像质量评估(IQA)任务。

4.3 自动对焦流程测试
为了验证所提出方法在实际自动对焦任务中的有效性,本文在不同照明条件下评估了完整的自动对焦流程,共进行了60次独立测试。每次实验都从随机的初始失焦位置开始,使用WaveMamba-IQA清晰度评估模型来指导相机在不同照明条件下的自动对焦过程。
考虑到本研究的实际应用目标是获得倾斜相机视角下的清晰微球轮廓,因此使用手动调整的最佳清晰位置作为参考。当自动对焦的最终搜索位置与手动选择的清晰位置之间的轴向距离不超过30微米时,自动对焦尝试被视为成功。选择这个阈值是因为人眼在30微米范围内难以区分轮廓差异。
为了设置方程(9)中的局部搜索参数,K是根据多次试验经验确定的。具体来说,广泛的初步实验确认最清晰的图像总是包含在估计位置周围±125微米的范围内。在50次独立试验中,估计的倾斜清晰位置与手动选择的清晰位置之间的绝对偏差最大为97.2微米,平均为71.4微米,这促使我们使用±125微米作为保守但有界的局部搜索范围。因此,我们将步长设置为Δw = 25微米,以平衡定位精度和时间成本。
实验结果显示在表6中。这里,Avg Steps(水平)和Avg Steps(倾斜)分别表示水平和倾斜相机的平均对焦搜索步数。Avg Single Inference Time表示WaveMamba-IQA单次步骤的推理时间,Avg Total Inference Time表示每次自动对焦试验的累计推理时间,Avg Total Time Including Motion表示包括相机运动的端到端运行时间。在不同照明条件下,所提出的方法能够在有限的对焦步骤和短时间内稳定完成对焦过程,满足了实际系统的操作效率要求。在60次测试中,WaveMamba-IQA的自动对焦成功率达到98.33%,表明该方法在真实的显微对焦场景中具有良好的稳定性和鲁棒性。

5. 讨论
实验结果表明,WaveMamba-IQA在显微自动对焦质量评估中是有效的。如表2所示,与代表性的NR-IQA方法相比,所提出的方法在水平和倾斜视角下都取得了最佳的SROCC和PLCC值,表明在双视图显微成像条件下具有更可靠的清晰度排名和质量预测。表4中的消融结果进一步表明,小波分支和基于DWT的设计都对最终性能有所贡献,证实了多尺度频率信息对于自动对焦图像质量评估的重要性。
从应用角度来看,所提出的方法在真实的显微自动对焦实验中也显示出强大的实际潜力。如表6所报告的,它在有限的搜索步骤和可接受的执行时间内取得了98.33%的成功率,证明了其在微球微组装中提高自动对焦可靠性的有效性。然而,当前方法在端到端效率和适应更复杂微对象方面的能力仍有改进空间。特别是,本文没有在更复杂的组件或更多样化的微组装环境中评估所提出的方法,这应在未来的工作中进一步研究。

6. 结论
本文提出了一种基于WaveMamba-IQA的高效两阶段自动对焦框架。通过联合利用空间域和频率域信息,所提出的方法为显微图像清晰度评估和自动对焦决策提供了更有效的解决方案。该框架结合了图像质量评估和几何先验指导,使其适用于显微组装场景中的准确和实用自动对焦。尽管所提出的方法在当前任务中表现出良好的适用性,但其实时性能和适应更多样化微组件的能力仍需进一步改进。未来的工作将重点关注轻量级模型设计、端到端自动对焦过程的加速,以及将所提出的框架扩展到更复杂的显微对象和更广泛的显微组装应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号