基于深度学习特征融合的多通道自动立体显微结构表面三维测量方法

《AI》：Deep Learning-Enhanced Feature Fusion for Multichannel Autostereoscopic 3D Measurement of Micro-Structured Surfaces

　　

微结构表面（micro-structured surfaces）的高精度三维形貌测量因传统自动立体（autostereoscopic）系统的固有局限而面临挑战，尤其是光场成像的内在约束以及对单一数据源的依赖。研究在既有的一种多通道自动立体测量系统基础上展开，该系统可同时采集包含丰富纹理与边缘信息的高分辨率（high-resolution，HR）二维中心视图，以及提供密集多视角几何线索的光场图像。为此，研究引入了一种深度学习增强的特征融合网络。该模型是一种混合深度学习架构，包含用于处理HR图像的卷积局部特征提取器、用于建模光场内角度关系的Transformer全局特征提取器，以及用于实现高效特征集成的跨通道注意力融合模块。该端到端可训练网络采用复合损失函数进行优化。在合成及真实微结构表面上的实验表明，所提方法性能稳定，在具有挑战性的微尺度场景中，相比现有深度估计方法取得了更高的精度与稳定性。

论文解读：基于深度学习特征融合的多通道自动立体显微结构表面三维测量

一、研究背景与问题

微结构表面（micro-structured surfaces）是指特征尺寸从亚微米到数十微米的一类表面，在现代光学、光子学、微机电系统和生物医学等领域中扮演关键角色。这类表面常呈现微透镜阵列、衍射光栅或仿生纹理等复杂几何形态，其形貌直接决定器件的功能表现。因此，对其三维形貌进行精确测量，对于质量控制、功能验证和逆向工程至关重要。

传统的接触式测量方法，如触针式轮廓仪，依赖金刚石触针在表面进行机械扫描，虽能达到较高的垂直分辨率，但存在扫描速度慢、易损伤表面、无法测量高深宽比特征等固有缺陷。非接触式光学方法，如共聚焦显微镜、白光干涉仪和变焦显微镜，虽可实现高垂直分辨率，但受限于采集时间长、对表面反射率和倾斜度变化敏感、工作距离有限等不足，难以适用于凹陷微结构的测量。

自动立体（autostereoscopic）技术通过多视点间的视差重建深度，是一种有前景的被动式替代方案。利用置于高分辨率传感器前方的微透镜阵列（microlens array，MLA），自动立体设备可在单次曝光中捕获包含场景空间与角度信息的全光（plenoptic）光场。然而，传统自动立体测量系统受限于单通道自动立体数据信息丰富度不足，深度估计精度受损。多通道自动立体测量系统通过将一路光学通道专用于高分辨率二维成像，实现了多视角数据同步采集与精细纹理边缘细节捕获，有效解耦了角度采样与空间分辨率，为微结构表面提供了更完整的表征。

经典自动立体深度估计方法，如极平面图像（epipolar plane image，EPI）分析、代价体滤波或半全局匹配，在宏观场景中表现稳健，但在微结构表面上性能显著下降，原因在于亚像素视差、微透镜图像混叠以及镜面反射等因素占主导。近年来，深度学习方法显著推动了自动立体深度估计的发展，但已有研究多聚焦于从自动立体数据中提取三维信息，忽视了数据本身的固有局限。为弥合多视角几何一致性与单视角高频纹理之间的鸿沟，本研究提出了一种从自动立体数据中提取并聚合判别性特征的架构，同时采用卷积神经网络（CNN）骨干网络捕获二维高分辨率图像中的丰富特征，并通过跨通道注意力机制实现互补特征表示的融合，最终由专用解码器从融合特征中逐步重建稠密深度图。

此前的研究曾采用多尺度深度融合策略，但该方法灵活性不足，主要适用于有限的表面几何类型。本研究在此基础上，将多尺度深度图融合替换为更灵活、更精确的特征级融合网络，为后续研究奠定了坚实基础。

二、研究内容与结论

本研究在多通道自动立体测量系统基础上，提出了一种用于特征级融合的新型深度学习架构。该模型由处理高分辨率二维中心视图的卷积局部特征提取器、建模光场内长程角度关系的Transformer全局特征提取器，以及自适应整合两条互补特征流的残差通道注意力融合模块组成。实验结果表明，该模型在合成和真实微结构表面上均表现出稳定性能，相比现有深度估计方法，在具有挑战性的微尺度场景中取得了更高的精度与稳定性。

该研究的重要意义在于：其一，将多尺度深度图融合策略升级为端到端的特征级跨通道融合网络，解决了后期融合方案中单个深度图误差难以修正、无法根据局部表面特性自适应平衡光场几何线索与高分辨率中心视图纹理线索的问题；其二，针对微结构表面的特殊挑战，即亚像素视差、镜面反射和高频边缘，设计了注意力引导的特征级架构，实现了更高的精度、更清晰的边缘和更强的鲁棒性。

三、主要关键技术方法

研究人员采用了以下几项关键技术方法。第一，构建了多通道自动立体测量系统，通过分束器将光路分为二维通道和三维通道，分别采集高分辨率图像和光场图像，系统包含两个CCD传感器，分辨率分别为2456×2058和2448×2048，像素尺寸3.45μm，MLA间距500μm，焦距13.8mm，数值孔径0.28。第二，设计了融合自动立体网络（fusion autostereoscopic network，FAN），该混合架构包含四个模块：局部特征提取器（local feature extraction，LFE）、全局特征提取器（global feature extraction，GFE）、特征融合模块（feature fusion module，FFM）和特征重建模块（feature reconstruction module，FRM）。LFE采用双卷积块、残差块、通道注意力（channel attention，CA）和空间注意力（spatial attention，SA）处理HR图像；GFE采用大核补丁嵌入将每个元素图像映射为单一token，经16层Transformer编码器建模8×8角度视图间的长程依赖；FFM通过通道注意力融合机制和残差连接整合两条特征流；FRM通过轻量级解码器逐步重建稠密深度图。第三，采用复合损失函数，联合优化平均绝对误差损失、结构相似性（structural similarity，SSIM）损失和边缘平滑损失，权重分别为1.0、0.5和0.1。第四，构建了Sim3DS合成数据集，使用Blender生成，包含6250组图像集，每组包含HR二维图像、对应深度图和9×9角度网格排列的81个元素图像，涵盖60种独特基础几何形状，训练时提取8×8子集（64个视图）。网络在PyTorch中实现，在配备NVIDIA Tesla T4 GPU的Google Colab平台上端到端训练。

四、研究结果

4.1 消融研究

为评估GFE和LFE分支及融合机制的互补贡献，研究人员在测试集上进行了消融实验。实验一移除LFE，仅使用自动立体数据训练模型，导致性能显著下降，缺少HR中心视图使网络无法解析微尺度特征的锐利深度过渡，GFE受限于低分辨率子孔径线索，产生模糊的微结构表面阶跃轮廓。实验二将GFE替换为LFE，虽能产生清晰边缘，但受限于单视角信息，低估了微结构表面的高度。实验三移除通道注意力和残差机制的网络无法同时恢复平滑表面和清晰的几何边界。实验证明GFE和LFE分支的互补贡献，完整的残差通道注意力融合设计优于简单拼接。

4.2 对比实验

研究人员将FAN与多种深度估计算法进行了对比评估，包括多视图方法、Lite-Mono、LeReS、MiDaS和DPT。所有竞争方法均在Sim3DS训练集上微调，并在相同测试集上评估。定量结果表明，FAN在PSNR和SSIM指标上均显著优于所有基线方法，所有配对比较均具有统计学显著性（Wilcoxon符号秩检验，p < 0.001）。95%自助法置信区间（1000次重采样）为PSNR [21.42, 23.13]和SSIM [0.811, 0.853]。定性比较显示，单目方法在微结构表面上存在深度反转、边界模糊、纹理缺失区域斜率错误等问题，而FAN利用光场的密集角度采样和HR中心视图的全分辨率纹理细节，能够重建平滑表面同时保持锐利微尺度边缘。

基于真实世界数据的评估中，研究人员使用两个真实微结构样品进行测量。样品1为截锥形微结构，样品2为超精密加工制造的微结构工件。以Zygo Nexview光学轮廓仪的白光干涉测量结果作为参考基准，该仪器垂直不确定度约±10nm，光学横向分辨率约1μm。定量评估显示，FAN在RMSE和最大绝对误差（MaxAE）指标上均优于其他方法。与先前多尺度深度融合方法[15]在共享真实样品上的直接对比表明，先前方法在样品1上达到RMSE 0.52μm和MaxAE 0.49μm，而FAN在更具挑战性的几何结构上展现出明显实际优势，先前方法无法在样品2上产生可靠重建，而FAN成功测量了该样品。

重复性评估中，研究人员对两个代表性微结构样品进行了10次重复测量。结果表明，Lite-Mono和DPT的标准偏差较高，LeReS和MiDaS标准偏差较低但仍无法在某些区域重建平滑且物理一致的表面，而FAN在生成平滑表面的同时实现了显著较低的标准偏差，展示了其一致性和鲁棒性。

五、讨论与结论

研究人员指出，尽管Sim3DS数据集近似真实系统的光学配置，但由于传感器噪声、光学像差、衍射、照明不均匀性、微透镜缺陷和表面反射特性等差异，仍存在域差距。光度和几何增强以及HR纹理和多视角几何线索的联合使用用于提高鲁棒性，但在高镜面反射真实表面上仍观察到残余误差，表明未来需要进一步减少域差距。

论文结论部分指出，本文提出了FAN，一种用于从多通道自动立体数据估计微结构表面深度的混合神经架构。通过残差通道注意力融合模块结合HR中心视图特征与多视角几何信息，该方法相比几种单目深度估计基线取得了更高的精度和边缘保真度。在合成和真实微结构样品上的实验表明，与其他深度估计方法相比，该方法具有更强的鲁棒性。真实样品的定量高度误差相对于Zygo Nexview参考测量进行了报告，并通过重复采集评估了短期重复性。虽然本研究未包含完整的不确定度预算或广泛的失败案例分析，但结果表明，所提出的特征级融合策略对于目标微计量应用是有效的。