《Processes》:3D Particle Field Reconstruction for Tomographic Particle Image Velocimetry Based on a Single Light-Field Camera: A Survey
编辑推荐:
三维(3D)粒子场重建是层析粒子图像测速(Tomo-PIV)的核心环节,其重建精度与效率直接决定粒子图像测速系统表征复杂流场的能力。相较于传统多相机Tomo-PIV,单光场相机具备布局紧凑、标定简便、适应性强的优势,在受限空间三维流场测量中具有广泛应用前景。本
三维(3D)粒子场重建是层析粒子图像测速(Tomo-PIV)的核心环节,其重建精度与效率直接决定粒子图像测速系统表征复杂流场的能力。相较于传统多相机Tomo-PIV,单光场相机具备布局紧凑、标定简便、适应性强的优势,在受限空间三维流场测量中具有广泛应用前景。本文系统综述了近年来基于单光场相机的三维粒子场重建算法研究进展,涵盖传统迭代重建方法与深度学习技术两类。首先,详细阐述了不同类型光场相机的成像机理、光场层析粒子图像测速的基础理论与层析重建的数学基础,为后续算法分析建立理论框架。其次,从重建质量、计算效率、粒子拉伸与鬼影粒子等固有缺陷及适用场景等关键维度,全面分析了传统迭代重建方法与深度学习技术的优劣势与局限性。在此基础上,归纳了当前面临的技术瓶颈:高浓度粒子条件下计算效率低下、速度不确定性量化研究不足、模拟数据集与实验数据集存在域不匹配、深度学习模型可解释性差。最后,探讨了若干具有前景的未来研究方向,包括基于多帧关联的高精度重建算法优化、标准化开源数据集开发、深度神经网络可解释性提升、时间分辨流场测量等。本研究旨在为该领域研究者提供全面的算法参考,推动光场层析粒子图像测速在工程流体力学及相关学科中的实际应用。
- 1.
引言
三维(3D)受限空间流场测量在航空航天推进、内燃机、微流控等工业领域具有重要地位。受限于空间尺寸狭小、光学窗口不足、内部障碍物复杂以及多相机同步标定难度大等问题,传统多相机配置的层析粒子图像测速(Tomo-PIV)系统在实际应用中难以部署。相比之下,单相机配置灵活性更高,对流场的干扰更小,可有效降低系统安装、同步触发与参数匹配复杂度。与传统相机仅记录光强和位置不同,光场相机在电荷耦合器件(CCD)传感器前集成微透镜阵列(MLA),将示踪粒子的散射光按不同方向分光并在传感器上形成对应图像,因此单次曝光即可同时捕获散射光的强度、位置和方向信息,无需多角度采集或多相机拼接,这一独特优势使其可替代多相机系统实现高效三维粒子图像测速(PIV)。过去十年,随着微透镜制备、传感器技术与精密制造工艺的快速发展,基于单光场相机的层析PIV(光场Tomo-PIV)日益成熟,已广泛应用于各类流场测量场景。
光场Tomo-PIV的基本原理包括光场相机标定、权重矩阵计算、层析重建、三维互相关算法实现及后续流场处理。光场相机标定分为聚焦型光场相机标定与标准全光相机标定:针对Raytrix系列聚焦型光场相机,Chen L等提出基于圆形霍夫变换的圆心检测方法,精准获取白光原始图像中各子图像的中心点,进而完成棋盘格角点检测与映射,结合Levenberg-Marquardt方法求解标定模型,可获得高精度光学参数,但该方法在物方存在两种及以上介质时会导致权重矩阵计算误差;Hall E M于2018年提出的标准全光相机体积标定方法,通过三阶多项式映射函数建立MLA坐标(s, t)、已知三维标定点坐标(X, Y, Z)与各透视视角对应标定点坐标(u, v)的空间映射关系,可修正物方介质不一致、主透镜与MLA实际畸变及薄透镜假设带来的误差,且无需标定标准全光相机的光学参数;Shi等于2019年提出基于高斯光学的标定模式,明确了体素与其对应微透镜、像素的关系,以及混淆圆在MLA上的中心与直径,考虑了主透镜引入的畸变及MLA与CCD传感器的错位影响;2020年Shi等进一步提出基于全光类型特征的柔性标定方法,利用“全光盘特征”处理原始光场图像,通过质心算法识别与三维空间点关联的斑点特征,无需生成子孔径图像或检测子孔径图像特征的中间处理步骤;Zhu等提出的迭代多项式模型调整策略,从基于目标的多项式映射初始化,利用实验中采集的粒子子孔径图像残差进行迭代优化,相比单次拟合,可通过真实粒子图像中测量的相对位移更新整个体积的映射,模型调整过程中显式补偿了主透镜不同子孔径的角度偏差,并通过空间角度耦合与轻量正则化保证稳定性,抑制过拟合的同时保留了低频成像的固有非线性映射特性,是目前最先进的标定技术。
权重矩阵计算在光场Tomo-PIV中存在五种主流方法:Fahringer方法假设从体素中心发出的每条光线具有等效于一个微透镜节距的有限截面,对于正交MLA,任意从体素中心穿过主透镜的光线均被四个相邻微透镜及下方16个像素捕获,通过将光线投影在微透镜平面划分为4个矩形、在像素平面划分为16个矩形,以矩形面积作为贡献系数,可采用线性插值计算,但仅适用于正交MLA构型,且要求测量体离散化体素节距与微透镜节距匹配以维持几何关系,即使并行计算仍需数十小时;Shi的权重矩阵计算方法对给定体素,将其密集光线追踪至MLA平面再至CCD传感器,权重系数为密集光线与MLA的重叠度(w1)乘以光线与像素的重叠度(w2),该方法不依赖MLA几何结构但计算成本高;Cao的权重矩阵计算方法采用后向光线追踪,将光线从像素中心追踪至MLA、主透镜及流场测量体,体素对像素的贡献由体素与像素视线的距离通过高斯函数建模;上述三种方法均假设物方粒子散射光直接透过空气与光学系统到达CCD传感器,未考虑物方不同折射率介质的射线追踪效应,Zhu和Wu为此提出改进方法,通过Hall E M的体积标定方法建立空间物点(X, Y, Z)与MLA坐标(s, t)的映射关系,再采用前向光线追踪计算流场离散体素的权重系数,但该标定方法不适用于流场位于圆柱形管道内或无法放置标定板的场景,Zhu随后提出权重系数计算的等效射线追踪方法,通过智能标定板的光场快照建立流场采样目标点与其在空气中等效点的映射关系,将射线追踪起点从目标点偏移至等效点以获取权重系数。在互相关算法研究中,Zhu等提出了光场Tomo-PIV互相关计算最优参数的确定方法,基于相关峰有效检测概率分析研究了 interrogation窗口尺寸的选取准则,通过合成高斯涡旋场重建探索了最优示踪粒子浓度与粒径,并将优化参数应用于受限通道圆柱尾流测量,但未研究三维粒子场重建精度对互相关算法精度的影响,加之时间分辨光场Tomo-PIV研究稀缺,速度场后续处理也受到严重限制。
三维粒子场的高精度高效重建是获取高精度速度场的关键。光场Tomo-PIV的三维粒子场重建算法主要分为传统迭代重建算法与深度学习技术两类。传统迭代重建算法以乘性代数重建(MART)、基于密集射线追踪的MART(DRT-MART)、期望最大化(EM)、基于预识别的同步代数重建技术(Pre-SART)为代表。三维粒子场光场成像迭代重建算法的研究可追溯至2012年,Lynch K.等首次提出光场Tomo-PIV框架,采用MART重建Oseen涡环的体积场,奠定了该技术工程应用基础;2016年Shi等聚焦粒子重建质量的影响因素,研究了像素-微透镜比(PMR)、微透镜几何结构、重建迭代次数、松弛因子、体素-像素比对最终粒子重建质量的影响;2017年Shi等进一步改进传统MART算法,提出面向光场Tomo-PIV的DRT-MART,通过密集射线追踪技术确定每个体素对应的像素位置,将对应同一体素的像素相乘,乘积超过阈值则判定为非零体素,再采用MART算法计算这些非零体素的三维粒子场分布;2019年Cao等提出用于三维粒子场重建的EM算法,并研究了光场相机光学参数对EM重建质量的影响;2021年Zhu等提出基于预识别的SART算法(Pre-SART),在预识别过程中引入特征指数优化粒子信号滤波逻辑,有效提升了预识别精度,再采用SART算法从光场图像重建三维粒子场。受限于光场相机深度分辨率较低,传统迭代重建算法得到的三维粒子场沿深度方向(Z轴)存在拉伸现象,采用相互垂直放置的双光场相机可提升深度分辨率,减少粒子拉伸伪影,但传统迭代重建算法计算量大,通常需15分钟至数十小时,双光场相机系统的重建时间长于单光场相机系统。
近年来,随着深度学习与机器学习技术的快速发展,基于深度学习的三维粒子场重建逐步兴起,这类算法可利用神经网络的特征学习能力缓解传统迭代重建中常见的重建粒子深度拉伸问题,并显著提升重建效率。但目前光场Tomo-PIV三维粒子场深度学习重建的研究仍较为有限:2024年Cao等提出结合数字重聚焦技术与3D U-Net的三维粒子场重建方法,可显著缓解重建粒子场沿深度方向的拉伸,且3D U-Net网络模型可提升三维粒子场重建效率;Zhu等于2024年提出光场监督深度神经网络(LF-DNN)方法,融合残差神经网络结构与新型混合损失函数,研究表明LF-DNN在重建质量、延迟效应缓解、噪声容忍度方面均优于MART与预识别MART(PR-MART),重建效率分别为MART的9.6倍与PR-MART的7.1倍。
本文旨在综述光场Tomo-PIV三维粒子场重建算法的最新进展,涵盖传统迭代重建方法与深度学习技术。首先简要介绍光场相机与光场Tomo-PIV的基本原理,随后详述传统主流三维粒子场重建方法与基于深度学习的重建算法的工作机制,分析两类方法的优劣势、局限性与技术瓶颈,最后探讨当前光场Tomo-PIV三维粒子场重建面临的挑战与潜在未来研究方向。现有光场流动测量相关综述仅零散讨论孤立重建算法,缺乏统一对比与系统整合,不同于以往碎片化综述,本工作建立了主流三维粒子场重建方法的综合对比分析框架,这是其核心贡献。通过系统整合该领域的碎片化研究成果,本综述为加速光场Tomo-PIV在流体力学与跨学科流动测量中的实际应用提供了坚实的理论与技术基础。
- 2.
光场成像与光场Tomo-PIV
2.1 光场成像原理
2.1.1 光场相机结构
本文讨论的光场Tomo-PIV所用光场成像系统为基于MLA的光场成像系统,该系统通过在传统单相机基础上结合MLA等光学组件改进而成。MLA是由大量微小透镜按阵列排列组成的光学元件,单个透镜尺寸可小至数百微米,焦距为数十微米至数毫米,厚度约1-2mm。1992年Adelson E. H.设计了全光相机,物方光线经主透镜成像于MLA表面,MLA后焦平面的图像通过中继透镜传递成像至CCD传感器,但中继透镜的引入导致光场图像出现严重渐晕;2005年Ng. R等简化了全光相机设计,移除中继透镜,将MLA安装在传统相机CCD传感器前方特定距离处,使CCD传感器位于MLA的后焦距位置,但标准全光相机的空间分辨率较低;针对该问题,2008年Lumsdaine A.和Georgiev T.提出聚焦型光场相机,与标准全光相机不同,MLA与CCD传感器的距离不等于MLA的焦距,而是小于或大于MLA焦距,物方某一平面先经主透镜成像于主透镜后方特定距离的虚像平面(VIP),再由MLA将VIP重新成像于CCD传感器,这种二次成像方法的空间分辨率高于标准全光相机。Thurow. B. W.团队采用定制光学附件将MLA精确组装在传统相机CCD传感器前方特定距离,固定在相机CCD传感器与主透镜之间,用于流场速度场测量与燃烧诊断;Shi等也将MLA精确固定于传统相机CCD传感器前方固定距离,采用光场相机测量流场速度场;Thurow. B. W.团队组装了笼式高速光场相机,将两个主透镜耦合形成中继系统,在中继系统前安装MLA,之后在MLA前加装另一透镜,用于流速场测量与燃烧诊断。
2.1.2 光场相机共轭关系
光场相机的光学构型与共轭关系是射线追踪技术、层析与重建原理的基础。标准全光相机的共轭关系可表示为1/l1+ 1/(lm+d2) = 1/f,其中l1为物面到主透镜平面的距离,lm为主透镜到MLA平面的距离,f为主透镜焦距,fm为MLA焦距,d2为MLA到CCD传感器的距离。聚焦开普勒模式与伽利略模式光场相机的共轭关系可表示为1/l2+ 1/d1= 1/fm,其中l2为主透镜到VIP的距离,d1为VIP到MLA平面的距离;开普勒模式下MLA与CCD传感器的距离大于MLA焦距,VIP位于主透镜与MLA之间;伽利略模式下MLA与CCD传感器的距离小于MLA焦距,VIP位于CCD传感器后方。Raytrix R29采用三种不同焦距的微透镜组成MLA以提升聚焦型光场相机的深度分辨率,因此具有三个不同的VIP平面与三个虚拟物平面(VOP),其共轭关系可表示为1/lv1+ 1/l′v1= 1/f、1/lv2+ 1/l′v2= 1/f、1/lv3+ 1/l′v3= 1/f,其中lv1、lv2、lv3分别为主透镜到VOP1、VOP2、VOP3的距离,l′v1、l′v2、l′v3分别为主透镜到VIP1、VIP2、VIP3的距离。光场Tomo-PIV中通常采用标准全光相机采集示踪粒子光场图像,Cao等探究了聚焦型光场相机的三维粒子场重建质量,研究表明微透镜的高逆放大倍率(Mm)对三维粒子场重建质量有显著影响,较大的|Mm|有利于提升层析重建质量并沿Z轴扩展测量体积。
2.1.3 光场相机F数匹配
采集示踪粒子光场图像前需考虑光场相机的F数匹配关系。标准全光相机与聚焦型光场相机中,CCD传感器收集的光线均来自主透镜汇聚的光线,每个微透镜下产生一系列子图像,子图像的生成、重叠与覆盖由光学几何与F数匹配规则决定,是光场Tomo-PIV射线追踪技术与后续三维粒子场重建的基础原始数据。为充分利用CCD传感器像素,需通过调整主透镜光圈改变主透镜F数,使相邻子图像相切(即F数匹配)。
不同光场相机的F数原理存在差异:标准全光相机的F数匹配满足F数匹配条件Pl/F = Pm/fm,其中Pm为MLA中每个微透镜的节距,Pl为主透镜节距;聚焦型光场相机的开普勒模式与伽利略模式虽F数与标准全光相机一致,但相邻子图像仍存在重叠,重叠区域无法区分,导致可用于射线追踪的子图像像素数量减少,因此需重新推导F数匹配条件:开普勒模式下,主透镜在CCD传感器上的离焦模糊直径c可表示为c = (d1- fm) * Pl/ l2;伽利略模式下,c可表示为c = (fm- d1) * Pl/ l2;为保证相邻子图像相切,F数匹配条件采用梯形关系而非三角形关系,表达式为(Pl/F) + (c / d1) = Pm/ fm。
2.2 光场Tomo-PIV原理
基于单光场相机的光场Tomo-PIV技术路线包括示踪粒子播撒、激光照明、光场图像采集、三维粒子场重建、互相关计算速度场五个环节:示踪粒子播撒环节将示踪粒子分散入流场,粒子密度应接近流体密度以保证良好的跟随性,实验中通常采用直径为20μm和50μm的示踪粒子,较大粒径可产生更强的散射光信号,提升光场图像的信噪比与成像质量;双脉冲激光照明环节采用典型双脉冲体激光器照明,激光向被测流场发射两个短脉冲,脉冲时间间隔Δt是后续流速计算的关键时间基准;光场图像采集环节中,激光脉冲照亮示踪粒子后粒子产生散射光,光场相机进行双帧同步曝光,使双激光脉冲与相机两次曝光时刻精确对应,记录一对粒子光场图像,两幅光场图像的时间间隔与激光脉冲间隔一致,均为Δt;三维粒子场重建环节将测量体离散化为三维体素网格,每个体素对应光强值E,三维粒子场E的光强分布与相机传感器上光场图像P的灰度水平满足线性投影关系Pi= Σj=1nWi,jEj(i=1,2,…,m),其中m为CCD传感器总像素数,n为测量体离散化体素总数,Wi,j为第j个体素对第i个像素的贡献,称为权重矩阵,该式为典型的病态逆问题,通常采用迭代重建算法从二维光场图像重建示踪粒子的三维空间分布,过程复杂且计算量大;三维互相关与速度场计算环节对两个连续时刻重建得到的三维粒子场进行三维互相关,得到时间间隔Δt内粒子群的位移矢量R,表达式为R = argmaxr∫∫∫ E1(x,y,z) E2(x+rx, y+ry, z+rz) dx dy dz,再根据R/Δt计算得到整个被测流场的三维速度分布。
2.3 光场Tomo-PIV评价指标
2.3.1 重建精度
在传统Tomo-PIV与光场Tomo-PIV中,三维粒子场重建精度直接影响三维互相关的精度,因此评估三维粒子场重建精度至关重要。目前三维粒子场重建精度包括单个粒子重建位置与理论位置的对比,以及多个粒子的重建质量评估。重建质量Q定义为Q = ΣjE0jE1j/ √(ΣjE0j2ΣjE1j2),其中E0是位于三维位置(Xj, Yj, Zj)的预定三维光强分布,E1是位于三维位置(Xj, Yj, Zj)的重建三维光强分布,Q的取值范围为0≤Q≤1,称为归一化相关系数,Q值越大表明重建三维光强分布E1越接近预定三维光强分布E0。该式适用于评估三维粒子场重建精度,但在Tomo-PIV实验中因缺乏预定三维粒子场分布,无法用于评估实验中的三维粒子场重建质量,因此目前实验中普遍缺乏对三维粒子场重建质量的评估。
2.3.2 粒子浓度
示踪粒子浓度是Tomo-PIV不可忽视的重要参数,流场中示踪粒子浓度同时影响三维粒子场重建质量与三维流场结构的表征能力。传统多相机Tomo-PIV中,流场示踪粒子浓度定义为C = Nparticle/ Npixel,单位为ppp(粒子每像素),可通过图像处理的高斯拟合函数确定粒子图像中的示踪粒子数量。光场Tomo-PIV中由于成像系统引入MLA,流场示踪粒子浓度不再以ppp形式呈现,定义为C = Nparticle/ NMLA,单位为ppm(粒子每微透镜),由于MLA的存在,无法通过图像处理确定光场图像中的示踪粒子数量,因此实验过程中难以确定示踪粒子的实际浓度,这是光场Tomo-PIV的一个难题。传统多相机Tomo-PIV中粒子浓度通常维持在约0.05ppp,光场Tomo-PIV中粒子浓度一般为1ppm,即微透镜数量等于粒子数量,该浓度对应低浓度粒子场,低浓度下重建算法可重建高质量三维粒子场,但为保证三维互相关算法每个interrogation窗口内有8-11个粒子,低浓度三维粒子场通常需要更大的interrogation窗口尺寸,导致速度场矢量数量减少,空间分辨率下降,难以准确表征三维流动结构;当粒子浓度较高(如粒子数量超过微透镜数量)时,多重散射会影响粒子强度,导致光场图像饱和,重建算法难以准确重建三维粒子场,进而降低基于三维互相关的位移估计精度。
2.3.3 Tomo-PIV不确定性
重建不确定性指重建三维粒子分布与实际三维粒子场的偏差,在传统Tomo-PIV中通常表现为重建误差、鬼影粒子、粒子拉伸、强度失真与粒子丢失,会降低粒子定位精度与速度估计准确性,其大小取决于标定误差、权重矩阵不准确、视角有限、相机数量不足、图像噪声、粒子图像重叠、重建算法收敛误差等多因素,高浓度粒子还可能增加鬼影粒子与重建伪影的出现概率,进一步降低重建质量。这些因素强耦合,会沿整个测量链传播并最终影响重建速度场的精度。光场Tomo-PIV中对重建不确定性及其影响因素的研究较少,Fahringer T W曾采用MART研究了光场Tomo-PIV中重建三维粒子场与实际三维粒子场的偏差,但重建精度对速度场精度的影响仍未得到充分探索