《Computation》：TransformerPIV: An Improved Large-Scale Flow Motion Estimation Method Based on Self-Attention Mechanism
编辑推荐：
粒子图像测速（PIV）作为一种广泛用于测量流动速度场并表征流动行为的技术，已被广泛应用于空气动力学和流体力学等多种流体力学场景。然而，现有PIV方法主要关注空间分辨率，即提取小尺度运动的能力，而忽略了大尺度流动运动情形。本文引入了一种新的深度学习框架 Tran
粒子图像测速（PIV）作为一种广泛用于测量流动速度场并表征流动行为的技术，已被广泛应用于空气动力学和流体力学等多种流体力学场景。然而，现有PIV方法主要关注空间分辨率，即提取小尺度运动的能力，而忽略了大尺度流动运动情形。本文引入了一种新的深度学习框架 Transformer，该框架基于自注意力机制，能够捕获全局信息。首先，为增强位置感知能力，采用卷积神经网络（CNN）从原始粒子图像中提取特征。其次，基于一组图像特征应用自注意力机制，以捕获全局信息。第三，在编码器-解码器（encoder-decoder）网络中估计粒子图像的速度场。最后，采用大量合成与实验粒子图像对所提出的方法进行验证。实验结果表明，所提出方法在测量精度上优于互相关（cross-correlation）方法和光流（optical flow）方法。此外，在大尺度流动运动估计方面，该方法较传统基于深度学习的PIV方法表现更佳。
本文发表于《Computation》，研究主题聚焦于将Transformer引入粒子图像测速（PIV）速度场估计任务，以改进复杂流动条件下、尤其是大位移与大尺度流动结构场景中的测量性能。研究背景在于，PIV作为实验流体力学中获取瞬时全场流动信息的重要手段，已广泛应用于二维及三维流场测量。传统PIV处理中，互相关法通过窗口统计平均位移获得速度矢量，但难以达到单像素级分辨率，难以满足小尺度流动解析需求；光流法虽具备较高分辨率，但超参数调整困难且变分优化计算代价高。与此同时，已有深度学习PIV方法在一定程度上提升了速度场重建能力，但多数方法主要依赖卷积结构，擅长局部特征提取，却不足以有效建模远距离粒子对应关系，因此在大位移、大尺度相干结构以及复杂实验噪声条件下仍存在局限。基于此，研究人员开展本研究，目的是将具备全局依赖建模能力的自注意力机制引入PIV估计过程，在速度场恢复阶段同时整合局部粒子对应信息与长程依赖关系，从而提升测量精度、鲁棒性和流动结构保持能力。
研究人员提出了一种基于Transformer的PIV速度估计统一框架。该框架由两部分组成：前端采用卷积神经网络（CNN，卷积特征提取网络）进行图像局部特征预提取，后端采用Transformer编码器-解码器结构进行全局相关性建模与速度矢量回归。论文强调，相较于仅在后处理阶段利用全局流动信息的方法，所提方法直接在估计过程中嵌入局部与全局信息，因此更适于复杂流场和大粒子位移场景。研究结果表明，该方法在合成数据和实验PIV图像上均优于传统互相关法、光流法以及已有深度学习PIV-DCNN方法，具体体现为更低的均方根误差（RMSE，root mean square error）、更高的空间分辨率、更少的离群矢量以及对流场细节更好的保持能力。论文的重要意义在于证明了基于注意力的全局相关建模可作为PIV速度估计的有效方法学补充，并展示了神经网络驱动PIV在复杂实验环境中替代传统相关法的工程潜力。
研究人员用于开展本研究的主要技术方法包括：构建CNN与Transformer耦合的PIV-Transformer网络，以ResNet18前两部分作为骨干网络进行降采样与局部特征提取；在Transformer中采用位置编码、多头自注意力（multi-head self-attention）和前馈网络（feed-forward network）建模长程空间依赖；使用监督学习方式训练网络，训练数据来源于两类合成粒子图像生成方法，即模拟粒子运动法与粒子图像形变法，共生成100 K图像对，其中80%用于训练、20%用于测试；并在PIV粒子图像库中的真实涡对与射流实验图像上进行外部验证，通过速度矢量场、速度等值图、流线可视化与速度分布直方图开展比较分析。
2. Model Structure
本节构成全文方法学核心。研究人员首先系统介绍了Transformer for particle image velocimetry的整体网络框架，并说明了训练数据生成流程。整体结构由CNN骨干网络和Transformer主体共同组成。CNN负责对原始粒子图像对进行局部模式编码，Transformer负责在压缩后的特征空间中建立全局依赖并输出集成预测结果。该设计针对图像数据直接输入Transformer时计算复杂度高、位置信息弱化等问题进行了结构性改进。
2.1. Network Structure and Setting
研究人员设计的网络由图像特征预提取与全局速度估计两阶段构成。其核心目的在于通过卷积保留图像相对位置信息，再利用注意力机制捕获远距离粒子对应关系。这样既减轻了纯Transformer处理二维图像时的计算负担，又增强了模型对复杂位移场的感知能力。
2.1.1. Encoder and Decoder Stacks
研究人员采用典型的编码器-解码器结构，整体由6层编码器和6层解码器堆叠而成，层数可调。每个编码器层包含多头注意力与前馈网络两个子层；每个解码器层包含masked multi-head attention、多头注意力和前馈网络三个子层，并在各子层外部配置残差连接与层归一化（layer normalization）。论文指出，该结构避免了循环神经网络中的递归连接，因此可缓解梯度消失与梯度爆炸问题，并降低序列建模中的复杂性。通过这一结构，输入特征经编码器获得表示后，再进入解码器生成最终速度估计结果。
2.1.2. Positional Embedding
由于Transformer并行处理输入，天然缺少相对位置信息表达，因此研究人员引入基于正弦-余弦函数的位置编码（positional encoding）。位置编码与输入特征具有相同维度，可直接相加形成模型输入。论文指出，采用正弦-余弦形式的原因在于其有利于模型学习相对位置关系。该模块解决了并行输入条件下位置信息缺失的问题，同时保留了Transformer在计算速度与存储空间方面相较传统结构的优势。
2.1.3. Feed-Forward Networks
在多头注意力之后，各位置特征进一步通过包含两次线性变换和ReLU激活的前馈网络处理。编码器层与解码器层虽使用结构相同的前馈网络，但参数并不共享。随着网络堆叠加深，研究人员通过残差连接促进反向传播中的梯度传递，并借助层归一化稳定训练、加快收敛。该设计为深层Transformer在PIV任务中的稳定训练提供了结构保障。
2.1.4. Attention Mechanism
本节详细阐明了方法性能提升的关键。研究人员指出，注意力机制可对输入不同部分分配不同权重，自注意力机制则更适于捕获数据内部相关性。本文采用缩放点积注意力（scaled dot-product attention），通过查询（Query）、键（Key）和值（Value）三组线性变换后的特征计算相关性分数，再经缩放与softmax归一化得到权重，最终汇聚形成当前位置输出。研究人员进一步采用多头注意力，使模型在多个不同子空间并行建模输入间关系，从不同视角编码复杂粒子图样之间的依赖。论文据此认为，Transformer能够比传统卷积感受更大范围的空间依赖，适用于大尺度流动结构估计。
2.1.5. PIV-Transformer
针对Transformer直接处理图像时存在的两个问题——二维图像展平导致空间关系削弱，以及注意力计算复杂度随分辨率平方增长——研究人员将CNN与Transformer结合。卷积层负责保留局部上下文和位置关系，并利用下采样降低后续Transformer的计算负担。具体而言，研究人员选用ResNet18前两部分作为骨干网络，输入形式为粒子图像对，经过8倍降采样后得到低分辨率特征图，再通过1 × 1卷积提升通道数并重排为空间压缩后的一维序列，送入Transformer编码器。论文还指出，所用解码器不同于标准Transformer解码器：其不使用掩码操作，而是同时生成N个特征嵌入，每个嵌入对应重建速度场中的一个空间采样位置，再经全连接回归层直接输出N个速度矢量。N决定了输出速度场的空间采样密度与分辨率。该设计体现了模型面向PIV回归任务而非序列生成任务的适配性。
2.2. PIV Dataset Generation
研究人员指出，神经网络PIV的性能高度依赖训练数据规模与质量，但现有实验PIV数据集规模有限，且无法提供像素级真实位移场，因此必须依赖合成数据。本文使用两种策略生成粒子图像对：其一为模拟粒子运动法，通过点扩散函数（point diffusion function）模拟单颗粒成像，并结合模拟流场驱动颗粒运动；其二为粒子图像形变法，以现有粒子图像为参考，根据模拟流场获得相对位移并施加到参考图像上。研究中采用particle image generator依据二维高斯函数生成颗粒图像，其中颗粒亮度由颗粒中心位置、峰值强度和成像直径共同决定。流场方面，研究人员采用随机生成的模拟流场，通过参数控制原点速度矢量，并将其作为数据集真实值。最终构建了100 K合成图像对，按8:2划分训练集与测试集。输入网络前，所有图像均进行归一化和固定分辨率调整，并使用平移、旋转及叠加高斯噪声的数据增强，以提升模型对空间错位、流向变化和噪声污染的鲁棒性。
3. Evaluations on Synthetic Data
在合成数据评估部分，研究人员选择模拟涡对流场作为基准测试对象，因为其同时包含强速度梯度与空间变化位移，适于开展定量误差分析。评估指标方面，对于具有真实值的合成数据，采用均方根误差RMSE作为主要量化指标。对比方法包括传统光流法中的LK法与HS法，以及另一种神经网络方法PIV-DCNN。结果显示，PIV-Transformer在合成数据上的RMSE最小，说明其总体估计误差最低。
在可视化结果中，LK与HS光流法虽总体能够反映涡对流场方向，但原始结果中存在一定比例的离群值，且LK法在图像左上和左下区域偏差明显，需要额外后处理。相较之下，PIV-Transformer具有更高分辨率，能够呈现更精细的流动结构，并取得更高测量精度。与PIV-DCNN比较时，论文指出后者预测结果总体也较好，但其一层网络预测中存在更明显离群值，通常需要使用离群值替换算法。该后处理会同时影响原本正确预测区域，导致小尺度流动结构信息丢失。PIV-Transformer则在中间预测阶段已较少出现显著异常矢量，无需进行离群值检测与替换，因此既改善了预测可靠性，也更完整地保留了流场细节。
4. Evaluations on Experimental Data
为验证模型在真实测量环境中的适用性，研究人员进一步使用PIV粒子图像库中的实验图像进行评估，并与FFTCC、WIDIM及PIV-DCNN进行比较分析。实验评估不具备真实位移标注，因此主要依据速度矢量场、速度幅值等值图、流线可视化与速度分布直方图进行定性比较。
4.1. Test on Vortex Pair Particle Images
在涡对实验图像测试中，图像具有粒径变化小、无特殊颗粒、粒子浓度适中、分布均匀和成像质量高等特点，最大位移约为5像素，属于较适于PIV分析的场景。四种方法在矢量场可视化和速度分布直方图上总体一致，表明预测均具有一定可靠性。然而在流线结果上仍有差异：WIDIM呈现近似阶跃变化，属于方法误差；FFTCC未能充分展示涡核中心区域细节，其测量精度难以满足该流场研究需求。论文据此表明，PIV-Transformer在该较理想实验条件下能够获得与主流方法一致但更具细节表现力的速度场。
4.2. Test on Jet Particle Images
在更具挑战性的射流实验图像测试中，图像表现为粒子浓度高且空间分布强烈不均匀，伴随颗粒聚集与稀疏区域，同时存在严重网格状噪声和光照变化；位移范围从喷口附近接近10像素到下游区域接近0，且射流本身高度非定常，具有明显小尺度波动。这些特征使其成为检验算法鲁棒性的代表性困难场景。结果显示，FFTCC与WIDIM均出现一定离群值，并在右侧区域出现绝对零值，违背物理观察；在流线图中，FFTCC受网格噪声干扰明显，与物理规律不符，WIDIM则丢失大量小结构信息，仅能粗略反映整体趋势。PIV-Transformer保留了更多流场细节。速度分布直方图进一步显示，FFTCC与WIDIM存在绝对零位移估计，FFTCC还出现峰值锁定（peak locking）现象。PIV-DCNN与PIV-Transformer的直方图较为相似，但后者速度测量范围更宽，对图像中的大位移估计更好。论文据此归纳，所提方法在强位移梯度和复杂结构区域能以更少离群值获得更高空间分辨率和更优精度，其改进主要来自自注意力机制对全局粒子对应关系的显式建模。
讨论部分表明，FFTCC和WIDIM作为成熟稳健的PIV技术，在中等粒子位移和较均匀播撒条件下具有良好表现，但在强速度梯度与大位移区域性能会下降，且常需额外后处理抑制伪矢量。现有深度学习PIV方法通过数据驱动特征提取和端到端回归改善了鲁棒性与分辨率，但大多基于卷积架构，对长程粒子相关性建模能力有限。研究人员提出的Transformer方法在总体上与FFTCC、WIDIM和PIV-DCNN结果一致，但在复杂流场尤其是强位移梯度区域，取得了更高精度、更高空间分辨率和更少离群值，体现出将全局注意力机制引入PIV估计过程的有效性。
研究结论部分可译为：本文将神经网络与粒子图像测速（PIV）相结合，提出了一种基于Transformer的PIV方法。通过模拟粒子运动法和粒子图像形变法人工合成PIV粒子图像数据集，用于神经网络的监督学习训练，最终获得了适用于流体运动估计的深度神经网络模型，并在模拟流场测试中实现了高于传统算法的精度。在实际流场图像验证中，研究人员通过矢量场可视化、流线可视化和速度分布直方图，将结果与FFTCC和WIDIM等主流方法进行了比较分析。结果表明，该方法较传统方法具有显著更高的测量精度和空间分辨率，并在复杂流动条件下表现出更好的鲁棒性与可靠性。这种性能提升归因于注意力机制捕获粒子图样间长程相关性的能力，该能力有助于保持大尺度流动结构的空间相干性，尤其是在强位移梯度区域，从而实现更稳定、更符合物理规律的速度场重建，并显著减少基于相关方法中常见的伪矢量。此外，该Transformer-PIV方法不需要离群值检测或替换步骤，从而避免了小尺度流动信息的丢失，使精细流动结构得以更清晰、更真实地表达。这些结果凸显了将基于注意力的全局相关建模引入PIV估计的研究方法学贡献，并表明基于神经网络的PIV方法作为复杂实验环境中精确、可靠流动测量的数据驱动替代方案具有工程应用潜力。
