HU-FlowNet：一种用于密集颗粒流中轨迹检测的方法，该方法整合了匈牙利算法（Hungarian Algorithm）、U-Net和UnLiteFlowNet

《ACS Omega》：HU-FlowNet: A Method for Trajectory Detection in Dense Granular Flows Integrating the Hungarian Algorithm, U-Net, and UnLiteFlowNet

本文提出HU-FlowNet方法，结合U-Net检测颗粒位置、UnLiteFlowNet估计速度场，并利用匈牙利算法匹配轨迹。实验表明该方法在密集颗粒流中表现优异，RMSE为4.854，轨迹覆盖率94%，优于传统算法。

　　在工业生产中，颗粒流的轨迹跟踪对于优化涉及旋转鼓的工艺流程具有重要意义。然而，传统的轨迹跟踪方法在复杂环境下存在稳定性差和精度低的问题。为了解决这些问题，本文提出了一种基于匈牙利算法、U-Net和UnLiteFlowNet的轨迹检测方法——HU-FlowNet。该方法通过将U-Net用于颗粒定位，UnLiteFlowNet用于速度场估计，以及匈牙利算法用于全局位置匹配，实现了对密集颗粒流的高效且精确的轨迹追踪。实验结果表明，HU-FlowNet在密集颗粒流的轨迹检测中表现优于传统跟踪器，包括欧几里得距离、CSRT、Boosting、中值流（MedianFlow）和简单在线实时跟踪（SORT），其均方根误差（RMSE）为4.854，平均绝对误差（MAE）为1.913，轨迹覆盖率达到了94%。此外，该方法在不同操作条件下表现出强鲁棒性和良好的泛化能力，使得在复杂、密集的环境中能够稳定地对数百个颗粒进行连续追踪。

颗粒流在工业中的应用广泛，例如冶金、化工、材料和食品加工等关键领域。旋转鼓作为处理颗粒材料的重要设备，因其多功能性和高效率而被广泛使用，用于热处理、研磨、干燥和均质化等过程。研究发现，颗粒在旋转鼓内的运动直接关系到最终颗粒产品的质量。因此，深入研究颗粒运动特性成为提高现代化工过程优化和智能化控制的重要方向。

目前，颗粒运动轨迹的检测方法包括正电子发射粒子追踪（PEPT）和核磁共振（NMR）技术。例如，Al-Shemmeri等人利用PEPT技术测量了咖啡豆在旋转鼓中的运动特性，揭示了不同烘焙参数对颗粒动力学的影响。其研究显示，颗粒轨迹数据在建模颗粒流中的热传递和优化烘焙工艺方面具有重要价值。然而，PEPT只能追踪单个颗粒，难以全面描述群体的动态行为。同时，NMR设备复杂且昂贵，需要放射性示踪剂和高精度检测装置，这在工业规模应用中受到严重限制。

随着图像处理技术的快速发展，机器视觉在颗粒检测领域展现出巨大潜力。例如，Li等人结合高速成像技术和PIV算法，对不同长宽比的颗粒流特性进行了深入比较。Mio等人利用高速摄像机记录了标记颗粒从旋转 chute 中的排放过程，并通过PIV技术分析颗粒速度，从而推断标记颗粒的运动轨迹，并预测旋转炉中颗粒的运动轨迹。Jiang等人通过高速摄像机捕捉颗粒运动，并手动提取颗粒位置的坐标数据，连接不同时间帧的颗粒中点以构建运动轨迹，得出结论认为不同尺寸的颗粒在旋转鼓中表现出相似的运动路径。Wang等人使用高速摄像机拍摄的图像，结合粒子追踪测速（PTV）技术，提取单个颗粒的位置信息，生成其沉降轨迹，并揭示了不同初始方向下颗粒的沉降行为。Zhu等人通过自动追踪颗粒在图像中的灰度信息和坐标，研究颗粒在颗粒坍塌过程中的相互作用和运动规律。然而，这些研究通常需要重复实验来重建完整的坍塌轮廓，因此存在效率低、易受人为误差影响以及自动化程度低等问题。

近年来，随着并行计算技术的迅速发展，研究人员开始探索深度学习方法在颗粒追踪中的应用。例如，Zhang等人将深度学习与传统机器学习结合，用于检测药液中的异物颗粒轨迹。他们采用Faster R-CNN分割单帧图像中的疑似颗粒目标，并从每一帧的检测结果中提取质心坐标作为轨迹点，随后使用k-means聚类算法将这些轨迹点分成k个簇，以最小化簇内距离并最大化簇间距离，从而获取疑似异物颗粒的运动轨迹。然而，在密集流动条件下，颗粒分布通常呈现出高密度和多簇模式，导致k-means聚类算法容易陷入局部最优解或无法区分紧密相邻的颗粒，因此在密集颗粒流环境中难以实现准确且稳定的轨迹追踪。

基于深度学习的目标跟踪和检测通常分为两个步骤：目标图像分割和目标跟踪。在颗粒图像分割方面，Liu等人提出了基于U-Net的深度网络，成功解决了矿石图像中的重叠问题，实现了颗粒尺寸分布的精确测量。Duan和Liu指出，传统计算机视觉方法在雾霾、颗粒重叠和光照不均等复杂情况下，分割精度降低，影响颗粒尺寸分布（PSD）的测量。他们引入了一种轻量级U-Net分割模型，结合无权重的VGG16特征，实现了颗粒尺寸分布的全自动监测。实验表明，该方法在颗粒尺寸分布监测方面与最先进的方法表现相当。Wu等人则提出了一种高效的多尺度嵌套U-Net方法，用于测量旋转盘稳定区域的颗粒尺寸分布。该方法能够准确分割不同尺寸的重叠颗粒，减少分割误差，并满足在线测量的计算时间要求。Yang等人为了解决传统计算机视觉分割方法对复杂岩石纹理的敏感性，引入了改进的U-Net模型。实验结果表明，改进后的模型在平均精度上比传统分割算法提高了1.53%。这些研究显示，U-Net已成为颗粒检测的主导算法，能够实现高精度的分割。

在目标跟踪方面，常用的跟踪算法包括Boosting、CSRT、欧几里得距离、中值流（MedianFlow）和简单在线实时跟踪（SORT）。例如，Zhu等人提出了一种基于Boosting的跟踪算法，将目标分解为多个块进行独立跟踪，有效缓解了部分遮挡问题。Wang等人开发了一种结合CSRT算法的低空无人机检测和跟踪方法，用于复杂背景下的目标识别。Ronariv等人研究了欧几里得距离跟踪在动态交通信号系统中对车辆检测的有效性。Ojdani?等人设计了一个并行系统，结合中值流跟踪器实现无人机的高效检测和跟踪。SORT由Bewley等人提出，是高效跟踪领域的重要工作。它结合了卡尔曼滤波进行运动预测，并使用匈牙利算法进行数据关联，展示了其在各种基准测试中优越的实时性能。这些研究表明，基于机器视觉的目标运动检测已取得显著进展。然而，目前尚未有研究针对密集颗粒流的轨迹追踪。

为了实现密集颗粒流轨迹的自动检测，本文提出了一种结合匈牙利算法、U-Net和UnLiteFlowNet的新型方法——HU-FlowNet。该方法主要包括两个模块：颗粒位置检测和颗粒运动跟踪。本文详细介绍了实验平台的搭建、HU-FlowNet的结构、网络模型的训练和优化过程，以及轨迹检测的评估指标。

实验平台的搭建是本文的重要组成部分。为了验证所提出的方法，本研究建立了一个专门的实验系统，用于研究旋转鼓中颗粒材料的运动特性。该系统主要由旋转鼓、电机、工业相机和照明系统组成。旋转鼓采用半封闭的铁质圆柱结构，直径为250 mm，深度为35 mm，内壁贴有砂纸以提高摩擦系数。通过变频电机驱动，旋转鼓的转速可精确控制。为了便于实验观察，旋转鼓的一端被透明塑料板密封。工业相机固定在与透明端相对的一侧，用于捕捉旋转鼓内部颗粒的运动情况。采集的图像传输至计算机系统进行分析。在实验过程中，白光光源位于旋转鼓下方，以提供均匀的照明，消除镜面反射，确保高质量的图像采集。

在颗粒运动追踪方面，本文提出了一种结合UnLiteFlowNet和匈牙利算法的追踪方法。首先，利用UnLiteFlowNet模型预测颗粒在下一帧的位置，基于当前帧的位置。随后，使用U-Net检测下一帧中颗粒的观测位置。接着，应用匈牙利算法进行预测位置和观测位置之间的全局匹配，从而确定颗粒在下一帧的位置，实现颗粒运动的连续追踪。匈牙利算法是一种用于解决二分图最优匹配问题的方法，其核心目标是在加权二分图中找到最小总匹配成本的最优匹配。该算法能够实现全局最优分配，避免局部最优解，提高匹配的稳定性。例如，Hamuda等人利用匈牙利算法进行多目标作物追踪，取得了99.34%的召回率。因此，本文采用匈牙利算法进行颗粒位置匹配。

为了评估所提出方法的性能，本文采用三个关键指标：轨迹覆盖率（TCR）、均方根误差（RMSE）和平均绝对误差（MAE）。其中，TCR用于评估检测轨迹是否能够有效覆盖真实轨迹，关注轨迹的全局匹配度。RMSE主要用于评估检测轨迹与真实轨迹之间的偏差，而MAE则用于衡量检测轨迹与真实轨迹之间的平均偏差。实验结果表明，所提出的方法在密集颗粒流的轨迹检测中表现优异，其RMSE为4.854，MAE为1.913，TCR为94%，显著优于其他传统算法。

为了系统评估HU-FlowNet算法在颗粒轨迹追踪任务中的性能，本文从三个方面进行了实验分析。首先，在相同实验条件下，将所提出的方法与五种传统算法（欧几里得距离、CSRT、Boosting、中值流和SORT）进行比较，验证其在精度、轨迹覆盖率和计算时间方面的综合优势。随后，分析UnLiteFlowNet网络层数对跟踪精度和轨迹覆盖率的影响，旨在确定最有效的网络配置。最后，从应用角度出发，评估该算法在不同条件（如曝光时间、填充率和旋转速度）下的适应性，进一步验证其在复杂动态环境中的实用性和稳定性。

在算法比较部分，实验在填充率为30%、旋转鼓转速为15 rpm、曝光时间为6 ms的条件下进行，持续时间为5秒。实验结果显示，在初始阶段（0.17秒内），所有算法均能成功追踪目标颗粒，结果一致。然而，随着实验时间的推移，各算法的追踪精度逐渐出现差异。在3.33秒时，欧几里得距离算法、CSRT算法和Boosting算法均出现追踪误差。例如，蓝色标记的颗粒在欧几里得距离算法下表现出明显的偏移。同时，中值流算法和SORT算法在该阶段也出现了部分颗粒的丢失。随着时间的推移，欧几里得距离、CSRT和Boosting算法的追踪误差进一步增加。到4.5秒时，SORT算法已经丢失了三个标记的颗粒，而中值流算法则失去了所有标记的颗粒。

总体来看，所提出的方法在颗粒追踪精度和计算时间方面均优于传统算法，能够实现密集颗粒流轨迹的快速且精确检测。在不同网络层数的分析中，实验结果显示，随着网络层数的增加，跟踪精度显著提高。例如，当网络层数从3层增加到6层时，RMSE从31.792降至4.854，MAE从24.407降至1.913，轨迹覆盖率从75%提升至94%。这些结果表明，更深的网络能够更准确地估计颗粒运动轨迹，提高整体匹配精度。此外，6层网络在轨迹覆盖率方面表现最佳，表明其在保持低跟踪误差的同时，能够确保颗粒轨迹的完整性。

为了进一步评估该算法在不同曝光时间下的性能，本文进行了多个实验。实验条件包括填充率为50%、旋转鼓转速为15 rpm，曝光时间分别为6 ms、10 ms和20 ms，实验持续时间为10秒。实验结果显示，6 ms的曝光时间在保持较高检测精度的同时，有效减少了运动模糊，使得颗粒边缘更加清晰，轨迹更加连续。相比之下，10 ms的曝光时间虽然能够提供更清晰的图像，但由于颗粒在帧间移动较大，导致轨迹跳跃现象。20 ms的曝光时间虽然提高了图像亮度和细节，但显著增加了动态模糊，导致颗粒轨迹重叠和错位，从而影响追踪的连续性。因此，在实验条件下，6 ms被选为最优的曝光时间。

此外，为了验证该算法在不同操作条件下的适应性，本文进行了四组实验，通过控制变量法调整旋转鼓的转速和填充率。实验条件包括填充率（30%至50%）和转速（5 rpm至20 rpm），曝光时间为6 ms，实验持续时间为10秒。实验结果表明，所提出的方法在不同填充率和转速条件下均能保持较高的轨迹追踪精度，展现出良好的鲁棒性和泛化能力。这表明该方法在不同工作条件下均能稳定地追踪数百个颗粒，适用于复杂、密集的环境。

在密集颗粒流的轨迹追踪分析中，本文进行了10秒的实验，条件为填充率50%、旋转速度20 rpm和曝光时间6 ms。原始颗粒数为583，其中450个颗粒被随机选择进行追踪。绿色标记表示颗粒的初始位置，红色标记表示当前位置，彩色轨迹线展示了颗粒运动的时间演变。实验结果表明，即使在包含数百个同时运动颗粒的复杂场景中，所提出的方法仍能生成连续且稳定的轨迹。这表明该方法在密集颗粒流中的适用性和可扩展性。

综上所述，本文提出了一种基于匈牙利算法、U-Net和UnLiteFlowNet的密集颗粒流运动轨迹检测方法。该方法成功实现了旋转鼓内密集颗粒流的高效且精确的自动追踪，并在各种实验条件和算法比较中验证了其优越性。未来的工作将专注于将该方法应用于更复杂的反应性颗粒流，以支持催化反应和颗粒化过程中的颗粒混合、传输和反应优化，从而进一步提升其在现代化工过程设计和优化中的应用价值。