基于双目视觉与2D–3D空间特征融合的幼体亚洲鲫（Carassius auratus）摄食强度评估

《Animals》：Assessment of Feeding Intensity in Juvenile Asian Crucian Carp Using Binocular Vision and 2D–3D Spatial Feature Fusion

　　

准确评估鱼类摄食强度对于理解摄食需求和提高水产养殖效率至关重要。鱼类摄食行为本质上是三维空间活动，而单目视觉只能提供二维图像信息，仅在单一投影平面上捕获特征变化。这使其无法有效表征鱼在三维空间中的位置和行为特征，从而限制了摄食强度评估的准确性。因此，提出了一种基于双目视觉、通过二维与三维空间特征融合的鱼类摄食强度评估方法。从侧面视角获取双目鱼图像。随后利用图像处理技术分割鱼目标，并提取目标特征点。在此基础上，推导鱼的二维空间特征。针对双目图像中鱼体相互重叠和遮挡造成的特征点缺失，提出一种基于视差图的缺失点恢复（Missing Point Restoration, MPR）方法，用于特征恢复与匹配。进一步提出加权Delaunay三角剖分（Weighted Delaunay Triangulation, WDT）算法，以确保三维特征计算准确。值得注意的是，所提取的二维和三维空间特征具有明确的物理意义，能够直接表征与摄食相关的空间行为，从而提高摄食强度评估的可解释性。最后，构建基于表格先验数据拟合网络（Tabular Prior-data Fitted Network, TabPFN）的分类模型用于评估鱼类摄食强度。通过双目视觉提取三维空间特征，所提方法克服了二维特征在表征鱼体垂直行为方面的不足，有效补偿了与深度相关的评估误差，并提高了摄食强度评估准确性。所提方法在真实鱼类摄食数据集上测试，达到95.92%的准确率、95.97%的精确率、95.95%的召回率、98.63%的特异性和95.96%的F1分数，表明其用于鱼类摄食强度评估的潜力。

该研究围绕水产养殖精准投喂中的鱼类摄食强度评估问题展开。传统养殖依赖人工观察和经验判断，主观性强，易导致投喂不足或过量；现有计算机视觉方法多依赖纹理、行为等表层特征或深度学习自动提取特征，难以充分表征鱼在真实三维水体中的空间位置与结构变化，且深度学习特征解释性不足。鱼类摄食行为本质上是三维空间活动，单目视觉仅提供二维投影，难以获得深度信息以及个体间距、鱼与投喂点空间关系等关键信息，从而限制评估精度。基于此，研究人员提出双目视觉与2D–3D空间特征融合的评估方法，假设二维与三维空间特征具有互补性，并通过真实鱼类摄食数据集检验其性能。该方法的意义在于以具有明确物理意义的空间特征提升摄食强度评估的可解释性和准确性，为智能投喂管理提供轻量化技术方案。

关键技术方法（不超过250字）：双目相机侧面采集，标定校正后以SGBM（Semi-Global Block Matching，半全局块匹配）获取视差；背景减除、增强、二值化和轮廓检测分割鱼体，以质心为特征点，提取ADS、FT、PAA、PAI四个2D特征；以MPR恢复缺失点、ORB匹配并按双目原理重建3D坐标，再以WDT计算GD、AID、RFPR三个3D特征；拼接七维特征输入TabPFN分类。样本来自扬州大学学行楼实验，2023-10-25至2023-12-13，15尾幼体亚洲鲫（Carassius auratus），体长15–25 cm、平均体重约80 g、总湿重约1.20 kg，水深40 cm，初始放养密度64 fish m^?3；37个有效投喂事件、9503帧图像，另用3个独立视频822样本验证。

结果部分保留各小标题并概括如下。3.1 实验设置：在统一硬件软件、输入特征、数据划分和评价指标下比较，TabPFN直接使用七维特征，其他模型使用验证集进行模型选择和早停，为公平比较提供条件。3.2 图像处理结果：通过校正、SGBM立体匹配、背景减除和质心提取，获得清晰鱼目标和视差信息。3.3 二维空间特征提取结果：通过箱线图比较四级摄食强度，ADS、FT、PAA、PAI呈分布差异，FT随摄食强度增加而增大。3.4 三维空间特征提取结果：3.4.1 基于MPR的特征点匹配结果通过示例和缺失点记录评估，798个缺失点中762个被恢复，恢复率95.49%，其中741个正确匹配，匹配准确率97.24%；3.4.2 基于WDT的三维特征计算结果通过箱线图和Kruskal–Wallis非参数检验（Kruskal–Wallis non-parametric test，多组分布差异检验）分析，GD、AID、RFPR在不同摄食强度间分布不同，平衡子集912帧中七个空间特征均p<0.001。3.5 基于TabPFN的鱼类摄食强度评估结果：通过混淆矩阵、五次重复实验和三个独立视频测试，总体准确率95.92%、平均F1分数（F1-Score，精确率与召回率的调和平均）95.96%、平衡准确率95.95%，独立测试集准确率95.99%，表现稳定。3.6 消融实验结果：通过去除WDT或MPR比较，完整方法指标最高；去WDT后准确率94.78%、F1分数92.73%，去MPR后准确率93.20%、F1分数91.34%，五次重复趋势一致，说明两模块均有贡献。3.7 比较结果：3.7.1 基于2D与3D空间特征的比较结果通过仅2D、仅3D与融合比较，融合准确率95.92%优于仅2D的89.29%和仅3D的92.01%，支持两类特征互补；3.7.2 基于不同三角剖分算法的比较结果通过WDT与Delaunay三角剖分、3D空间三角剖分比较，WDT各指标更高，但未证明当前权重函数最优；3.7.3 基于不同分类模型的比较结果通过TabPFN与TabNet、XGBoost、LGBM、RF、MLP、DT、1D-CNN比较，TabPFN最高，模型大小2.12 MB，2376个测试样本总测试时间0.28512 s；3.7.4 与其他方法的比较结果通过复现Yu et al.、Feng et al.、Zhang et al.、Zhang et al.的方法，所提方法准确率高于其他深度学习或图像处理方法，与先前2D空间特征方法准确率相当，但精确率、召回率、特异性和F1分数更高，且模型更小、测试更快。

讨论部分认为，该研究的新颖性和优势在于从鱼群空间分布与结构变化中提取具有物理意义的2D和3D空间特征，避免仅依赖纹理等表层特征，并缓解深度学习“黑箱”问题；特征重要性排序参考先前TabNet-DFWL分析，为GD、ADS、FT、AID、RFPR、PAA、PAI。与先前单目视觉提取七个2D特征并使用改进TabNet的研究相比，本研究引入双目视觉，保留四个2D特征并将GD、AID、RFPR扩展为3D形式，提出MPR和WDT作为三维特征计算的关键贡献，融合2D与3D特征取得更优综合表现。局限性包括：数据来自受控实验室、单一物种和单一实验缸，水质与光照较稳定；投喂位置、投喂量、放养密度、缸体几何和相机位置可能影响空间分布与特征值；传统图像处理对水体浊度和光照变化较敏感，未来可采用深度学习分割和数据增强；WDT权重函数尚需比较替代方案；四级离散分类不能完全表征摄食强度的连续时间变化，未来可探索更细粒度和连续量化方法。

研究结论（翻译）：为克服单目视觉仅依赖二维特征导致行为表征不完整、限制摄食强度评估准确性的问题，提出了一种基于双目视觉、融合二维与三维空间特征的鱼类摄食强度评估方法。该方法能够准确提取鱼的二维和三维空间特征，有效克服二维图像对垂直行为表征不足的局限，并补偿因缺乏深度信息造成的误差，从而提高摄食强度评估准确性。引入MPR方法解决双目图像中个体遮挡和重叠造成的特征点缺失问题，促进鱼特征点的恢复与后续匹配。此外，提出WDT算法，有效增强鱼群空间离散度的表征并提高摄食强度评估准确性。在本研究评估的实验条件下，所提方法达到95.92%的准确率，二维与三维空间特征融合的观测性能优于单独使用任一类空间特征。结果展示了结合二维和三维空间信息进行鱼类摄食强度评估的潜力。然而，现有发现仅限于相对受控条件下单一实验缸中的幼体亚洲鲫，仍需在不同鱼群和物种、养殖系统、水体浊度和光照条件以及独立投喂事件中进一步验证，以评估所提方法的稳健性和泛化性。