基于视觉-几何紧耦合建模的鱼类检测与测量统一范式:Bézierfusion方法研究与应用

《Smart Agricultural Technology》:Bézierfusion: A Unified Fish Detection and Measurement Paradigm Based on Tightly-Coupled Vision-Geometry Modeling

【字体: 大 中 小 】 时间:2026年01月06日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  本文针对复杂水下环境中自由游动鱼类体长精准测量难题,提出了一种名为Bézierfusion的端到端检测与测量统一范式。研究团队通过构建视觉-几何紧耦合模型,将三次Bézier曲线嵌入YOLOv8检测器,实现了单次前向传播即可完成鱼类检测与曲线拟合,显著提升了弯曲鱼体长度测量的精度与效率。实验表明,该方法在两个自建数据集上mAP50最高达98.4%,平均相对长度测量误差低于0.17,推理速度较两阶段方法提升约3倍,为智能水产养殖提供了可靠的技术支撑。

  
在水产养殖业向数字化、智能化转型的浪潮中,准确掌握鱼类生长状态是实现精准投喂、健康管理和效益最大化的重要基础。其中,鱼体体长的实时精准测量尤为关键,它不仅直接反映鱼类生长趋势,更是评估养殖效果、优化管理策略的核心指标。然而,这一看似简单的任务在实际水下环境中却面临着巨大挑战:自由游动的鱼类姿态千变万化,身体柔软易变形;水下光照条件复杂,常出现弱纹理、低对比度情况;悬浮颗粒、水体浑浊干扰成像质量;此外,公开可用的、标注完善的水下双目视觉数据集极为稀缺,严重制约了基于深度学习模型的训练与泛化能力。传统接触式测量方法效率低下且易对鱼体造成应激伤害;早期的二维图像分析方法难以应对三维空间中的弯曲姿态和遮挡问题;而现有的基于关键点或轮廓分割的三维测量方法,要么对噪声敏感,要么计算复杂、依赖后处理,难以满足实际养殖场景中对实时性、鲁棒性和准确性的综合要求。
为了攻克这些难题,发表在《Smart Agricultural Technology》上的这项研究,提出了一种名为“Bézierfusion”的创新性框架。该研究的核心思想是打破传统的“先检测后处理”流水线,将物体检测与参数化曲线建模紧密耦合,在一个统一的前向传播过程中,实现从像素到物理测量的端到端可微分映射。这为测量具有规则几何形状的非刚性物体(如鱼类)提供了一种全新的、更鲁棒的解决方案。
研究人员为开展此项研究,主要运用了以下几项关键技术:首先,他们自主搭建了水下双目测量系统,采集并构建了两个分别包含室内养殖池和复杂户外水下环境的标注数据集(Dataset 1和Dataset 2),共计超过5000个标注样本,有效缓解了数据稀缺问题。其次,提出了基于三次Bézier曲线的鱼体几何建模方法,仅用四个控制点即可灵活拟合多种鱼体弯曲形态,大大降低了标注成本和模型复杂度。第三,设计了Bézierfusion检测网络,将Bézier曲线控制点预测嵌入YOLOv8的回归头,实现了检测与曲线拟合的联合优化。第四,创新性地提出了高效自适应多尺度感受野(EAMRF, Efficient Adaptive Multi-scale Receptive Field)模块,通过通道分组和方向感知池化等技术,增强了模型在弱纹理等复杂水下环境下的特征判别能力。第五,设计了一种结合采样损失和端点损失的复合损失函数,有效平衡了曲线全局形状拟合与关键点定位精度。最后,利用立体视觉技术获取深度信息,将二维Bézier曲线映射到三维空间,并通过曲线弧长积分计算鱼体真实长度,实现了高精度的三维测量。
1. Bézier曲线与鱼体建模
研究采用计算效率高的三次Bézier曲线对弯曲的鱼体进行建模。该方法仅需四个控制点(包括头尾两个端点)即可灵活地拟合各种鱼体弯曲形态,在保证表达力的同时保持了较低的计算复杂度,非常适合在端到端网络中进行统一和优化建模。
2. 弯曲鱼体检测网络
为了应对水下复杂环境,研究提出了一个联合框架,将Bézier曲线建模嵌入YOLOv8检测器中。该框架扩展了YOLOv8的回归分支,使其能够同时预测目标边界框和Bézier曲线的八个控制点坐标(每个点包含x, y坐标),实现了鱼体检测和曲线拟合的单阶段、端到端学习。网络主干采用权重共享机制,并引入了EAMRF模块来增强特征表示,特别是在弱纹理和复杂空间结构下的性能。
3. EAMRF模块
EAMRF模块是针对水下图像特征提取困难而设计的。它建立在高效多尺度注意力(EMA)机制之上,通过双分支结构(直连分支和递归Bottleneck分支)来聚合多尺度特征。该模块能够捕获长程空间依赖关系,并分层建模不同感受野尺度下的特征关系,从而提升模型对复杂鱼体结构和关键区域的感知能力,且计算开销较低。
4. 三维长度测量 via 曲线积分
研究摒弃了传统的基于二维投影或简单几何近似的测量方法,提出了一种基于三维曲线弧长积分的精确测量方案。首先,通过立体匹配和三角测量从双目图像中获取深度信息。然后,将网络预测的二维Bézier曲线控制点与对应的三维坐标结合,在三维空间中重构出鱼体的参数化Bézier曲线。最后,通过数值积分计算该三维曲线的弧长,作为鱼体的真实体长。这种方法能够自然地考虑鱼体的面内弯曲和面外深度变化,不受鱼体姿态或摄像机视角的影响。
研究结果充分验证了所提方法的有效性。在检测性能上,Bézierfusion在Dataset 1和Dataset 2上分别达到了95.1%和98.4%的mAP50,在弯曲鱼体检测任务上的mAP50分别达到92.3%和94.1%,显著优于对比的两阶段方法(如Faster R-CNN+RTMpose和RTMdet+RTMpose)。在测量精度上,其平均绝对相对误差(MARE)在两个数据集上分别低至0.154和0.168,且误差分布集中,无系统性偏差。在效率方面,Bézierfusion的推理速度比两阶段方法快约三倍,展现出优异的实时性。消融实验进一步证实了EAMRF模块、采样损失和端点损失等核心组件对于提升模型性能的必要性。
尽管Bézierfusion框架表现出强大的鲁棒性,研究也对其在极端条件下的局限性进行了分析。主要的误差来源包括深度图质量退化(如深度跳变、边缘模糊,占45.3%)、鱼体姿态极端弯曲(超出四控制点Bézier曲线的表达能力,占28.7%)以及环境因素(如反光、遮挡,占18.2%)等。研究指出,这些误差可以通过多帧融合等策略进行有效缓解。
综上所述,本研究提出的Bézierfusion范式成功地将视觉感知与参数化几何建模融为一体,为解决复杂水下环境中的鱼类精准测量问题提供了一种高效、准确的端到端解决方案。其意义不仅在于实现了鱼类体长的自动化测量,更在于开创了一种适用于非刚性物体测量的“结构化检测”新范式。该方法为智能水产养殖中的生长监测、表型分析等应用提供了坚实的技术基础,并有望推广至其他具有规则几何形态的生物或物体的测量与识别任务中。未来,随着数据集的进一步扩充和模型灵活性的提升(如探索自适应曲线阶数),这一框架将在海洋生态监测、水下机器人感知等更广泛的领域发挥重要作用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号