《Applied Ocean Research》:Multi-model Switching sequential image stitching for ROV-based visual mapping of offshore aquaculture netting
编辑推荐:
针对离岸水产养殖网箱的遥控潜器(ROV)视觉测绘问题,研究人员提出了一种多模型切换的序列图像拼接框架。该框架利用运动先验(motion priors)在重复性强、弱纹理的网衣图像中减少误匹配。通过构建切换因子图(switching factor graph),
针对离岸水产养殖网箱的遥控潜器(ROV)视觉测绘问题,研究人员提出了一种多模型切换的序列图像拼接框架。该框架利用运动先验(motion priors)在重复性强、弱纹理的网衣图像中减少误匹配。通过构建切换因子图(switching factor graph),融合光流(optical flow)、ORB(Oriented FAST and Rotated BRIEF)特征以及航位推算(odometry)约束,实现鲁棒的图像配准。当跟踪质量不足时,基于评分触发的协方差膨胀(covariance inflation)机制可降低不可靠光流约束的权重,从而提升拼接的连续性与对齐精度。该框架在模拟环境、陆上受控实验及海上试验数据集中均得到了验证,结果表明其能有效减少重复纹理下的局部错位和残影,并在运行效率上优于现有对比方法。
一、研究背景与问题
随着海洋调查、环境保护和水产养殖管理的需求增长,可靠的水下观测技术日益重要。在离岸和深海养殖规模扩大的背景下,大型养殖网箱的定期检测成为保障结构安全的关键环节。养殖网衣长期承受水流、生物附着和材料老化,易产生局部损伤乃至结构失效。遥控潜器(ROV)搭载视觉传感器可降低潜水员检测的风险和成本,但单帧水下图像视野有限,且受光照变化、悬浮颗粒、生物遮挡及ROV运动扰动的影响,难以满足完整网衣检查的需求。因此,构建连续视觉记录以支持ROV辅助网衣检测具有重要意义。
序列图像拼接通过将重叠帧融合为全景视觉记录,可扩展ROV影像的视野。然而,网衣纹理重复、特征弱,传统视觉特征匹配方法易产生大量误匹配。同时,ROV运动不稳定、网衣形变和遮挡会进一步降低光流跟踪的质量,使匹配点集中或丢失。现有的拼接方法如AutoStitch和SPW主要面向自然场景,对连续网衣序列的适用性未经充分验证。此外,里程计虽能提供运动约束,但其不确定性及局部平面假设的偏差限制了其在配准中的可信度。固定权重无法动态反映各约束的可靠性变化,可能导致低质量测量过度影响配准结果。因此,需要一种能够评估当前匹配状态并自适应选择和加权额外约束的序列拼接方法。
二、研究目标与框架
研究人员提出了一种多模型切换的序列图像拼接框架。该框架以网衣局部平面模型为几何基础,使用运动先验过滤不一致的对应点,然后通过切换机制评估跟踪质量和对应点的空间分布。在正常条件下,注册主要依赖基于光流的最小化优化;当全局密度评分和跟踪质量评分均低于各自阈值时,框架引入ORB特征和里程计约束,并将保留的光流约束的协方差按阈值归一化分数的乘积进行膨胀,膨胀因子上限为四。这一评分触发的加权策略降低了对不可靠光流对应的依赖。
三、关键技术方法
研究中采用了以下几项主要技术方法:基于网衣纹理和已知网目尺寸的平面距离估计与卡尔曼滤波平滑,用于恢复轨迹的度量尺度并初始化网衣平面;直接稀疏里程计(DSO)提供相机位姿作为外部输入;运动先验阈值过滤结合RANSAC估计帧间单应矩阵;以及构建因子图,将光流、ORB和里程计导出的单应约束通过最大后验(MAP)估计进行融合。实验数据集包括Unity构建的模拟环境、陆上线性滑台受控采集平台,以及在中国三亚小东海湾进行的ROV海试采集序列。
四、主要结果与讨论
1. 图像配准评估
在海试序列中,研究人员统计了500帧连续图像的光流跟踪位移分布,选取最大平均位移帧对确定运动先验阈值δm+3σ为55.667 px/frame。对四条海试序列,将运动先验过滤与RANSAC结合的处理方式与仅使用RANSAC进行了对比。结果显示,过滤后保留的对应点位移方差更小、分布更集中,为单应估计提供了更稳定的输入。对于所测试的网衣序列,光流比ORB特征保留了更大比例的初始对应点,表明光流能提供更稳定的对应集。
2. 单应不确定性与评分触发加权
受控陆上实验对比了无扰动和扰动两种条件下的光流与ORB配准。加入快速运动和局部遮挡后,单应协方差矩阵元素显著增大,如Σ33对光流从13.089升至38.341,对ORB从11.905升至38.285,说明视觉扰动提高了单应估计的不确定性。同时,扰动条件下光流的全局密度评分S_d出现更大波动和更多离群值,表明特征点可能集中在小区域,结合跟踪质量评分S_q降低,说明此时光流约束不可靠。据此选择S_dh=0.9、S_qh=70作为切换阈值。
3. 与参考方法的对比与消融
在模拟环境和海试序列上,研究人员将所提框架与AutoStitch和SPW进行了对比。模拟实验涵盖纯平移、平移加旋转、纯平移遮挡、旋转加遮挡四种工况。在旋转和遮挡工况下,AutoStitch和SPW输出存在局部几何畸变、残影或错位,而所提方法在这些区域减少了可见伪影。海试对比中,所提方法在重复网衣纹理上表现出更好的视觉连续性和更小的局部错位。消融实验对比了光流仅拼接、AutoStitch和融合框架。光流仅结果在长序列中出现累积畸变,AutoStitch产生残影,融合框架则减轻了这些现象,表明引入ORB和里程计约束能在不利条件下补充光流。
4. 计算效率
在五条50帧海试窗口上,所提方法运行时间为12.3~12.7 s,AutoStitch为37.5~45.4 s,SPW为304.7~397.5 s。相较于AutoStitch,运行时间降低67.2%~72.8%,相较于SPW降低96.0%~96.9%。
五、讨论与结论
研究数据表明,将里程计和ORB特征约束引入因子图能有效缓解仅用光流时出现的累积畸变和局部错位,而评分触发的协方差膨胀机制有助于动态调整不可靠约束的权重。结论部分翻译如下:
本研究提出了一种面向离岸养殖网箱ROV视觉测绘的多模型切换序列图像拼接框架。该框架利用运动先验过滤来筛选不一致的对应点,并在因子图中结合光流、ORB和里程计约束。受控陆上实验表明,扰动条件下视觉单应估计的变异性增加,这促使研究人员采用依赖可靠性的加权策略。框架通过联合评分阈值触发光流协方差膨胀并引入额外约束。模拟和海试结果表明,在所评估的运动扰动和遮挡条件下,该方法减少了可见的残影和局部错位,并提升了拼接连续性。定性消融比较进一步表明,加入ORB和里程计约束可缓解光流仅拼接时出现的累积畸变和局部错位。对于五条50帧海试窗口,所提方法相较于AutoStitch将运行时间降低了67.2%~72.8%,相较于SPW降低了96.0%~96.9%,在测试实现和输入序列上表现出更高的计算效率。未来工作将整合回环检测,研究光照鲁棒的融合方法,并在更长的ROV任务和更具挑战性的水下条件下验证该框架。