DSDNet:一种基于深浅特征专化的轻量级分治网络,用于深海多金属结核视频分割

《Ocean Engineering》:DSDNet: A lightweight Divide-and-Conquer Network via deep-shallow feature specialization for deep-sea polymetallic nodule video segmentation

【字体: 大 中 小 】 时间:2026年09月22日 来源:Ocean Engineering 6.3

编辑推荐:

   •提出了一种轻量级 DSDNet,用于深海多金属结核视频分割。•GTDMM 将分组交替提取与时间希尔伯特 Mamba 相结合。•CPMM 以粗到细的方式利用核心-边缘先验进行结核判别。•DSDNet 在蛟龙号视频上展示了精度与效率之间的良好平衡。引言深海多金属结核是富含锰、镍

  
  • •
    提出了一种轻量级 DSDNet,用于深海多金属结核视频分割。
  • •
    GTDMM 将分组交替提取与时间希尔伯特 Mamba 相结合。
  • •
    CPMM 以粗到细的方式利用核心-边缘先验进行结核判别。
  • •
    DSDNet 在蛟龙号视频上展示了精度与效率之间的良好平衡。

引言

深海多金属结核是富含锰、镍、钴、铜等金属元素的重要战略矿产资源(Du 等,2024;Sharma,2024)。随着载人/无人潜水器和水下成像系统的发展,连续的海床视频已成为观测结核富集海床区域的重要数据源(Elmezain 等,2025;Atmanand 等,2024)。在基于视频的水下感知中,精确的分割提供了连续帧间的像素级结核轮廓,支持结核覆盖率估计、场景变化跟踪以及水下机器人自主决策等下游任务(Liu 等,2025;Hao 等,2025;Gazis 等,2024)。因此,开发适用于深海场景的精确高效视频分割方法已成为结核资源评估和智能海床感知的基本前提。
近年来,基于深度学习的方法在深海多金属结核分割中展现了巨大潜力。现有研究通过多尺度空间表示、边界细化、环境鲁棒性和轻量化网络设计提升了分割性能(Song 等,2019;Shao 等,2023;Zhao 等,2026)。然而,大多数现有方法是针对单帧图像开发的,并独立处理连续的视频帧。因此,精确高效的深金属结核视频分割仍然具有挑战性,主要体现在两个方面:结核之间的密集共现以及跨连续帧的时间信息利用不足。
一方面,结核之间的密集共现可能会削弱固有结核特征的表示。在深海多金属结核视频中,大量视觉上相似的结核密集分布在同一视场内,通常伴随接触和遮挡,形成密集的结核间共现模式(Zhu 等,2026;Q. Yang 等,2026)。在这种情况下,这些模式很容易使分割模型倾向于学习集体共现线索,而未能充分捕捉结核的固有特征。之前关于医学图像分割的研究也报告了共现效应可能会使模型依赖共现特征而非目标特定特征,从而影响分割决策(Chen 等,2022;Lei 等,2025)。尽管现有结核分割方法通过多尺度空间表示和边界细化改进了局部描绘,但它们并未明确考虑密集共现引起的表示干扰,可能限制了结核区域的精确描绘。
另一方面,连续帧之间的时间连续性为提高分割鲁棒性和计算效率提供了机会。深海视频中的相邻帧通常包含相似的海床场景和结核分布,而深层特征通常比浅层特征在时间上更稳定(Shelhamer 等,2016;Zhu 等,2017;Li 等,2018;An 等,2023)。然而,现有的多金属结核分割方法仍然独立处理视频帧,引入了冗余计算。同时,动态水下环境变化会引入帧间不一致,使得时空依赖建模对于提高分割鲁棒性成为必要。
为了解决上述挑战,我们提出了一种轻量级深海多金属结核视频分割框架,称为深-浅分治网络(DSDNet)。DSDNet 遵循分治策略,根据深层和浅层特征的时间与结构特性为其分配专门的职责。对于深层特征,我们开发了分组时间依赖建模模块(GTDMM),以减少冗余计算并增强时间表示。具体而言,GTDMM 用四个参数独立的分组语义头(GSH)替代了完整的深层特征提取,并引入了一种可重组的分组表示学习策略,鼓励它们学习紧凑且有差异的分组表示。在视频流推理过程中,四个 GSH 以时间交替循环的方式激活,每个时间步仅使用一个 GSH 来提取分组特征。为了进一步整合时间信息,我们设计了时间分组特征整合块(TGFIB),利用 Mamba 的序列建模能力重新组织从连续时间步提取的分组特征,从而为当前帧重建完整的高层表示。对于浅层特征,我们设计了核心-边缘先验引导调制模块(CPMM),以在密集共现下增强固有结核表示。具体而言,引入了核心先验生成块(CPGB)和边缘先验生成块(EPGB),从多级特征中生成核心和边缘先验。在这些先验的引导下,通道-空间分割调制块(CSMB)以从核心到边缘的方式依次调制解码器特征,实现结核判别的渐进式结构细化。通过这种方式,DSDNet 将深层时间依赖建模与浅层结构调制相结合,实现精确且轻量级多金属结核视频分割的高效高层表示和粗到细的结构细化。主要贡献如下。
  • (1)
    我们提出了一种轻量级深-浅分治网络(DSDNet),用于深海多金属结核视频分割,根据深层和浅层特征的时间与结构特性为其分配专门的职责。
  • (2)
    我们为深层特征开发了分组时间依赖建模模块(GTDMM)。GTDMM 用时间交替的分组提取替代了完整的深层特征提取,并整合了来自连续时间步的分组特征以重建完整的高层表示,从而减少了冗余计算并增强了时间表示。
  • (3)
    我们为浅层特征设计了核心-边缘先验引导调制模块(CPMM)。CPMM 从多级特征中生成核心和边缘先验,并使用它们以粗到细的方式渐进式调制解码器特征,实现密集共现下结核判别的渐进式结构细化。
本文其余部分结构如下。第 2 节回顾相关工作。第 3 节详细介绍所提出的 DSDNet。第 4 节报告实验设置和结果。第 5 节得出结论。

章节片段

多金属结核分割与结构引导

现有的多金属结核分割方法主要致力于改进空间表示和边界描绘。多尺度特征融合(Song 等,2019;Zhang 等,2026)、金字塔池化(Wang 等,2022)以及全局-局部特征学习(J. Li 等,2025;Ding 等,2025)已被探索用于处理结核大小和形态的变化。在边界细化方面,Guo 和 Li(2025)引入了可变形注意力来更好地捕捉不规则结核。

整体架构

图 1 展示了 DSDNet 的整体框架,其设计为两阶段架构。在第一阶段,DSDNet 在单帧图像上进行训练,以学习轻量级的分组特征提取器。具体而言,输入图像被送入基于 ResNet18 的编码器,其中 ResNet18 的最后一个残差阶段被四个参数独立的分组语义头(GSH)所替代。为了支持第二阶段中分组特征的时间循环组织,引入了一种可重组的分组。

数据集

本研究使用了两个数据集:在真实深海条件下收集的蛟龙号视频数据集和多区域结核序列数据集(MRNSD),后者由从不同勘测区域获取的公开高分辨率多金属结核图像构建。蛟龙号视频数据集用作主要实验数据集,以评估 DSDNet 在真实水下视频条件下的性能。引入 MRNSD 是为了进一步评估 DSDNet 在更多样化条件下的鲁棒性。

结论

在本文中,我们提出了一种名为 DSDNet 的轻量级框架,用于深海多金属结核视频分割,旨在增强密集共现下的固有结核特征表示,同时有效利用连续视频帧中的时间连续性。为此,DSDNet 采用深-浅分治策略,其中深层特征用于高效的时间依赖建模,浅层特征用于粗到细的结构。

CRediT 作者贡献声明

Zixiang Dai:撰写 – 原始草稿,软件,方法论。Xu Yang:撰写 – 审阅与编辑,项目管理,调查,资金获取。Yugang Ren:资金获取,数据整理。Limin Zhu:监督,调查。Lei Jia:验证,监督。

资金

本研究由泰山学者计划(资助编号 tsqn202507038 和 tsqn202408291)及国家自然科学基金(资助编号 52175018)资助。

利益冲突声明

作者声明,他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本文所报告的工作。
Zixiang Dai|Xu Yang|Yugang Ren|Limin Zhu|Lei Jia
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号