《Journal of Marine Science and Engineering》：Evaluating Dataset-Aware Masked Supervision for Joint Segmentation of Heterogeneous Side-Scan Sonar Datasets
编辑推荐：
异质侧扫声纳（side-scan sonar, SSS）数据集的联合分割需要学习不同的声学分布和标注范围（annotation scope）。数据集感知掩蔽交叉熵（dataset-aware masked cross-entropy, DMCE）会衰减每个数据
异质侧扫声纳（side-scan sonar, SSS）数据集的联合分割需要学习不同的声学分布和标注范围（annotation scope）。数据集感知掩蔽交叉熵（dataset-aware masked cross-entropy, DMCE）会衰减每个数据集标注范围之外的类别，这可能减少错误的负监督，同时削弱跨类别竞争。本研究使用AI4Shipwrecks、MCM和SubPipe在共享的四类空间中评估这一权衡。实验在多种输入表示和采样策略下比较了未掩蔽交叉熵、软衰减和硬排除。采用五通道SegFormer-B2时，软DMCE的平均交并比（mean Intersection over Union, mIoU）为0.4908，在全部五个匹配种子中均低于未掩蔽交叉熵的0.5234；它们的前景宏IoU（foreground macro-IoU）分别为0.0409 ± 0.0360和0.0694 ± 0.0413。对每个种子内的两次重复运行取平均后，硬掩蔽在五个种子级汇总中实现了描述性宏mIoU（macro mIoU）0.1544 ± 0.0670和前景宏IoU 0.0144 ± 0.0153。在PhysD输入下，均值排序反转：软DMCE达到0.5204，而交叉熵为0.4952。数据集平衡采样将交叉熵性能提高到宏mIoU 0.5505和前景宏IoU 0.1138 ± 0.0144。然而，尽管SubPipe的mIoU接近0.5，管道IoU仍接近于零；并且当某个类别的唯一正监督被排除时，留出前景IoU为零。总体而言，衰减的效果随训练配置而变化。这些结果表明，在评估联合分割性能时，应结合前景特定指标来解读包含背景的宏mIoU。
侧扫声纳（SSS）广泛用于海底观测和水下目标检查，尤其在光学成像受浑浊度、光照或作业距离限制时。由于目标外观随掠射角、观测几何、声学阴影、距离相关强度、海底纹理和采集硬件变化，自动解译仍具挑战。现有公开数据集分别面向沉船、类水雷接触和管道检测，其标注范围不同：某数据集的背景标签仅表示不属于该数据集协议中的类别，并不证明其他前景类别不存在。若将此类数据集联合训练，常规多类交叉熵会在背景像素上抑制所有前景类别，可能对未标注对象施加错误负监督，但若未标注对象罕见，这种负监督也可能有效。因此，本研究旨在实证评估数据集感知掩蔽监督的效果，而不是假设减少负监督必然提升性能。
研究人员将AI4Shipwrecks、MCM和SubPipe映射到共享四类空间（背景、沉船、管道、类水雷接触），以五通道SegFormer-B2为主配置，比较未掩蔽交叉熵、软数据集感知掩蔽交叉熵（DMCE）和硬排除，并进一步研究输入表示、源采样策略、类别权重、留一数据集和多种架构的影响。结果显示，软DMCE在主配置下未改善宏平均交并比，而数据集平衡采样带来更一致的提升；硬排除在全标签空间推理下表现很差；衰减效果随输入表示和训练配置变化。意义在于说明联合分割异质SSS数据集时，标注范围差异是独立的监督问题，且背景包含型宏mIoU需与前景特定指标一同解读。
关键技术方法：使用三个公开数据集（AI4Shipwrecks按沉船位分组、MCM按采集年份分组、SubPipe按survey块分组）并映射至共享四类空间；输入表示包括Raw、Basic、PhysD（数据集特定声学预处理）和由结构增强声纳预处理模块（SSPM）生成的五通道描述符；主架构为SegFormer-B2，另比较FCN、U-Net、PSPNet、DeepLabV3+；训练目标包括未掩蔽加权交叉熵、软DMCE（对数几率偏移α=0.1等）和硬排除（有限偏移近似）；采样策略包括普通池化频率采样与数据集平衡采样；评估采用宏mIoU、前景宏IoU及留一数据集协议，并使用AdamW优化和五种子重复。
5.1 联合训练与数据集感知掩蔽：在五通道SegFormer-B2、普通采样和固定类权重下，未掩蔽交叉熵的宏mIoU为0.5234，软DMCE（α=0.1）为0.4908，五个匹配种子中宏mIoU差异均为负；硬排除经种子内重复平均后仅为0.1544 ± 0.0670，大幅低于软衰减和未掩蔽。这表明软衰减削弱了有效的负监督，硬排除则与推理时全标签空间竞争不匹配。
5.2 前景特定性能：在默认前景权重3.0下，未掩蔽联合训练在沉船、管道和类水雷接触上的IoU均高于软DMCE；硬掩蔽的前景宏IoU最低（0.0144）。管道IoU即使在单数据集训练下也接近零，因此SubPipe二元mIoU接近0.5主要反映背景重叠。前景类权重敏感性分析中，未掩蔽CE在权重1.0、3.0和6.0下宏mIoU均高于软DMCE，但前景宏IoU在权重6.0时软DMCE更高。
5.3 输入表示：在未掩蔽联合交叉熵下，Raw输入宏mIoU最高（0.5331），Basic为0.5242，五通道为0.5234，PhysD为0.4952。在PhysD输入下，软DMCE宏mIoU为0.5204，高于交叉熵的0.4952，与五通道下的排序相反，说明衰减效果对输入表示敏感。
5.4 训练目标与数据集采样：数据集平衡采样将未掩蔽CE的宏mIoU从0.5234提高到0.5505，前景宏IoU从0.0694提高到0.1138，五个种子配对差异均为正；软DMCE下提升较小且不稳定，种子级交互效应符号不一，表明采样与目标之间无强交互。
5.5 缺失前景监督下的留出评估：排除一个数据集时，其目标类别没有任何正样本。所有留出条件下前景IoU均为零，报告的mIoU约等于背景IoU的一半。软DMCE仅衰减负监督，无法提供被排除类别所需的正面语义证据。
5.6 架构与计算概况：在软DMCE协议下，FCN取得最高宏mIoU（0.5576）和前景宏IoU（0.1221），PSPNet延迟最低（235.8 ms）。SegFormer-B2上软DMCE相对CE降低了宏mIoU和前景宏IoU，但不改变推理成本。预处理时间按数据集分别为155.5 ms（AI4）、104.4 ms（SubPipe）、19.5 ms（MCM）。
讨论指出：掩蔽效果取决于未支持对象在背景标注区域的真实频率（未知）；硬排除的差性能来自训练时排除类别与推理时全类别竞争的失配；输入表示和类别权重会影响目标排序；源曝光不均是重要因素；仅报告宏mIoU会掩盖前景类别识别失败。局限性包括：每个数据集仅标注一个前景类别，类别身份与声学域耦合；未支持对象出现频率未测量；SubPipe的几何预处理未对应转换标注，可能造成图像-标签错位；且研究并非全因子设计。结论翻译如下：本研究评估了不同标注范围下异质SSS数据集的联合语义分割中数据集感知掩蔽监督的效果。在主要五通道SegFormer-B2配置中，未掩蔽交叉熵的宏mIoU为0.5234，软DMCE为0.4908，配对差异在全部五个种子中均为负；前景宏IoU分别为0.0694 ± 0.0413和0.0409 ± 0.0360。对种子内两次重复取平均后，硬掩蔽的宏mIoU为0.1544 ± 0.0670，前景宏IoU为0.0144 ± 0.0153，大幅低于软衰减和未掩蔽交叉熵。在PhysD输入下，软DMCE的报告宏mIoU均值高于交叉熵，表明衰减效果可能依赖输入表示。数据集平衡采样将交叉熵宏mIoU提高到0.5505，前景宏IoU提高到0.1138 ± 0.0144。前景特定指标显示，尽管SubPipe的mIoU接近0.5，管道分割仍接近零；当被排除源提供其类别唯一正监督时，所有留出实验前景IoU均为零。在软DMCE下，数据集平衡采样产生的前景宏IoU为0.0670 ± 0.0395，普通采样为0.0409 ± 0.0360。这些结果说明背景包含型宏mIoU应与前景特定性能一起解读。总体而言，数据集感知衰减在异质SSS数据集上显示出配置相关效果；完全排除未支持类别与全标签空间推理协议不匹配。未来研究应使用跨域共享前景类别的数据集，测量标注冲突频率，评估匹配的目标-表示组合，并在聚合mIoU之外报告前景特定指标。
