基于贝叶斯多模态融合的自主水下航行器海底生境测绘

《Engineering Applications of Artificial Intelligence》：Bayesian multimodal fusion for seafloor habitat mapping with autonomous underwater vehicles

　　

自主水下航行器（Autonomous Underwater Vehicles, AUVs) 采集丰富的多模态遥感数据，但由于噪声和生境变异性，异构传感器数据流的稳健融合与分类仍具挑战性。研究人员提出了一种贝叶斯多模态神经网络(Bayesian multimodal neural network)，用于融合光学影像、测深数据及侧扫声呐数据，通过量化认知不确定性(epistemic uncertainty)与偶然不确定性(aleatoric uncertainty)以提升复杂水下环境中分类的可靠性。该模型利用不确定性估计识别模糊预测并标识采样不足区域，从而实现可靠的测绘与模型置信度评估。研究人员在大规模AUV调查数据上对该模型进行评估，达到了85.5%的分类准确率，超越单模态基线约7%。研究提供了初步的复杂度分析以评估机载可行性，支持不确定性感知生境分类的快速机载处理。研究人员通过改变蒙特卡洛(Monte Carlo)运行次数以探索计算成本与不确定性估计之间的平衡，并进一步分析侧扫声呐与测深影像中的空间上下文对测绘精度的影响，表明30米斑块大小(patch size)在生境连续性与边界刻画间提供最佳平衡。该工作展示了一种可扩展的不确定性感知多模态融合框架，增强了水下分类与测绘的可靠性和可解释性。研究人员通过开源软件库(PyPI: multimodal-auv)发布了完整的代码库和训练模型。

## 研究背景与问题

海底生境测绘为海洋科学研究和生态保护提供关键数据支撑，广泛应用于海洋规划、海洋保护区设计、底栖生态系统与地质环境理解，以及经济资源的勘探监测与退役结构管理。自主水下航行器(Autonomous Underwater Vehicles, AUVs)作为自主遥感平台，能够在无需直接人工监管的情况下对危险或偏远环境进行高分辨率底栖生境测绘，其碳足迹低且可独立于研究船只运行，符合气候目标导向的可持续长期海洋调查需求。与传统船载采样或卫星影像相比，AUV调查可实现更高分辨率的底栖生境表征。

然而，水下感知仍面临传感器噪声、生境变异性和多模态传感产生的大数据量等挑战。当前AUV处理流程通常依赖离线分析，限制了任务期间实时自适应采样的潜力。AUV生成的多源互补遥感数据集包括高分辨率光学影像、测深测量、声学反向散射及温度、盐度、溶解氧等环境参数。以四小时覆盖20公里、采集超过40,000张照片的调查为例，如此庞大的数据量使传统人工解释方法难以为继——专家简单标注每张图像约需一分钟。机器学习技术为此提供了可扩展的快速生境分类途径，而多模态数据融合则能进一步提升分类模型的鲁棒性和准确性。

现有AUV处理系统在传感器数据融合方面存在明显不足，多数方法局限于单一模态且很少纳入不确定性量化，降低了其在自主、可现场部署AUV系统中的适用性。稳健的可靠性量化对确保可靠的生境测绘和环境评估的可信度至关重要。贝叶斯神经网络(Bayesian Neural Networks, BNNs)为生成预测和校准的不确定性度量提供了原则性框架，从而增强自动化分类的可信度和适用性。因此，开发一种适用于机载部署的多模态贝叶斯框架，同时评估其计算可行性以确保实时生境测绘和不确定性估计的实现，成为本研究的核心动机。

## 主要技术与方法

研究人员构建了监督式多模态贝叶斯神经网络分类框架，融合光学影像、测深数据和侧扫声呐三种模态，采用联合融合(joint fusion)策略：各模态经独立特征提取后融合再进行分类。具体技术方法包括：(1)基于ResNet-50架构的贝叶斯卷积特征提取器，利用预训练ImageNet权重初始化(MOPED方法)；(2)变分推断(Variational Inference, VI)近似贝叶斯后验，采用Bayes by Backprop算法；(3)自注意力机制(self-attention mechanism)动态调节各模态特征权重；(4)三层贝叶斯多层感知机(Bayesian MLP)分类头；(5)蒙特卡洛采样进行不确定性量化和预测推断；(6)模型在NVIDIA Jetson TX2嵌入式GPU上的工程可行性评估。

样本队列来源于北爱尔兰两个峡湾型海湖——Mulroy湾(11,043张图像)和Strangford潟湖(31,224张图像)，使用GAVIA AUV搭载的Grasshopper GRAS-14S5M-C相机(分辨率1280×960像素，帧率1.875 fps)和GeoSwath Plus多波束回声测深仪(250 kHz，波束宽度0.75°)采集。手动标注3,595张图像，分为岩石(Rock)、砾石(Gravel)、沙(Sand)、泥(Mud)、穴居泥(Burrowed Mud)、海藻(Kelp)和 Horse Mussels 七类生境。数据集按调查断面分割，训练集与测试集间强制保持30米空间隔离带，采用贪婪多标签分层算法(Greedy Multi-label Stratification)分配样本。

## 研究结果

**多模态融合提升分类性能并支持自主性**：多模态网络达到85.5%的分类准确率和0.775的宏平均F1分数(Macro F1)，显著优于所有单模态模型。测深模型准确率63.5%、影像模型78.9%、侧扫声呐模型73.7%。单模态模型中，影像模型对沙(0.98)、穴居泥(0.90)和岩石(0.86) Apple/high accuracy；测深模型对沙(0.97)和穴居泥(0.89)表现强劲但完全无法识别泥(0.00)；侧扫声呐模型对岩石(0.91)、穴居泥(0.83)和沙(0.96)表现良好。多模态融合使泥分类提升37%、海藻提升12%，但Horse Mussels与砾石间仍存在混淆(误分类率分别为0.15和0.26)。

**不确定性量化指导决策与自主性**：多模态模型表现出最低的平均认知不确定性(0.0113)和偶然不确定性(0.1018)。AUROC错误检测指标显示高不确定性时约77%概率对应误分类，表明不确定性是可靠的误分类代理。类级分析揭示Horse Mussels和沙具有高认知不确定性，反映这些类别样本稀疏；Horse Mussels、沙和岩石的高偶然不确定性则源于环境异质性、类别重叠或标注模糊性。空间不确定性分布图可识别低置信度区域，指导自适应采样策略。

**工程指标与机载可行性**：模型内存占用1,399.38 MB，单次前向传播延迟约75 ms(对应吞吐量约13样本/秒)。蒙特卡洛采样深度N=5,10,20的对比表明，N=10在不确定性可靠性(ECE 0.0261)与计算成本间取得最佳平衡，N=20虽ECE略低(0.0270)但计算成本和能耗翻倍。N=10时系统吞吐量1.28 Hz，峰值GPU温度从64°C升至67°C，热增量有限，暗示密封AUV舱体内不太可能触发显著热节流。

**消融研究：侧扫声呐斑块大小的影响**：多模态模型在所有测深与侧扫声呐斑块大小组合中评估。单模态测深模型准确率随斑块增大而提升，在30米达峰值后于50米略降。单模态侧扫声呐模型准确率随斑块增大持续提升，50米达71%。多模态模型准确率在30米测深与10米或30米侧扫声呐组合时达峰值81.35%。2米和5米等较小斑块在所有模态上均导致准确率降低，而50米斑块显示有限的空间平滑效应。30米斑块在生境空间连续性与空间边界刻画之间达到最佳平衡。

**消融研究：基线结果比较**：与确定性基线(准确率79.9%，Macro F1 0.675)、蒙特卡洛丢弃法(MC dropout，75.91%，0.619)和深度集成(Deep ensemble，84.4%，0.704)相比，所提BNN(N=20)在预测性能(Macro F1 0.775，提升10%)和不确定性校准(ECE 0.0270)方面均最优。尽管BNN总浮点运算量(FLOPs)因N=20采样而较高，但随样本数线性缩放；若采用N=10则与MC dropout计算量相当。BNN静态模型大小(1399.3 MB)与5成员集成相当。

**消融研究：注意力加权与ImageNet初始化**：加性注意力模块较标准线性融合基线提升聚合准确率2.7%，宏平均F1增益0.093，认知不确定性更低(0.004)，表明注意力机制成功下调混淆信息使预测更知情且确定。注意力权重分析揭示侧扫声呐保持极高聚焦度(≈0.99)和近零熵值，提供最一致聚焦的诊断信号；影像和测深数据则更具专业化或情境依赖性。ImageNet预训练权重较随机初始化提升准确率1.3%、Macro F1 0.024，表明陆域低级特征表示可有效迁移至声呐和水下光学子领域。

## 讨论与结论

**多模态融合改善分类性能并支持自主性**：多模态融合较最佳单模态模型提升分类准确率约7%，其中泥分类提升37%、海藻提升12%。各模态贡献互补信息：测深捕捉海底形态与深度，影像提供纹理与颜色，声呐传达基质粗糙度与反射率。然而，Horse Mussels与砾石间的持续混淆源于活Horse Mussels与其 frequently 栖息的砾石床难以区分，且死亡贝壳碎片声学上与活礁难以区分。未来可采用层级标注策略，先预测基底类型再叠加生物概率，以更好区分生物特征与物理环境。

**不确定性量化对决策和自主性的启示**：多模态模型不仅准确率最高，且认知不确定性和偶然不确定性均最低。类级不确定性分析可指导数据获取策略和针对性验证。空间不确定性离散化能标识低置信度区域，支持置信度感知测绘和未来调查的区域识别需求。模型不确定性校准指标(NLL、ECE、AUROC)均优于或可比于标准基线模型。

**工程可行性**：模型内存占用约1.4 GB，适合嵌入式GPU；单次前向传播平均延迟约75 ms，对应吞吐量约13样本/秒。考虑机载声纳处理下限2秒，端到端延迟约2.7秒，在1.0 m/s surge速度下预测对应距车辆当前位置约2.7米的海底位置，证明实时处理可行。MC=10在不确定性可靠性与计算成本间提供合理平衡，能耗、计算量和延迟约为MC=20的一半，同时保持相似的NLL和认知不确定性。

**架构性能驱动因素**：BNN较确定性基线和MC-Dropout基线的优越性(Macro F1提升10%)表明贝叶斯参数估计提供了针对水下数据固有随机噪声的正则化。虽然深度集成在AUROC错误检测方面略优，但BNN实现了更优的不确定性校准和最高预测性能。加性注意力机制同时提升Macro F1(0.093)并降低认知不确定性，表明注意力作为动态滤波器优先处理显著多模态特征的能力。

**空间上下文：斑块大小的作用**：较大斑块持续提升分类准确率，但增益在30米斑块时达平台期；较小斑块因噪声过多或空间信息不足而表现较差；较大斑块则过度平滑或融合不同生境边界。多模态模型对斑块大小变化鲁棒性更强，最优性能在10-30米之间，为空间聚合尺度选择提供指导。

**局限性与未来工作**：当前局限包括各模态分辨率相对较低、信噪比低、视觉模糊生境引入标注噪声；固定斑块大小可能限制模型捕捉生境特异空间模式的能力。未来工作将引入层级标注减少细粒度分类错误影响；探索自适应斑块尺寸实现实时情境感知AUV感知；将框架扩展至遥控潜水器(ROV)视频、环境DNA(eDNA)样本或时空相邻声呐-影像对等额外地理配准模态。

## 研究结论

在本研究中，研究人员针对大规模水下遥感数据的稳健多模态分类挑战，整合贝叶斯不确定性量化以增强生境测绘的可靠性和可解释性。研究提出了一种监督式多模态贝叶斯神经网络，融合影像、测深和侧扫声呐数据并进行认知不确定性和偶然不确定性量化，达到85.5%的分类准确率，超越单模态基线。该系统生成详细准确的生境地图，证明了该框架在环境测绘、空间分析和分类置信度评估方面的适用性。

除分类性能外，该工作展示了不确定性感知多模态融合如何增强水下测绘的可靠性和可解释性。通过利用预测及其关联不确定性，该框架支持置信度感知测绘、低置信度区域识别和针对性重采样，支持实时不确定性感知分类和测绘应用。工程评估表明模型在嵌入式GPU(如NVIDIA Jetson TX2)上的实时部署计算可行，具有适度的内存占用(约1.4 GB)和足够快速的推断以成为实时AUV处理流程的一部分。选择适中样本数(10)可在最小延迟影响的情况下纳入基于蒙特卡洛的不确定性估计，实现实时应用中的高效不确定性感知测绘。

实验突显了该方法相较于其他常见网络设计(确定性、蒙特卡洛丢弃和集成方法)的优势，同时表明注意力加权方案显著提升了模型性能，还展示了空间上下文的关键作用，其中间斑块大小(30米)在捕获空间模式同时保留生境边界方面表现最优。这些发现为高效多模态测绘和空间聚合策略的设计考量提供了依据，平衡信息捕获与计算约束。为支撑透明度和进一步开发，研究人员发布了multimodal-AUV Python库，可通过PyPI(pip install multimodal-AUV)获取，完整源代码参见https://github.com/sams-tom/Multimodal-AUV，所有训练模型参见https://huggingface.co/sams-t锐减tom/multimodal-auv-bathy-bnn-classifier。

总体而言，该工作结合多模态机器学习、不确定性量化和计算可行性，为复杂海洋环境中的多模态融合和实时不确定性感知测绘提供了可扩展框架。多模态BNN的可行性和实时能力表明其可应用于操作测绘场景，为未来水下遥感应用提供坚实基础。