SEALOC：一个面向海底长期视觉定位的自主水下航行器（AUV）影像基准数据集

《Frontiers in Robotics and AI》：Long-term visual localization in dynamic benthic environments: the SEALOC dataset, footprint-based ground truth, and visual place recognition benchmark

　　

研究人员提出SEALOC，一个面向海底（Benthic）环境的新型基准数据集，用于评估长期视觉位置识别（Visual Place Recognition, VPR）与视觉定位。该数据集由自主水下航行器（Autonomous Underwater Vehicle, AUV）在五年间对五个海底参考点进行多次重访采集而成，包含精确配准的相机位姿、标定参数及色彩校正立体影像。针对近俯视（Near-Nadir）水下影像的特性，研究人员开发了一种基于图像足迹（Image Footprint）的地面真值（Ground Truth）构建方法：通过融合双目度量范围图与单目相对深度图获取三维足迹多边形，并依据足迹交并比（Intersection over Union, IoU）建立跨时段相机视图链接。利用该地面真值，研究人员在SEALOC上基准测试了八种前沿VPR模型。结果表明：视觉Transformer（Vision Transformer, ViT）基模型（AnyLoc, MegaLoc）优于卷积神经网络（Convolutional Neural Network, CNN）基模型；由于海底底质动态变化与地形起伏，数据集上的Recall@K显著低于陆地基准。研究人员进一步证实，相比传统的基于位置距离阈值的地面真值，基于足迹重叠的地面真值能更精确地反映VPR实际检索性能，尤其在崎岖地形中可避免性能高估。

论文主体解读

研究背景与意义

长期视觉位置识别（VPR）是自主水下航行器（AUV）在海底复杂环境中实现鲁棒定位与长期监测的核心技术。然而，现有VPR基准多集中于陆地场景，面向海底（Benthic）光子带（Photic Zone）栖息地的策展数据集与适配近俯视（Near-Nadir）几何的地面真值方法均存在空白。海底底质随季节与年份发生生物演替（如珊瑚生长、藻类覆被），且近俯视相机的有效视野严格受限于局部地形与载体高度，单纯依靠空间距离阈值定义“同一地点”易引入几何误匹配。为此，研究人员在《Frontiers in Robotics and AI》发表了SEALOC数据集及配套评估框架，旨在为海底长期视觉定位提供高精度、几何感知的基准平台，并系统揭示海底时空动态对VPR的影响机制。

主要关键技术方法

研究人员选取5个海底参考点，由AUV搭载标定立体 rig进行多年度重访（2010–2017）。关键技术链路包括：

1. 1.
   多时段几何配准：利用运动恢复结构（Structure-from-Motion, SfM）与多视点立体（Multi-View Stereo, MVS）构建点云，通过迭代最近点（Iterative Closest Point, ICP）变体将不同时段点云配准至子分米精度，形成局部NED（North-East-Down）坐标系。
2. 2.
   范围图融合（Range Map Fusion）：将双目派生度量范围图（HitNet）与单目相对深度（Depth Anything V2）通过Huber损失稳健回归（尺度a、偏移b）融合，生成稠密度量范围图。
3. 3.
   图像足迹（Image Footprint）估计：对图像四角像素，利用相机内参_K逆投影与范围值z_j得到相机坐标系下三维点，经_ck^lT变换至局部帧，形成四边形足迹多边形；再投影至WGS84帧并丢弃椭球高得二维多边形。
4. 4.
   足迹交并比（IoU）链接：定义数据库-查询视图对为地面真值当且仅当二维足迹IoU > τ_f（保守取0.07，对应配准误差容限0.16 m）。
5. 5.
   VPR评估协议：以时序早访为数据库、晚访为查询，采用L2近邻搜索（FAISS），以Recall@K与信息检索Recall（IR@K）为指标。

研究结果

2.5.2 范围图融合

研究人员通过_K^-1·?_j·z_j获相机坐标系射线方向并尺度化为三维点。为解决MVS在图像边界不完整、非SfM对齐视图无MVS的问题，融合立体度量与单目相对深度：z_i^fused= a·z_i^rel+b。结果：融合图较纯立体图边缘更锐利，减弱了左右重叠区有限的几何畸变（图4）。

2.5.3 图像足迹与重叠估计

利用四角范围中值（30×30邻域）逆投影得_ck^lP。通过Shapely计算空间交（∩_s）、并（∪_s）与IoU（式10）。非重叠返回?。设定τ_f=0.07过滤链接集L_Q,D（式11）。图5显示：地形起伏可致空域邻近视图无足迹重叠，而大高度差可使空域分离视图产生重叠。

2.6.2 评估协议与指标

以时序配对（V_Q, V_D）为单元，无效查询（无L链接）不计入分母。Top-K候选由FAISS按‖e_q-e_p‖₂升序取。Recall@K = 至少一正确候选的查询数 / 有效查询数（式14）；IR@K = TP/(TP+FN)（式15）。前者对新增链接不惩罚，后者对假阴性敏感。

3.1 几何配准

各站点目标-源对配准误差多集中数厘米级，99百分位<0.16 m（图6）。Site 1–2有略重尾分布，Site 3–5更集中，满足足迹链接几何容限。

3.2 用足迹IoU链接相机视图

取FOV_y=34°, a=2.0 m, t_e=0.16 m得τ_f≈0.07。表2：查询覆盖率重叠50%–95%，平均海拔2.0–3.2 m，每查询链接数10–35，95分位链接距1.3–2.5 m。Site 4有最大海拔差（~0.8 m）与绝对高（~3.2 m）。

3.3.1 跨站点VPR性能

图7与表3：Site 1/3/4 Recall较高，Site 5中等，Site 2最低。ViT基（AnyLoc, MegaLoc, CliqueMining, SALAD）一致优于CNN基（CosPlace, EigenPlaces, MixVPR, NetVLAD）。AnyLoc在Site 1最优（R@1=24.9%, R@10=51.2%），MegaLoc在Site 3突出（R@1=19.8%, R@10=45.3%）。低K区分度更明显。

3.3.2 站内空间模式

以MegaLoc（K=5）渲染：识别查询呈空间集群——Survey腿端转弯处、腿交叉点、平行轨迹段（图8, 9）。Site 2西密珊瑚礁识别多，东软沉积底识别少，过渡带（稀疏珊瑚）中等。表明VPR成功锚定于具持久辨识特征的海底斑块及高重叠轨迹段。

3.3.3 跨重访间隔

Recall@10随重访间隔增大总体下降；Site 1–2在1→2年降幅陡，其后趋平；Site 2/5整体较低时趋势较平；Site 5在2→3年微升，暗示其他因子调制（图10）。

3.4 地面真值策略差异

以足迹IoU（τ_f=0.07）vs位置距离阈值（取链接距95分位）对比。R@10在位置基准下系统性更高；IR@10在足迹基准下更高（图11）。表4：当距离阈值>>平均足迹宽（Site 2/4/5），位置基准ALQ剧增，R@10升幅大（如2013–2017: MegaLoc 30.8%→41.8%），IR@10降。Site 1阈值近足迹宽，ALQ微增，偏移小。表明位置基准可高估VPR，尤其地形起伏与高海拔变化下。

讨论与结论总结

4.1 几何配准：99分位<0.16 m为最小足迹宽<10%，可接受。大误差源于珊瑚礁结构变化、重建空洞及低频扭曲，而非系统失准。

4.2 足迹链接：τ_f=0.07保守，排除极小重叠对，确保链接具实质视觉重叠。地形崎岖与海拔变化使空间邻近≠视觉重叠；显式足迹IoU补偿此几何。局限含需标定/位姿/范围图，远距离立体精度降。

4.3 长期VPR性能：SEALOC Recall@K低于Eiffel Tower等水下基准，反映光子带栖息地时空动态更强。成功识别聚类于纹理底质（珊瑚、岩-沙界面、独特砾石）；均匀沉积平原更稀疏。重访1–2年性能降陡，其后边际效应减小；短间隔（1–2年）单图VPR较可靠。生物过程（珊瑚生长/死亡、藻覆被、沉积掩埋）改观纹理与边缘几何。MegaLoc兼顾性能与资源，EigenPlaces适合轻量CNN平台。

4.4 地面真值策略：位置基准增ALQ，R@K非递减故虚高；IR@K惩罚未检新增链接。单一全局距离阈值难适配地形/海拔变化；自适应阈值（按海拔近似足迹尺寸）可减差但不处理遮挡。重叠感知基准更适近俯视海底影像。

结论

研究人员构建了SEALOC——首个多站点、多年度、亚分米配准的海底长期视觉定位基准，并提出基于三维图像足迹重叠的地面真值方法。基准测试显示海底VPR较陆地更困难，ViT基模型更优，成功识别受底质特征与轨迹重叠驱动。相比距离阈值，足迹感知真值更贴合VPR检索实际，避免崎岇地形高估。未来需结合轨迹簇、短时里程计与几何验证提升鲁棒性。