《SoftwareX》：AquaMVS: refraction-aware multi-view stereo for planar air–water interfaces
编辑推荐：
摘要：密集三维表面重建已成为单一光学介质（实际为空气）成像场景的成熟能力。然而，多视图立体（multi-view stereo, MVS）管线嵌入针孔投影模型，当场景透过平面折射界面观察时该模型失效：光线弯曲呈深度依赖且非线性，MVS所依赖的直线几何不再成立。
摘要：密集三维表面重建已成为单一光学介质（实际为空气）成像场景的成熟能力。然而，多视图立体（multi-view stereo, MVS）管线嵌入针孔投影模型，当场景透过平面折射界面观察时该模型失效：光线弯曲呈深度依赖且非线性，MVS所依赖的直线几何不再成立。现有折射感知重建主要面向移动单相机采集，而非共享单一平面界面的固定同步多相机阵列。AquaMVS是填补该空白的开源Python库。单一折射投影模型进入每个图像到三维操作：三角化（triangulation）、密集深度估计（dense depth estimation）和多视图一致性滤波（multi-view consistency filtering）。重建通过共享该模型和共同融合阶段的两个匹配前端运行：稀疏LightGlue匹配器经经典折射平面扫描（plane-sweep）致密化，以及RoMa v2密集匹配器，其对应关系直接三角化。研究人员在13相机装置上演示AquaMVS，重建2460 L水族箱中动物重塑的基底；RoMa v2路径恢复的表面点数约为经典路径的1.9倍，运行时间相当。针对已知几何的水下目标，重建表面平面度为1.11 mm（面外噪声），并在工作体积内保持尺度。同一模型可处理折射率不同的两种介质之间任意单一平面界面，当折射率比趋近于1时退化为针孔MVS。AquaMVS从配套AquaCal库获取标定，使从原始多相机采集到密集、具有度量尺度的表面网格的完整路径以开源方式可用。
研究背景与问题。密集三维表面重建在单一光学介质（实际为空气）成像场景中已成熟，开源摄影测量与商业工具可生成高质量网格；但其普遍嵌入针孔投影模型（pinhole projection model；假设光线沿直线传播的成像模型），当场景经开放水面或水族箱窗口等折射界面成像时，Snell定律使光线按入射角弯曲，误差呈深度依赖的非线性畸变，直线几何失效。未校正空气中重建在3.5 m水深可偏差约1 m。目标配置——空气中相机透过单一平面空气–水界面观察场景——见于流体力学自由表面、冲刷水槽、水下部件尺寸检测及水生行为生态学；行为生态学中动物庇护所、视线、资源及动物改造环境形成三维反馈，需在动物存在时随时间恢复密集三维几何，而非排空水箱；近红外结构光受水下吸收限制，多视图立体（multi-view stereo, MVS）是自然选择但须解决折射。现有折射感知结构从运动有基础，但密集方法多停留在研究代码，或仅将折射贯穿稀疏阶段而非密集建面；深度/神经渲染方法多将相机置于水中处理衰减与后向散射，或优化每场景场用于新视角合成、界面恢复或航空测深，而非下游行为分析所需逐像素度量深度。因此缺少公开、文档化、面向固定同步多相机阵列共享单一平面界面的密集折射校正MVS管线。研究人员开发AquaMVS开源Python库，将折射作为共享基元进入三角化、密集深度估计和多视图一致性滤波等每个图像到三维操作，输出度量尺度表面网格；其意义在于填补该配置下密集度量折射重建空白，提供从原始采集到网格的开源完整路径，并已用于AquaPose跟踪的空间参考。Tucker Lancaster与Patrick T. McGrath完成该工作。
关键技术方法（不超过250字）：AquaMVS采用共享折射投影模型（refractive projection model；按Snell定律描述界面处光线弯折的投影模型），以固定十步Newton–Raphson迭代实现双向投影；各相机先按自身镜头模型去畸变，再统一投影。两条匹配前端共享后端：经典路径用ALIKED、SuperPoint或DISK稀疏特征经LightGlue匹配，三角化后以折射平面扫描（plane-sweep；沿深度假设平面重投影并匹配的密集深度估计方法）估计深度；学习路径用预训练RoMa v2密集匹配器预测逐像素对应并直接三角化。后端进行多视图一致性滤波（multi-view consistency filtering；以多视角几何一致性剔除错误深度）、体素下采样、离群点去除，并以Screened Poisson、Ball-Pivoting或height-field插值网格化及最佳视角着色；可选时间中值（temporal median）、ROI掩膜和CLAHE。样本来源为13相机阵列（12环绕+1中央宽场）观察2460 L圆形水族箱开放水面，含鱼存在与鱼不存在序列；校准来自AquaCal，真值用12×9、60 mm方格ChArUco板（ChArUco board；由ArUco码与棋盘格组成的标定/真值目标）的8个留出位姿。
研究结果。覆盖度、运行时间与可重复性：在同一时间中值滤波帧上，RoMa v2路径产生1370万点，经典路径740万点，约1.9倍；在GeForce RTX 4070 Ti上运行时间179.8 s对183.7 s，密度增益几乎无时间代价。重建使用前60 s内每5帧采样的360帧时间中值，去除游动鱼等瞬态；五个相隔60 s且无共享源帧的中值帧重建可重复，四对连续帧中基底高度图单元85–90%在0.5 mm内一致、98.0–98.4%在1.0 mm内一致，未见鱼形残留。结论是RoMa v2覆盖更完整，时间中值可在动物存在时隔离环境。外部真值验证：以默认RoMa v2路径重建水下ChArUco板，仅在8个留出位姿上评估。单一位姿内板平面拟合残差合并为1.11 mm（每位姿1.00–1.18 mm）；多相机共同观测角点的独立深度估计一致性为1.82 mm（每位姿1.5–2.1 mm）；位姿间方格尺寸变异系数仅0.0016，位姿覆盖深度1.27–1.35 m、倾斜2.6–40.9
°；刚性对齐到已知板布局的合并残差1.08 mm，面内/面外0.71/0.81 mm；尺度拟合对齐平均尺度误差+0.06%，中位方格尺寸60.018 mm。经典路径在匹配一致性滤波下与RoMa v2度量等价（尺度误差+0.08%对+0.06%），对板略更准确（刚性残差0.88 mm对1.08 mm），但板小而纹理密，不能检验低纹理沙面。为隔离折射贡献，将水折射率设为1并以针孔模型重新标定：单一位姿内针孔臂板平坦度1.08 mm、跨相机一致性1.69 mm，与折射臂相近；位姿间方格尺寸变异系数0.0070，大于折射臂四倍；尺度误差-0.99%，刚性残差5.91 mm，最差倾斜37.9
°位姿残差11.6 mm（折射臂同姿1.6 mm），针孔方格短3.9%。结论是针孔拟合可自洽却度量错误，折射模型在深度和倾斜上保持与已知几何一致；多媒体摄影测量相对空气中约降精度两倍，毫米级精度合理，且亚毫米重复性低于一天筑巢造成的亚厘米基底变化。
讨论与结论。研究人员指出，AquaMVS目标配置跨科学仪器复现；折射模型以两种介质折射率为参数，可处理任意单一平面边界，并在折射率比趋近1时退化为针孔MVS。其开源、可pip安装、面向固定同步共享界面配置，并实现现代密集匹配器RoMa v2的折射感知使用；学习路径将折射限于三角化和一致性、由介质无关密集匹配器提供对应，使密集折射重建化为普通密集匹配后接折射几何，且不依赖已知外参或单一界面。库从AquaCal获取标定，可在单块消费级GPU上数分钟运行，并已为AquaPose提供环境网格空间参考。结论部分翻译：AquaMVS通过单一折射基元进入每个图像到三维操作，提供端到端密集三维表面重建；两条路径共享该基元，学习RoMa v2路径与经典折射平面扫描路径分别服务密度与可审计性，并捆绑时间环境隔离、掩膜、输入、诊断和示例数据。针对水下ChArUco目标仅在留出位姿评估，恢复表面平面度1.11 mm、形状匹配1.08 mm、方格尺寸跨深度和倾斜CV 0.0016；去除折射模型后管线仍自洽但失去与板的一致性。当前范围有三项限制：精度仅针对平面目标，非平面形状恢复未量化；界面模型仅单一平面边界，未含有限厚度玻璃/丙烯酸窗口；界面高度固定，水面上升1 mm会使重建基底约抬升0.5 mm，短记录为亚毫米且因各相机共同而不扰动留出精度，长序列需逐帧估计界面高度。未来扩展应继续将折射保留在每个几何阶段，而非仅标定。
