基于超图注意力机制融合多模态数据实现水下动态目标深度重建

《Remote Sensing》：Multi-Modal Data Fusion for Dynamic Target Depth Retrieval in Aquatic Environments

　　

为解决复杂水下遥感环境中严重的光学衰减及动态目标深度重建所面临的特征提取难题，本研究提出了一种基于多源数据融合的动态目标深度估计方法。该方法以光学RGB影像与神经形态视觉（NeuroIV）数据作为联合输入，构建了三通道特征提取与融合网络。通过引入超图结构，该方法在动态（时序）节点与静态（空间）节点之间建立关联权重以捕捉时空相关性。为高效处理高维多模态数据，研究以逐元素乘法替代传统的点积注意力机制，显著降低了计算复杂度。此外，研究引入了轻量级可变形注意力金字塔（DAP）与扩散模型对深度图像边缘进行精细化处理，有效抑制了估计结果中的深度不连续性与突变现象。与单模态光学影像相比，融合后的多模态数据具有更优的信噪比（SNR）与前景对比度，MAE指标提升超过20%。上述结果验证了所提多模态融合策略在水生环境动态目标观测与深度重建中的有效性与优越性。

研究背景与问题分析：图像深度估计作为计算机视觉的核心任务，近年来随着深度学习技术的突破取得了显著进展。通过从单目或立体图像中恢复三维场景结构，深度估计在自动驾驶、增强现实与机器人导航等领域发挥着关键作用。然而，现有研究大多聚焦于静态陆地场景，针对水下低能见度环境中运动目标的深度估计问题仍缺乏充分探索。这一现状与日益增长的水下视觉技术实际需求形成鲜明对比，尤其是涉及移动平台与游动物体的水下作业场景。

水下环境中的物理成像过程面临严峻挑战。水的光吸收与散射效应导致能见度急剧下降、对比度降低以及色彩失真，而目标运动进一步加剧了这些问题。对于游动的鱼类或水下航行器等动态目标，运动模糊与时序不一致性源于物体运动造成的特征拖影，破坏了精确深度推断所需的时序连续性。同时，在浑浊水体中，前景与背景的纠缠成为关键难题：运动目标的弱纹理特征易被背景噪声与散射伪影淹没。此外，动态运动导致的目标边界模糊与深度跳变等边缘模糊与深度不连续现象，使得依赖静态纹理与色彩一致性的传统RGB方法难以稳健处理。尽管近期结合RGB与事件相机的多模态方法在陆地动态场景中展现出潜力，但其在水下环境中的适应性仍未得到探索。水下特有的退化模式——非均匀光照、悬浮颗粒物以及波长选择性衰减——亟需专门的融合策略，而现有技术体系尚属空白。因此，迫切需要一种能够有效整合互补传感模态的方法，以实现对水下运动目标的鲁棒深度估计。

研究内容与主要结论：本研究提出了一种新颖的神经形态引导深度估计（NGDE）方法，利用运动捕捉来改善模糊目标的深度估计性能。该方法构建了以RGB影像与神经形态视觉（NeuroIV）图像为输入的三通道信息提取与融合网络，通过多模态特征交互实现水下运动目标的协同深度表征。研究将事件流与RGB帧定义为超图节点，并引入位置编码机制，构建动态与静态编码模块；设计了基于逐元素乘法的轻量级超图注意力机制以替代传统点积运算，在保持高质量运动特征增强的同时有效降低了多模态融合的计算负担。此外，研究提出了轻量级可变形注意力金字塔（DAP）与扩散机制，通过对深度图中运动目标边缘区域进行精细建模和平滑处理，有效抑制了动态模糊导致的深度不连续性与突变现象。

研究结果方面，在特征融合可视化实验中，原始RGB图像在水下散射、吸收与颗粒干扰下呈现高噪声与低对比度，目标轮廓与纹理被背景杂波严重掩盖；而在NeuroIV查询矩阵与键矩阵引导下，融合特征图实现了初步噪声抑制，特征分布更为均匀。随着深度特征分支的引入，融合特征开始显现模糊的目标轮廓，空间连贯性与边界划分能力得到提升。在运动特征增强指标分析中，边缘锐度与运动特征增强指标呈现高度一致的变化趋势，验证了特征网络同时提取和增强视觉信息的能力。在扩散模型可视化实验中，前向过程验证了噪声强度随步数增加的设计逻辑，反向去噪过程则证明了模型从噪声中恢复原始特征的能力。

在深度图可视化实验中，融合神经形态视觉技术的深度估计模型能够有效突破复杂水下环境的干扰，准确感知并提取运动目标的深度信息。在信噪比与前景对比度方面，融合图像在整个训练过程中始终保持更高数值，体现了更强的抗干扰能力与纹理保持能力。各项对比实验表明，所提完整模型在MAE、δ₁、SNR、E_c和DBI五项核心指标上均优于所有单模态与双模态基线方法，MAE达到0.157m，δ₁达到0.958。消融实验则验证了事件相机模态、超图特征融合模块与扩散模型各自的有效性及协同作用。

关键技术方法：本研究采用的水下多模态数据集包括公开数据集AquaticVision和自建水下动态目标捕获数据集，共计约2000组同步样本，涵盖清水、浑水、目标遮挡和运动模糊等典型场景。硬件方面使用DVS346事件相机采集神经形态视觉数据，并构建了封闭式水循环平台和水下腔体作为自建数据采集系统。主要关键技术方法包括：（1）三通道特征提取网络，分别对NeuroIV事件图像、RGB图像及由Depth Anything网络提取的粗深度图像进行特征提取与位置编码；（2）基于超图结构的动态-静态节点关联机制，通过k近邻（KNN）方法与欧氏距离计算节点亲和度，并采用自完备机制实现自适应融合权重分配；（3）以逐元素乘法替代点积注意力的计算优化策略，将计算复杂度从二次的O(n²)降低至线性的O(n)；（4）轻量级可变形注意力金字塔（DAP）设计，采用"稀疏变形"策略，对高响应区域应用可变形卷积进行自适应采样，其余区域以轻量级卷积处理，降低约45%的浮点运算量；（5）基于DDIM加速采样的扩散模型，将迭代步数从1000步减少至50步，实现20倍推理速度提升，用于深度图边缘优化。

研究结果详述：

"Visualization of Feature Fusion"（特征融合可视化）：该部分通过对比原始RGB图像与不同特征提取阶段的 resulting fused feature map，验证了事件相机引导的融合策略对水下深度估计特征表征的优化效果。在浅层特征提取阶段，NeuroIV引导的融合特征图实现了初步噪声抑制，为后续深度维度的精细化处理奠定了清洁的基础特征空间。随着深度特征分支的引入，目标结构在深度特征引导下从模糊逐渐变得清晰，伪影与噪声被持续滤除，突显了跨模态融合对目标特征的互补增强效应。

"Motion Feature Enhancement Metric"（运动特征增强指标）：该部分引入基于二维傅里叶变换（FFT）的运动特征增强指数和基于Sobel算子的边缘锐度指标，对特征演化过程进行定量分析。结果表明，两项指标变化趋势高度一致，验证了运动特征增强与边缘锐化之间的强协同性。在场景1中，运动目标多于静态背景物体，事件图像的边缘锐度和运动特征增强显著高于RGB图像，体现了事件相机在动态场景中的优势。在融合特征阶段，两项指标介于RGB与事件图像之间，表明/common/两种特征类型的平衡整合。在扩散阶段，由于扩散操作的平滑效应，两项指标略有下降。

"Diffusion Model Visualization"（扩散模型可视化）：该部分展示了扩散模型前向加噪与反向去噪过程。前向过程中，原始特征图的结构化信息随迭代逐步被噪声覆盖，验证了"前向马尔可夫链逐渐添加高斯噪声"的理论设计。反向去噪过程中，模型从纯噪声状态逐步恢复局部相关性和结构化模式，最终形成相对稳定的分布，证明了反向过程能够逐步剥离噪声并恢复原始数据结构的能力。

"Depth Map Visualization"（深度图可视化）：该部分在六种典型水下场景中进行深度图对比分析，包括多运动目标、少量运动目标、运动模糊目标、慢速运动目标、目标-背景重叠以及相似颜色目标-背景场景。结果表明，融合神经形态视觉技术的深度估计模型能够有效突破复杂水下环境干扰，准确感知并提取运动目标深度信息，为水下目标检测和环境感知等任务提供关键技术支撑。

"Comparison of Different Methods"（不同方法比较）：该部分从MAE、δ₁、SNR、E_c和DBI五个维度进行综合评估。所提完整模型在所有五项核心指标上均优于所有单模态和双模态基线，与最优双模态基线相比，MAE降低43.1%，δ₁提升10.7%，SNR和E_c显著提升，DBI降低45.8%。推理时间方面，所提方案（逐元素+DAP+DDIM）的推理时间仅为58.3ms，相比基线方案（点积+DDPM）的186.3ms，计算成本降低至31.3%，帧率从5.37提升至17.15，提升约3.2倍。

"Comparison of Ablation Methods"（消融方法比较）：该部分以RGB+Depth-only模型为基线，依次添加事件相机模态、超图特征融合和扩散模型进行验证。结果显示，事件相机模态的添加使MAE降低26.0%；超图特征融合模块进一步使MAE降低47.3%，E_c提升19.0%；扩散模型作为最终优化模块实现了最佳整体性能，相比基线模型SNR提升33.7%，MAE降低62.1%。

讨论与结论总结：本研究提出的NGDE方法通过三分支特征提取与融合网络整合RGB图像和神经形态视觉数据，首次引入由Depth Anything生成的粗深度先验作为第三模态。与现有RGB+事件相机融合工作不同，该方法利用事件相机的动态信息校正粗深度，解决了水下运动目标的深度边缘模糊与时序不一致问题。研究采用逐元素乘法替代点积注意力，将计算复杂度从O(n²)降低至O(n)；并专门设计了可变形注意力金字塔和扩散模型用于后处理，以解决深度边缘不连续和动态运动模糊/拖影问题，这在现有水下深度估计方法中尚未见报道。

研究结论指出，实验结果证明了所提NGDE方法在特征融合过程中有效平衡了静态纹理和动态运动线索，融合图像在信噪比和前景对比度方面始终优于单RGB图像。对比实验和消融研究验证了各核心模块的有效性和优越性，完整模型在所有评估指标上均达到最先进的性能。未来工作将聚焦于方法的实时应用扩展，以及探索其在目标跟踪和场景重建等其他挑战性水下视觉任务中的潜在应用。