《Journal of Imaging》：Conditional GANs for FL Sonar-to-Optical Image Transformation
编辑推荐：
水下机器人平台搭载车载相机用于深海环境中的导航与建图，或由操作员辅助执行人在回路任务，或通过实时处理现场视频自动完成。浊度对视觉的损害可通过部署最新一代二维多波束前视成像声呐来解决，但这伴随着局限性；例如，声呐视频数据不易被未经训练的人类操作员解读，也无法被当
水下机器人平台搭载车载相机用于深海环境中的导航与建图，或由操作员辅助执行人在回路任务，或通过实时处理现场视频自动完成。浊度对视觉的损害可通过部署最新一代二维多波束前视成像声呐来解决，但这伴随着局限性；例如，声呐视频数据不易被未经训练的人类操作员解读，也无法被当前最先进的计算机方法有效处理。研究人员提出了一个框架，将水下声呐图像转换为直观的光学视图。通过在配对的清水声呐与光学数据集上训练条件生成对抗网络（cGAN，Nvidia Pix2PixHD），该模型能够从在浑浊条件下采集的声呐数据中合成高质量光学图像。在两个不同数据集上的评估——测试了训练规模、图像分辨率、视场、颜色相关性和跨设备可迁移性等变量——表明该方法在实际真实世界场景中具有稳健性能。
**研究背景与问题**
水下机器人平台在深海环境中执行导航与建图任务时，通常依赖车载相机获取视觉信息。然而，水体浊度会严重损害光学成像质量，导致视觉导航与目标识别失效。二维多波束前视成像声呐（FLS）能够在悬浮物中传播声学波束并处理回波，从而在一定程度上克服浊度问题，但声呐图像依赖声学后向散射，缺乏颜色与精细纹理，且受相干斑纹和环境噪声影响。此外，声呐视频数据不易被未训练的人类操作员解读，也难以被现有计算机方法有效处理。现有三维多视图重建方法在杂乱场景中亦存在局限，阻碍了场景解释与目标表征算法的发展。人在回路的机器人操作在浑浊水域中需要高度训练的声呐专家。因此，研究人员提出将声呐图像转换为直观光学视图的框架，以绕过上述障碍。与通用方法相比，特定应用解决方案具有更高精度与鲁棒性，并能高效利用有限训练数据，降低水下环境数据采集的高昂成本。该研究针对海底场景探索、检查与监视操作中的常见场景展开调查。在能见度良好的条件下，例行操作可采集大量光学与声呐数据，用于重建高精度纹理映射三维场景模型。当光学能见度退化时，需依赖二维声呐图像，但严重斑纹噪声、缺乏颜色纹理及多径伪影阻碍了基于二维声呐特征的图像到场景配准位姿估计。通过将声呐数据转换为更易解读的光学图像，可克服这一局限。精度评估确定声呐到光学转换差异是否可忽略或充分局部化，从而允许利用生成的光学图像进行稳健的二维到三维匹配。因此，尽管该基于Pix2PixHD的框架无需预先存在的三维场景模型即可运行，但它可作为包含此类模型的端到端系统的基础组件。
**研究工作与结论**
研究人员采用NVIDIA的Pix2PixHD图像转换框架——一种条件生成对抗网络（cGAN）——设计从原始声呐数据合成清晰光学图像的模型。研究在标准cGAN框架内使用双模态数据进行网络训练，生成器采用粗到细的编码器-解码器架构，卷积层逐步下采样输入声呐图像，上采样层重建对应RGB图像，跳跃连接帮助保留编码器与解码器之间的空间与精细特征。模型在多个不同分辨率的判别器下训练以提升跨空间尺度的图像真实感。训练目标为结合多尺度对抗损失与特征匹配正则化的极小极大博弈。研究人员设置对抗权重为1.0，特征匹配正则化权重为10.0，有意将可选VGG感知损失设为0，因为VGG网络在陆地ImageNet图像上预训练，其特征表示不适合水下光学图像，排除它可避免引入冲突的陆地先验。消融实验表明框架对损失权重变化不敏感，保持稳定。网络训练多达200个epoch，批大小为8，使用Adam优化器，学习率0.0002。研究使用两个不同数据集模拟所提场景，图像调整为720×720分辨率。第一个数据集包含约3400视频帧，由多波束Oculus FLS（1.2 MHz）和高分辨率GoPro相机采集，两者视场均近60°，目标包括岩石、矩形砖块和堆叠人造圆柱权重，置于纹理丰富的15英尺直径水箱中。前两圈代表标准场景探索与检查，用于生成基线模型（BLM），第三圈添加小岩石以测试场景变化对BLM性能的影响。第二个数据集在户外水池录制，包含仅240对声呐-光学图像，由Didson FLS（1.8 MHz，约28°视场）和0.8 MPix Sony相机（约50°视场）采集，平均帧间角分离1.5°，呈现整体偏蓝色调及高对比度随机分布太阳闪烁。评估指标以结构相似性指数（SSIM）为主，辅以峰值信噪比（PSNR）和学习的感知图像块相似性（LPIPS）。结果表明，Pix2PixHD在声呐到光学图像转换中高效，能够仅从声呐输入生成结构有意义且操作有用的光学重建。SSIM分数在早期训练中快速提升，约100个epoch后收敛，之后收益递减。在约1700张图像（三圈可用数据的一半）上训练、每帧姿态变化约的模型得出类似结论。第二个数据集验证了更广泛适用性，捕捉了真实退化颜色条件与更高姿态变化（训练数据每帧约）。灰度训练凸显其在典型水下环境中的实用性，其中显著颜色失真限制了基于真实颜色的场景目标区分。从第一数据集结果外推，更大训练量可望带来显著性能提升，这在多数实际应用中可行。研究发现对浅水操作中常见的太阳闪烁动态纹理具有鲁棒性，消除了去除太阳闪烁预处理的需要，简化了计算复杂度。主要贡献包括：声呐到光学图像转换框架可行且能泛化到真实世界部分挑战，包括小数据集、退化颜色和较低图像质量；太阳闪烁等非结构伪影对模型性能影响可忽略，可忽略预处理；训练数据采样策略和声呐-光学视场不匹配可显著影响模型结果，但通过微调（如裁剪光学图像）对齐视场并确保传感器姿态均匀分布可改善性能；背景分割对模型性能影响甚微，表明模型无需显式目标隔离即可学习关注相关场景结构；基线模型对场景内容小变化具有韧性；迁移学习易于适应新异物，但跨不同声呐设备应用可能困难，传感器几何、视场和分辨率变化可严重降低性能，尤其在高度变化场景中。
**关键技术方法**
研究采用条件生成对抗网络Pix2PixHD框架进行声呐到光学图像转换，生成器为粗到细编码器-解码器架构，配合多尺度判别器。训练目标结合多尺度对抗损失与特征匹配正则化，对抗权重1.0，特征匹配权重10.0，VGG感知损失设为0。网络训练多达200个epoch，批大小8，Adam优化器学习率0.0002。实验使用两个数据集：数据集一为Oculus FLS（1.2 MHz）与GoPro相机采集的约3400帧水箱数据；数据集二为Didson FLS（1.8 MHz）与Sony相机采集的240对户外水池图像。评估以SSIM为主，辅以PSNR和LPIPS。
**研究结果**
4.1 数据集一：该数据集验证Pix2PixHD声呐到光学转换的概念可行性。实验基于210至约1200张图像（约占总数据6%至50%）的训练集，对应帧间角分辨率约1.7°至0.3°。50%数据训练达到实际场景应用的理想性能，6%情况与第二数据集规模匹配，确认两数据集间性能一致性。重建图像保留场景目标的空间、结构和纹理特征。SSIM定量确认主观视觉评估：BLM性能随训练规模和epoch增加而提升，100 epoch后收益递减。直接在第三圈数据上训练的L3M经历较长不稳定性，160 epoch达稳态，因训练数据较少而性能较低；通过迁移学习适配BLM的TLM仅60 epoch即达性能平台，优于BLM，利用较大基线数据集的稳健泛化场景特征并聚焦第三圈高信息信号。SSIM与PSNR、LPIPS在模型动态、收敛速度和性能分布上一致。Pix2Pix模型呈现振荡收敛，TLM更严重，重建质量较差。最坏情况样本显示部分目标纹理或结构外观较差，但多数情况下对通过整图匹配三维场景模型建立相机位姿影响甚微。4.1.1 背景与分割目标：Pix2PixHD生成复杂纹理背景区域，背景区域图像矩比值最大变化小于2%，确认所有通道强相关。显式背景移除对网络收敛或前景目标光学图像构建质量影响甚微。4.1.2 颜色与灰度数据：6%训练数据的灰度重建常缺乏识别目标类型或形状的精度，50%训练数据性能显著提升至与彩色图像训练模型相当水平。4.2 数据集二：使用240对中的214张（约90%）训练，26张测试，因高阶波长衰减缺乏真实目标颜色信息而采用灰度图像。M1灰度训练集中26张图像半数SSIM在0.65至0.85之间，超过140 epoch时约0.5的平均值。相邻视角图像子组验证生成太阳闪烁模式的时空保真度，较低SSIM源于不可察觉位姿差异，而前两列0.29和0.37的低分反映明显位姿不准确的严重影响。4.2.1 平衡视场：光学图像裁剪以实现更高重叠一致性，SSIM全面改善，但重建普遍更模糊，因图像缩放到720×720分辨率的插值伪影导致细节损失。4.2.2 调节与随机采样：顺序数据训练模型性能下降多达35%，而训练数据在所有姿态上保持平衡分布（M2集）时性能显著提升，差重建降至仅四张图像，与第一数据集6%情况相当。4.2.3 迁移学习：在更丰富Oculus-GoPro数据集上预训练的模型性能显著劣于直接在目标数据上训练的模型，部分因Didson较窄视场极端边界产生模糊三角形伪影，裁剪Oculus数据匹配Didson视场仅 marginally 缓解，表明学习表示对传感器几何和场景内容高度敏感，跨 vastly 不同声呐设备和成像条件的直接模型迁移非平凡。
**讨论与结论**
研究通过两个多样数据集证明了水下声呐到光学图像转换的可行性。第一个数据集包含大量理想图像，建立基线并实现详细定量评估，SSIM分数早期训练快速提升，约100 epoch收敛，之后收益递减。第二个数据集捕捉真实退化颜色条件与更高姿态变化，进一步确立方法的广泛适用性。Pix2PixHD框架通过仅从声呐输入生成结构有意义且操作有用的光学重建，在声呐到光学图像转换中高效。灰度训练凸显其在典型水下环境中的实用性。从第一数据集结果外推，更大训练量可望带来显著性能提升。研究发现对浅水操作常见的太阳闪烁动态纹理具有鲁棒性，消除去除太阳闪烁预处理的需要，简化计算复杂度。据研究人员所知，这是Pix2PixHD用于声呐到光学图像转换的首个概念验证研究，通过受控水池实验验证，建立可靠基线。未来研究方向包括：实现CycleGAN、SPADE或基于扩散的生成器以提高纹理保真度和颜色重建精度；整合几何约束、深度信息和声学散射模型以更好考虑水下成像物理和环境变化；开展受控多传感器实验评估模型跨平台、动态目标和多样环境条件的鲁棒性；研究更大范围条件下的迁移学习，如跨不同光学和声呐平台对同一场景成像。
