综述：基于人工智能的水下海洋垃圾检测与分类：综述、关键问题及未来方向

《Renewable and Sustainable Energy Reviews》：AI based underwater ocean waste detection and classification: a comprehensive review, key issues and future direction

　　

摘要

海洋垃圾已成为一个严峻的环境挑战，对海洋生态系统和生物多样性造成了严重后果。由于光照波动、潜在的光学畸变、遮挡以及数据获取困难等原因，在深海和浑浊水域中寻找并分类水下垃圾仍然是一项挑战。本文综述了近期开发的一些人工智能和计算机视觉系统，这些系统能够对海洋垃圾进行更精确、可规模化且实时的检测。我们对基于深度学习的多种技术和设备进行了综述，包括YOLO系列检测器、基于区域的卷积神经网络以及Transformer架构等，并探讨了它们在水下领域的应用。此外，本文还考察了数据获取方法、公开可用的水下数据集以及合成数据生成等问题，这些都与算法开发中数据不足的挑战密切相关。我们还基于平均精度均值（mAP）、检测速度和计算效率等性能指标，评估并比较了几种不同的检测算法，以关注水下真实条件下的表现。除传统解决方案外，本文还介绍了模型优化、注意力机制、物理感知图像增强以及视觉-语言模型等新兴趋势方面的进展。最后，我们对未来可能的方向进行了概述，包括领域适应、基础模型、自主水下系统以及深海自适应感知等，以全面呈现海洋垃圾检测技术的现状与未来展望。

引言

海洋污染是目前世界面临的最严重的环境问题。海洋占据了地球表面积的约71%，储存了全球超过97%的水资源，是地球最重要的资源之一[1]、[2]。然而，海洋垃圾和碎片已成为海洋面临的最大挑战之一。预计到2050年，海洋中的塑料将比鱼类还多[3]、[4]、[5]。据估计，每年约有800万吨塑料流入海洋[6]、[7]、[8]，对海洋生物的多物种多样性、栖息地以及人类健康构成了巨大威胁。这种污染导致海洋生物误食、缠绕和栖息地退化，进一步影响了生态系统及其提供的服务。除塑料外，还有废弃渔具、金属、玻璃和橡胶等其他类型的海洋碎片，这些都会显著加剧海洋环境的退化[9]、[10]。这些垃圾可能对海洋动物造成物理伤害、改变其行为，并影响其繁殖地。

此外，海洋垃圾可能是有害污染物的来源，因为某些废物材料在降解过程中会产生毒素，影响水质和海洋环境中生物的健康。有害物品（如电池和化学物质）的存在会伤害动物并污染人类食用的海产品[11]。此外，垃圾的聚集会破坏珊瑚礁、阻碍海草床的生长，并扰乱海洋环境中的生态平衡。

五十多年来，国际海事组织（IMO）一直在监管海洋塑料垃圾，涵盖海上废弃物倾倒到船舶排放等多个方面[12]。然而，这一危机至今依然严峻。必须制定有效的策略来检测、监测和减少海洋垃圾与碎片，以保护水生生态系统并保障公众健康（图1）。

使用传统方法进行水下垃圾检测与管理长期以来都是一项耗时且繁琐的工作。这些传统流程通常需要潜水员辅助、人工检查，或部署船只和渔网来物理打捞漂浮或下沉的垃圾。然而，这些方法在可扩展性、安全性、准确性和效率方面存在诸多局限，在高能见度低、环境条件不稳定的复杂水下环境中尤为严重。

图2展示了一种典型的人工垃圾收集中场景，工人们使用船只在水面移动并手动收集漂浮垃圾[14]。虽然这种方式在水面垃圾收集中具有一定效率，但对于水下垃圾而言却极不适用，因为水下垃圾往往看不见且难以触及。

人工智能（AI）结合计算机视觉已成为应对这些挑战的新一代解决方案[17]。该技术基于深度学习算法和先进的图像处理技术，能够实时自动识别、分类和定位垃圾产品。基于人工智能的系统能够从多样化数据集中学习，并对浊度、光照变化和物体畸变等动态变化条件做出响应，从而应对极具挑战性的水下条件[8]。这些系统能够持续监控而不受疲劳影响，并且与人工操作相比，能够以更高的速度和精度扫描大面积水域。这提高了实时响应、热点区域识别和针对性清理的可能性。

表1通过关键参数对传统方法与基于人工智能的方法在水下垃圾检测中的系统性对比进行了总结。该表展示了与传统方法相比，AI方法在水下环境中提供的优越适应性、实时检测和稳定性能。

人工智能（AI）和计算机视觉（CV）在水下海洋垃圾检测中发挥着关键作用[38]，将AI融入其中以推动先进算法向水下海洋垃圾检测方向发展，并提高速度和精度。先进的AI模型能够分析从水下环境收集的庞大数据集，适应水下环境特有的复杂性和多变性。这可以通过计算机视觉技术对实时图像和视频流进行分析来实现，从而瞬间定位垃圾和碎片，并对所谓的"热点区域"采取适当行动。

海洋垂直分层是水下检测系统的一个重要方面；它将海洋环境划分为不同的深度区域。由于环境条件各异，与物体检测相关的技术在有效性和准确性方面也存在差异。在水下调查中，这些区域有助于构建一种系统化的方法来监测和检测海洋中的垃圾和碎片。每个深度层次面临的不同挑战（图3）都需要特定的AI和成像解决方案。

透光层（Epipelagic Zone）是海洋的表层，光线充足地穿透其中。它包含大多数海洋生物，并提供相对清晰的能见度，是检测物体最为简单的环境[39]、[40]、[41]、[42]。传统的计算机视觉技术结合AI模型在透光层应能良好工作，因为自然光的存在改善了图像质量，使海洋垃圾的识别更加容易。在更高的层次上，对于透光层的水下调查，无人机和水下相机可以捕捉清晰的图像，AI模型能够以精确和快速的方式检测碎片。此层次的垃圾浓度较高，因为它们漂浮在水面上或被水流携带。

中层水域（Mesopelagic Zone），即"暮光层"，深度在200至1000米之间。在这种深度，光线急剧变暗导致光照不足，自然光在此深度衰减到如此低的程度以至于低对比度使得检测变得困难，同时增加了对人工作用光源的需求[39]、[44]。在这一区域，AI模型必须在低能见度下工作。模型可能需要使用特殊的成像技术，如低光摄影以及进一步的对比度调整。该区域的中层水域调查是使用配备传感器并装有照明设备以照亮周围环境的遥控操作载具（ROV）进行的，以捕捉可用于检测的图像。这一环境还涉及人工光源产生的阴影和其他畸变效应，可能影响AI模型的检测精度。

1000米以下是深层水域（Bathypelagic Zone），即"午夜层"，阳光已无法穿透。在深层水域的漆黑环境中，基于AI的系统进行非常困难，因为没有自然光，因此需要使用红外或声呐成像来识别物体[45]、[46]。来自如此深度的视觉数据颗粒感强或存在畸变，因此需要先进的AI算法来处理低分辨率输入。除了这些挑战外，该深度的环境还存在高压操作困难——设备必须足够坚固以承受压力，同时仍能获取适当的数据。遥控操作载具（ROV）和自主水下航行器常用于调查作业，配备的相机和传感器设计为能在完全黑暗中工作。

随着我们继续深入，深渊层（Abyssopelagic Zone）（4000至6000米）代表了一个高压且漆黑的环境，生命稀少[47]、[48]、[49]、[50]。只有极少数技术能够在如此深度捕捉高质量图像，因此物体检测系统主要依赖声呐成像，因为视觉传感器的探测范围不足。在此高压区域，必须设计专门且先进的设备，具备提供有效数据的能力。AI模型需要在反映低光高噪声声呐图像的独特成像特征上进行训练才能在此发挥作用。AI声呐解释算法不断被设计以克服这一困难操作环境的固有挑战。

最后，超深渊层（Hadopelagic Zone）（6000米以上）是海洋最深的区域。海沟和极端环境条件存在于这一区域[51]、[52]、[53]。在超深渊层中，AI系统将面临接近冰点的温度、极端压力和黑暗。在此处传统成像是不可能的，检测通常通过声呐或使用自适应照明的耐压相机进行。为这一区域设计的AI算法必须能够转换复杂的声呐数据或质量较差的视觉信息，可能还包括某种形式的额外处理以消除噪声并过滤高质量信息。此外，由于海洋垃圾散布且生命极少，在检测过程中有时很难区分真实的地质特征和垃圾。这些特定的深度区域突出了灵活且自适应的AI驱动水下检测系统的必要性。每个区域都面临不同的挑战——从光照和能见度的变化到高压和数据缺乏——这些都需要定制化的检测策略。基于AI的解决方案需要动态适应这些环境参数，以在各种水下条件下保持可靠的性能。因此，检测已成为一种分层系统，便于系统性地监测和追踪水下垃圾沿深度梯度的运输。

图4中展示的AI技术是基于表2中列出的代表性研究开发的。模型与深度之间的关联是通过所选研究中使用的环境设置、成像方式和AI算法建立的。CNN和YOLO相关方法主要用于透光层和中层水域环境，因为充足的照明为基于光学图像的物体检测提供了条件[39]、[40]、[41]、[42]、[44]。另一方面，深层水域和深渊层的研究使用低光增强技术、声呐成像系统、Transformer架构和多模态系统，以应对恶劣的能见度条件[45]、[46]、[47]、[48]。至于超深渊层环境，现有的少量研究主要集中在噪声鲁棒学习、生成增强技术以及用于深海探索的耐压传感设备[51]、[52]、[53]。因此，图4可被视为基于文献综述的AI技术在与海洋各深度环境关系方面的综合整理，而非将特定的AI模型与各个深度进行映射。

表2呈现了AI适应性和检测设备的变化，以满足各海洋深度区域不断增长的需求，有助于在不同环境条件下实现成功的水下探索和数据解析。

图5展示了海洋各深度区域中散布的各种垃圾形态，将其分解为主要垃圾种类、子类型垃圾和子类。本文基于所查阅文献的发现和基准数据提出了一种水下垃圾分类体系。该分类体系通过比较分析相关文献中报告的水下垃圾类别、环境和观测信息而生成的。根据海洋环境研究和深海探索研究中使用的深度分类标准，已识别出基于透光层、中层水域、深层水域、深渊层和超深渊层的水下垃圾分类[39]、[42]、[45]、[46]。相应的垃圾子类别是根据野外观测、水下图像数据以及报告了此类垃圾物品在环境中代表性示例的海洋碎片调查结果生成的[51]、[52]、[53]。

因此，图5中显示的关联是基于所查阅文献中报告的信息，而非特定深度区域内的专属分布。由于海洋废弃物的运输取决于洋流、人类活动和海底地形，每一类别的废弃物均可在各种海洋区域中找到。水下废弃物和海洋污染是水生生态系统、生物多样性以及海洋资源可持续性面临的主要挑战。现有的监测和清理方法主要依赖人工观察，包括手动采样方案或载人及遥控载具，通常劳动密集、成本高，地理覆盖有限，尤其在深海或浑浊水域中更为明显。人工智能、深度学习和嵌入式视觉系统的最新发展具有变革性潜力，能够实现水下废弃物的自动化、准确和及时检测。通过整合卷积神经网络（CNN）、基于Transformer的架构、混合增强模型以及用于边缘部署的轻量级模型，AI能够支持可扩展、高精度的监测环境，既支持决策制定和提供保护依据，又以自主能力协助清理工作。这一框架促使我们探索并整合经过验证和证明的AI主导框架，以提高水下废弃物管理中的效率、可靠性和影响力。本综述全面回顾了人工智能在水下海洋废弃物检测与分类方面的最新进展，特别关注水下环境中沉没的人为废弃物的识别、定位和分类。尽管文献中常用海洋废弃物、海洋垃圾和海洋废物等相关术语，但仅当引用原始研究中使用的术语时才保留这些词汇。本综述的范围仅限于使用水下光学成像、声纳成像和多模态传感的AI检测与分类方法，而仅关注利用卫星或航空遥感检测漂浮塑料、海岸线垃圾监测或更广泛废物管理系统的研究则不属于本综述的主要范围。如果无人机辅助和卫星遥感技术有助于海洋废弃物的检测、监测、特征分析和评估，也会纳入考虑范围，从而为人工智能辅助废物监测技术提供一定背景。这些航空和卫星遥感技术不同于水下成像，将与水下载具废弃物检测技术分开讨论。环境担忧日益增加，加上现有监测方法的局限性，使得开发依赖健壮且可扩展的AI系统的新策略势在必行，以在低能见度、资源有限的水下环境中积极运行。本综述涵盖了多种方法，包括基于CNN的检测器、基于YOLO的检测器及其变体、基于Transformer的架构、混合CNN-GAN增强模型以及旨在部署在嵌入式设备上的轻量级网络。性能通过一系列评估指标进行评估，包括准确性、小目标检测能力、推理时间、实时部署能力和对各种水下条件的泛化能力。最后，讨论了若干新兴主题，包括基于注意力的机制、多模态架构、少样本学习和自主机器人部署，以及与实现水下废弃物检测的智能、自动化和高效系统相关的技术挑战及未来工作机遇。本文旨在突出AI方法学，特别关注：• 回顾和总结水下废弃物检测与分类的前沿AI方法，包括CNN、YOLO变体、Transformer和混合方法。• 基于检测准确性、小目标能力、推理速度、实时部署能力和在多样水下场景中的泛化能力，对基于AI的水下海洋废弃物方法进行批判性比较。• 强调可在自主水下载具和边缘设备上部署的轻量级和嵌入式AI方法。• 识别并强调新趋势，包括注意力机制、少样本学习、多模态融合和自主机器人学。• 识别当前研究挑战和未来方向，以开发智能、可扩展和高效的水下海洋废弃物检测与分类AI系统。手稿结构如下：第2节提供该领域的相关工作，包括对最新文献的综述。第3节探讨水下垃圾检测框架并简要概述当前可用的最新方法。第4节呈现海洋废弃物检测深度学习模型的比较研究。第5节讨论水下废弃物检测中使用的损失函数和优化器。第6节详细讨论水下检测和分类过程中遇到的主要困难。第7节讨论该领域的新兴趋势和创新解决方案。第8节讨论可持续性和系统级视角。最后，第9节总结全文，强调本文提出的关键发现和观察结果。手稿的整体结构如图6所示。章节摘要相关工作在本节中，我们解释了本综述的主要重点和主题，并描述了进行相关文献全面搜索所遵循的方法论，包括我们的搜索策略和选择标准。使用人工智能、深度学习和混合方法进行水下海洋废弃物检测与分类。通过将ResNet101模型的深度特征与近邻成分分析相结合，获得了高准确率，达到99.35%。数据收集由于深度、低能见度和特定观察等环境挑战，水下垃圾检测需要特殊的数据采集技术。主要方法包括无人机、遥控载具、水下相机和卫星图像。每种应用的优势和局限性取决于检测深度、约束条件和环境状况。无人航空器（UAV）：水面垃圾检测主要通过无人机进行。借助一个比较分析本节对近期部署于海洋废弃物检测与分类的深度学习模型进行深入比较分析，是本领域的重要里程碑。下表总结了最新进展，通过突出模型的多样性，其中数据来源于JAMSTEC、Trash-ICRA19、Seafloor Marine Litter以及特定应用的水下数据等。这些数据代表了日益增长的努力。损失函数与优化器在水下废弃物检测领域，考虑到水下环境的固有复杂性，损失函数的贡献极为关键。低能见度、噪声、光线折射、遮挡、图像失真以及小型或伪装废弃物物体的存在，使得废弃物检测面临很高的难度。损失函数是模型训练过程的方向性准则，因为它量化了预测结果与真值之间的差异。关键挑战海洋废弃物的水下检测和分类涉及复杂的挑战，因为水下条件对生态系统而言是独特且动态变化的。光照和能见度是挑战，还有数据可用性不足、类内和类间变异、设备约束、对多种环境的泛化能力以及实时处理需求。表10描述了已识别的挑战、其影响以及所进行的可能解决方案研究。新兴趋势与未来方向在探索海洋生态系统管理、环境监测和污染减轻的背景下，水下废弃物检测的综合和多层面的作用正在迅速发展（图28）。借助更传统的计算机视觉方法已取得近期进展，但由于实用海洋环境中能见度丧失、散射和浑浊、遮挡以及标注数据缺乏等因素，该任务本质上仍然具有挑战性。基于AI的水下海洋废弃物监测的可持续性与系统视角基于AI的水下海洋废弃物监测系统在海上的恶劣条件下实现了自动化检测、精确定位和实时感知方面的巨大成功。然而，这些技术的重要性超出了其在检测废弃物方面的有效性。为了有效实施此类技术，需要考虑计算效率、能源消耗、可行性、数据治理和环境决策等问题。在本结论通过利用针对水下环境的声学相机以及AI和深度学习，水下垃圾检测取得了令人振奋的进展。初始模型如YOLO和Faster R-CNN是路线图上的第一步，然而，未来模型更倾向于基于Transformer的架构、注意力网络和基础模型，这些模型能够耐受光线变化、浑浊和遮挡挑战。此外，轻量级模型和神经。利益冲突声明作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。Dhanashree Vipul Yevle | Palvinder Singh Mann研究学者，印度古吉拉特邦艾哈迈达巴德古吉拉特科技大学