《Engineering Applications of Artificial Intelligence》:Diffusion model-enhanced coral identification: A lightweight multi-scale network for benthic imagery analysis
编辑推荐:
提出轻量级珊瑚检测框架CG-LiteNet,集成梯度感知特征融合模块、动态锚定头部及扩散增强数据集,解决水下复杂场景边缘部署难题,参数仅2.1M,FLOPs 5.4 GFLOPs,在Sanya-Coral及AI-Enhanced数据集上mAP提升显著。
作者:杨昌根、周志、胡珠华、卢赵轩、沈一军、张伟、梁曦
单位:海南大学海洋技术与装备学院,热带海洋工程材料与材料评估国家重点实验室,海口市,570228,中国
摘要
基于人工智能(AI)的珊瑚监测可以为依赖专家和劳动密集型的调查提供一种变革性的替代方案,对脆弱的珊瑚生态系统具有重要的生态价值。然而,珊瑚检测算法仍受到有限的细粒度分类数据集、边缘设备性能以及珊瑚纹理特征提取复杂性的限制。为了解决这些挑战,我们提出了CoralGrad-LiteNet(CG-LiteNet),这是一个用于高效识别的轻量级珊瑚检测框架。其主要AI贡献包括:梯度感知层次特征融合模块(GA-HFFM),该模块利用梯度卷积网络进行多尺度特征提取,将感受野扩展到94.2%,同时保留了精细纹理;Slim-Backbone和Neck重构,结合提出的动态锚定分布感知头(DADH)和损失函数优化;以及基于扩散模型的图像生成模块,通过构建Sanya-Coral数据集并将其扩展为Sanya-Coral AI-Enhanced数据集(规模增加了82.5%)来克服珊瑚数据障碍。实验表明,CG-LiteNet在该领域超越了最先进(SOTA)的检测器。基于扩散的增强方法在所有珊瑚物种上,从0.50到0.95的交并比阈值(mAP50–95)范围内,平均平均精度提高了6.44%,在
Favites物种上实现了高达14%的提升。CG-LiteNet仅包含210万个(M)参数,每秒54亿次浮点运算(GFLOPs),与基线相比,大小和计算量分别减少了18.6%和14%,同时在Sanya-Coral数据集上的mAP50提高了3.6%,在AI-Enhanced数据集上的mAP50–95提高了2.8%。总体而言,CG-LiteNet为珊瑚检测提供了一个高效且可扩展的解决方案,并开创了一种新的数据集增强范式,以推进细粒度珊瑚识别。代码和数据集可访问地址:
https://github.com/yangchangen-s/CoralGrad-LiteNet引言
珊瑚礁是关键而脆弱的生态系统,虽然覆盖的海面面积不到0.1%,但却维持着超过25%的海洋生物多样性。它们在维持海洋生态系统平衡方面发挥着不可替代的作用。然而,这些生态系统正面临气候变化和人类活动的日益增加的威胁,导致大规模的白化和其他干扰(Fisher等人,2015年;Hughes等人,2017年;Souter等人,2021年;Apprill等人,2023年)。大规模、长期的监测对于保护工作至关重要,正如全球珊瑚礁监测网络(GCRMN)和国际珊瑚礁倡议(ICRI)的《2020年世界珊瑚礁状况报告》(Souter等人,2021年)以及即将发布的2025年版(Souter等人,2025年)所强调的那样,这些报告都需要高分辨率的珊瑚数据。基于深度学习的图像识别技术的最新进展为高效处理大规模珊瑚图像提供了有希望的解决方案,具有高空间精度和细粒度分类能力。
尽管迫在眉睫,但传统的人工调查仍然严重依赖专家知识,使得大规模监测不切实际(Beijbom等人,2015年;Hughes等人,2010年;Landrigan等人,2020年)。因此,基于AI的监测,特别是深度学习驱动的图像识别,已成为一种有前景的替代方案(Gonzalez-Rivero等人,2020年;Lin等人,2023年;Ganesan和Sthananam,2022年)。然而,在现场部署AI模型进行珊瑚监测时面临一个关键的准确性-效率悖论,主要存在三个挑战:(1)表示复杂纹理的难度。 例如区分蜂窝珊瑚和Trachyphyllia需要依赖微妙的纹理和形态线索。像YOLOv8n这样的标准轻量级检测器为了降低计算成本而牺牲了表示能力,从而在复杂的水下场景中丢失了必要的高频细节。(2)严格的边缘设备部署限制。 边缘设备在计算、内存、功耗和散热方面受到严格预算的限制,这限制了参数和FLOPs的数量;在许多AUV/ROV平台上,机载计算通常是嵌入式级别的,并且由电池供电(通常在数十瓦的功率预算内,冷却能力有限),并且必须与导航、控制和通信任务共享资源,这进一步限制了实时推理资源。相比之下,任务期间的云卸载往往受到间歇性和带宽限制的水下链接的约束,可能会产生延迟/能源开销,而在控制设施进行的事后集中处理虽然对离线分析很有价值,但无法在数据收集期间支持时间关键的闭环决策。(3)数据稀缺和类别不平衡。 高昂的水下数据采集成本导致类别分布不平衡,使得深度模型无法正确分类或遗漏稀有物种。
现有的解决方案往往在某个方面妥协。例如,Jiang等人(2023年)开发了一种基于YOLOv5的珊瑚识别方法,但由于缺乏针对珊瑚的优化,其准确率较低(约50%)。Xin等人(2024年)提出了一种白化检测模型,但其高昂的计算成本(41.45 GFLOPs)阻碍了其在资源受限设备上的部署。同样,Lu等人(2025年)的SCoral解决了珊瑚检测问题,但仍面临数据不平衡和中等准确率的问题。Wang等人(2025年)专注于模型泛化,但没有解决细粒度分类或高质量图像采集的问题。
此外,构建多样化、具有代表性的珊瑚数据集具有挑战性。水下图像通常依赖于有经验的潜水员或在安全、天气和监管限制下的机器人平台,这限制了时空调查范围。高质量的注释既耗时又昂贵,导致数据集偏向于一些容易获取的物种。用于监测的边缘设备(例如AUV/ROV、固定摄像头和低功耗的现场站)在存储、功耗和通信方面受到限制,使得现有的轻量级框架难以有效集成梯度感知的细节保留和生成数据增强(Li等人,2020b;Yu等人,2023年;Fan等人,2024年;Jian等人,2021年;Yu等人,2021年;Yeh等人,2022年)。实际上,珊瑚群落通常是不均匀分布的,而不是在陌生区域均匀分布的;设备上的检测使AUV/ROV能够自适应地调整轨迹和采样密度,以关注珊瑚丰富的区域,从而减少了不必要的覆盖范围以及任务时间和运营成本——这是纯云卸载推理或任务后集中分析难以实现的优势。
为了解决这些挑战,我们提出了CG-LiteNet,这是一个专为细粒度珊瑚识别设计的轻量级实时检测框架。与通用轻量级模型不同,CG-LiteNet增强了复杂水下场景中丢失的高频纹理和形态细节,利用特征重用、轻量级卷积和动态锚定检测头来减少参数和FLOPs,实现了有利的准确性-效率-延迟权衡。此外,基于扩散的增强模块合成了具有类别感知的高质量珊瑚样本,缓解了数据稀缺和类别不平衡的问题。
本工作的主要贡献如下:
- •
轻量级多尺度表示:
我们提出了一个梯度感知层次特征融合模块(GA-HFFM),结合GSConv和VoVGSCSP形成了Slim Backbone和Slim Neck架构,在保留全局语义和细粒度纹理细节的同时显著降低了计算开销。最终模型仅使用210万个参数和54亿次浮点运算(GFLOPs)即可高效运行。
•可控的基于扩散模型的数据供应:
我们开发了两个基于扩散的模块用于生成高质量珊瑚图像,构建了一个扩展了代表性不足类别的数据集,去除了近似重复项,并进行了质量评估,提高了mAP和跨领域泛化能力,而没有增加模型复杂性。•多尺度特征融合检测头:
动态锚定分布感知头(DADH)使用动态锚定和分布焦点损失(DFL)建模,结合了基于组卷积的并行解码策略。这提高了对小型、密集分布目标的召回率和定位能力,与现有的轻量级检测头相比实现了更好的准确性-效率权衡。•强大的训练和收敛性:
通过将Wise-IoU v2()集成到训练流程中,并采用统一的轻量级优化和推理协议,我们的框架缓解了多尺度上的梯度不平衡,加速了早期收敛,并在更高的IoU阈值下提高了检测一致性。我们强调,这项工作的创新之处在于面向部署的工程集成和轻量级检测组件的优化以及扩散辅助的数据增强,而不是提出一种根本新的检测范式。
本文的其余部分组织如下:第2节回顾相关工作。第3节详细介绍了CG-LiteNet架构和基于扩散的增强模块。第4节展示了在三个数据集上的比较和消融实验。第5节讨论了实验结果。最后,第6节总结了本文并概述了未来的研究方向。
小节片段
Yolo检测算法
基于深度学习的对象检测算法已经有了显著的多样化,其中YOLO系列因其高速度和端到端架构而被广泛采用(Chen等人,2025年;Z. Hu等人,2022年;Yu等人,2020年;Redmon等人,2016年)。YOLOv5(Jocher等人,2023a)、YOLOv6(Li等人,2022年)和YOLOv7(Wang等人,2022年)通过结构升级、注意力机制和增强的特征融合提高了准确性和效率;YOLOv8(Jocher等人,2023b)进一步
方法论
为了解决水下环境中的珊瑚识别挑战,我们提出了CoralGrad-LiteNet(CG-LiteNet),这是一个为资源受限的边缘设备优化的轻量级框架。它结合了基于扩散的珊瑚图像生成来缓解数据稀缺问题,并在Slim Backbone和Neck中引入了梯度感知层次特征融合模块(GA-HFFM)以实现高效的多尺度特征提取。此外,动态锚定分布感知头(DADH)进一步提高了
数据集和实验设置
本研究使用的数据集包括三个部分:Sanya-Coral数据集、Sanya-Coral AI-Enhanced数据集和湛江水下对象检测算法竞赛数据集(UODAC)。这些数据集分别用于评估底层模型框架的性能、评估AI增强数据集的有效性以及测试模型的泛化能力和小目标检测能力。所有数据集都被随机分为训练集和验证集,比例为8:2
讨论
本研究系统地评估了CG-LiteNet在水下珊瑚对象检测任务中的性能,并取得了显著的结果。CG-LiteNet模型通过GA-HFFM(梯度感知层次特征融合模块)有效地扩展了感受野并增强了多尺度特征表示。结合轻量级结构设计,该模型在准确性和效率之间实现了有效的权衡。该模型在所有三个数据集上都取得了最佳性能
结论
本文介绍了CG-LiteNet,这是一个为边缘设备设计的轻量级且高效的珊瑚检测网络。通过集成梯度感知层次特征融合模块(GA-HFFM)、基于GSConv和VoV-GSCSP的轻量级Backbone-Neck、动态锚定分布感知检测头(DADH)以及基于扩散模型的图像生成模块,所提出的框架在准确性和复杂性之间实现了有效的平衡
CRediT作者贡献声明
杨昌根:撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据管理、概念化。周志:撰写——审阅与编辑、撰写——原始草稿、监督、资源、资金获取。胡珠华:撰写——审阅与编辑。卢赵轩:撰写——审阅与编辑。沈一军:撰写——审阅与编辑。张伟:撰写——审阅与编辑。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:周志报告称获得了海南省重点研发计划的财务支持。周志报告称获得了国家自然科学基金的财务支持。周志报告称获得了国家重点研发计划的财务支持。如果有其他作者,他们声明
致谢
作者感谢实验室所有成员提供的持续技术建议和有益的讨论。本研究得到了国家重点研发计划(项目编号2022YFC3106302)、国家自然科学基金(项目编号42476201)和海南省重点研发计划(项目编号ZDYF2022SHFZ324)的支持。本研究还得到了海南种子产业实验室(项目编号B23H10004)和国家自然科学基金的支持