《Applied Ocean Research》:Memory-augmented graph convolutional network for vision ship recognition in intelligent maritime surveillance systems
编辑推荐:
在恶劣天气、不均匀光照和复杂近岸环境中,智能海事监控的静态可见光船舶识别面临诸多挑战。这些条件遮蔽了细粒度目标细节,而现有方法在网络传播过程中常常丢失浅层信息,使得小型船舶难以被识别。为解决此问题,研究人员提出了一种用于船舶识别的记忆增强图卷积网络(Memo
在恶劣天气、不均匀光照和复杂近岸环境中,智能海事监控的静态可见光船舶识别面临诸多挑战。这些条件遮蔽了细粒度目标细节,而现有方法在网络传播过程中常常丢失浅层信息,使得小型船舶难以被识别。为解决此问题,研究人员提出了一种用于船舶识别的记忆增强图卷积网络(Memory-Augmented Graph Convolutional Network, MAGCN)。所提出的自适应特征选择(Adaptive Feature Selection, AFS)模块从多尺度Swin-Transformer特征中逐步提取具有判别性的实体节点,图卷积网络记忆(GCN Memory, GM)模块将这些节点相互关联,递归地融合浅层和深层上下文信息,从而保留关键的细粒度细节。在CIB-ships、MAR-ships和Game-of-ships数据集上的实验结果表明,MAGCN在CIB-ships上将准确率提高了2.65%,在MAR-ships上比FREGNet低0.41%,在Game-of-ships上比FREGNet高0.02%。在五个固定随机种子上的配对测试显示,相对于内部Swin-Transformer-Base+MLP基线有可重复的改进,但并未建立对外部竞争方法的统计优势。这些结果表明,MAGCN的优势在高度杂乱的CIB-ships场景中最为明显,而在另外两个数据集上的性能是具有竞争力的而非一致占优。
**论文解读**
**一、研究背景与问题**
基于视觉的感知技术已成为智能海事监控系统中不可或缺的组成部分,为港口管理、海上搜救、非法活动监控和巡逻任务提供关键的态势感知。在各种感知模态中,光学成像传感器提供高空间分辨率和丰富的颜色信息,这对细粒度船舶目标识别至关重要。然而,这些光学传感器的成像质量极易受到环境干扰的影响:恶劣天气条件、不均匀光照和复杂的近岸背景导致成像设备采集的船舶图像包含大量复杂环境信息,严重影响了船舶目标区域细节的刻画范围和表征能力,降低了识别精度。
从实际海事监控应用的视角来看,核心差距不仅在于识别精度不足,还在于现有识别模型与实时光学监控约束条件之间的不匹配。许多港口和近岸监控系统依赖可见光摄像头,因为它们成本低廉、易于部署且已集成到海事监控基础设施中。然而,这些光学系统经常受到多变海况、波浪引起的背景干扰、雾气、不均匀光照、远距离成像和局部目标遮挡的影响。在此类情况下,小型船舶目标通常仅占据有限的图像区域,其特征轮廓容易被海杂波和近岸背景噪声所遮蔽。因此,一个有效的海事视觉模型不仅应提高识别精度,还应选择性地保留与目标相关的细粒度线索,抑制无关的环境激活,并保持足够的模块化以便集成到现有光学监控框架中。
**二、研究内容与意义**
本文聚焦于在恶劣天气、不均匀光照、海面扰动和复杂近岸背景影响下的静态可见光图像中的小型船舶识别。在此类场景中,判别性船舶线索稀疏地分布在局部轮廓、边缘和结构区域,而大多数空间标记对应波浪、海岸设施、光照变化或其他背景干扰。因此,直接传播所有标记会引入冗余噪声和不必要的计算。
为解决这一问题,研究人员提出了MAGCN(Memory-Augmented Graph Convolutional Network,记忆增强图卷积网络),遵循"先选择后记忆"的范式。具体而言,MAGCN设计了一种自适应特征选择器,从Swin-Transformer的多层特征中显式区分关键与非关键特征点,逐步从浅层到深层进行选择。该设计不仅保留了判别性的浅层轮廓和深层细部特征,还有效抑制了光照变化和复杂近岸背景引起的干扰。GCN记忆模块由短时记忆(Short Memory, SM)和长时记忆(Long Memory, LM)组成:SM激活关键节点并更新其邻接关系,强调复杂环境条件下的细粒度局部细节;LM构建实体关系邻接矩阵并进行迭代传播,持续强调目标区域的全局轮廓和局部关键结构,从而维持上下文关键信息。MAGCN的主要贡献在于:(1)将自适应特征选择与基于GCN的记忆传播相结合,实现在复杂海洋环境中的鲁棒识别;(2)开发了自适应特征选择模块,逐步挖掘判别性多尺度Swin-Transformer特征,增强小型刚性船舶目标的细粒度表示;(3)引入图记忆机制,建模选定实体节点之间的关系,并从浅层到深层递归传播上下文线索,有效保留关键细节。
**三、关键技术方法**
MAGCN以Swin-Transformer-Base为骨干网络,使用ImageNet-21K预训练权重初始化,所有预训练骨干参数解冻并与新引入的AFS和GCN记忆模块联合优化。输入图像统一调整为384×384像素。自适应特征选择(AFS)模块从骨干网络Layer1至Layer4四个层次阶段的输出中,根据置信度分数逐层选取M
l个判别性标记,配置为[M
1, M
2, M
3, M
4]=[2048, 512, 128, 32],将选定特征拼接后送入GCN记忆模块。GCN记忆模块分为短时记忆(SM)和长时记忆(LM):SM通过局部池化和卷积增强获得跨层轮廓和细节表示;LM构建可学习的关系映射,通过图卷积在紧凑的选定实体节点集合上进行信息传播。模型使用均方误差和交叉熵损失函数进行反向传播,优化器为SGD,初始学习率5×10
-4,权重衰减5×10
-4,批次大小16,训练80个epoch。实验在三个船舶数据集上进行评估:CIB-ships(59类船舶,共5196训练/577验证/5719测试样本,含波浪、光照变化、遮挡等复杂背景)、MAR-ships(20类,由意大利威尼斯ARGOS系统全天候自动提取,2550训练/283验证/1890测试样本)和Game-of-ships(5类,5628训练/625验证/2679测试样本,涵盖不同天气和角度)。
**四、研究结果**
*对比实验:* 在CIB-ships数据集上,MAGCN达到73.40%的准确率,比MMEF高2.65%;在MAR-ships上,MAGCN获得95.19%,比FREGNet低0.41%;在Game-of-ships上,MAGCN准确率为98.72%,比FREGNet高0.02%。MAGCN每张图像推理耗时0.21秒,参数量为273.1M,在精度-效率之间提供了有利的权衡。CIB-ships上的较大增益表明MAGCN在杂乱的场景中更为有效。配对统计分析进一步证实了相对于内部Swin-Transformer-Base+MLP基线的可重复改进,但未建立对外部方法的统计优势。
*消融研究:* 相对于Swin-Transformer+MLP基线,添加AFS模块在CIB-ships、MAR-ships和Game-of-ships上分别提升2.15%、1.47%和0.24%;在AFS基础上添加LM进一步提升2.53%、0.33%和0.19%;在此基础上再添加SM又提升1.17%、0.41%和0.12%。AFS与深度特征选择策略(DFS)的对比显示,AFS的多层自适应选择优于仅在骨干网络最深层选取特征点的DFS策略。此外,对AFS各层标记数量配置的验证集搜索确认[2048, 512, 128, 32]为最优配置。
*统计检验与可视化:* 在五个固定随机种子下,MAGCN与内部基线的配对t检验、精确符号翻转置换检验和精确符号检验均表明改进具有可重复性。t-SNE可视化显示,与ResNet50相比,MAGCN在CIB-ships和MAR-ships上均呈现更大的类间距离和更小的类内距离。热力图定性分析表明,MAGCN对复杂背景场景的活动响应较弱,而对恶劣天气和不均匀光照条件下的船舶目标关注更强。
**五、讨论与结论**
本文提出的MAGCN将自适应多层特征选择与基于图的记忆传播相结合,AFS从层次化Swin-Transformer特征中选取判别性实体节点,而SM和LM组件在选定节点之间传播互补的轮廓和语义信息。在使用独立验证集进行模型选择并将官方测试集保留用于最终评估的协议下,MAGCN在CIB-ships、MAR-ships和Game-of-ships上分别达到73.40%、95.19%和98.72%的准确率。相对于每个数据集上报告的最强竞争方法,MAGCN在CIB-ships上提高了2.65%,在MAR-ships上低0.41%,在Game-of-ships上仅提高0.02%。因此,结果不支持在所有数据集上一致占优的论断。相反,结果表明MAGCN在高度杂乱的CIB-ships场景中最具优势,此时保留浅层结构线索和抑制无关背景标记尤为重要。五个固定种子上的配对实验进一步显示相对于内部Swin-Transformer-Base+MLP基线有可重复的改进,但该统计证据仅限于内部基线,并未证明对外部竞争方法具有统计显著优势。此外,评估仅限于静态图像基准,MAGCN对未见港口、季节变化、跨数据集迁移和实时海事视频流的泛化能力仍有待研究。