一种基于多模态AIS数据融合的深度学习模型，用于识别渔船的作业类型

《Ocean Engineering》：A deep learning model for fishing vessel operation type identification via multi-modal AIS data fusion

针对AIS数据中非捕捞与捕捞轨迹同质性强、异质性低的问题，提出多模态自适应识别模型MM-FishingNet，融合时间频域特征（MLP+FFT）与轨迹图像（ResNet-18），通过动态权重融合机制实现跨模态协同优化，实验在东海海域三组数据集上验证其准确率达92.23%，显著优于单模态及传统融合方法，为渔业智能监管提供新范式。

　　海洋资源的无限制开发已经引发了严重的生态危机。作为渔业产业的主要载体，渔船在海洋渔业资源管理与生态保护中扮演着至关重要的角色。准确识别渔船的操作类型对于维持海洋生态平衡、打击非法、未报告和无监管（IUU）捕捞行为以及推动可持续渔业发展具有重要意义。然而，现有的基于自动识别系统（AIS）的识别方法在准确性方面受到固有矛盾的限制：多数类别的非捕捞数据在不同船只之间表现出高度的运动学一致性，而少数类别的捕捞数据由于渔具的差异，显示出显著的异质性，这使得模型在区分不同操作类型时面临较大挑战。因此，本文提出了一种名为MM-FishingNet的多模态自适应识别模型，该模型将时间-频率特征与轨迹图像相结合，旨在提升渔船操作类型的识别能力。通过引入时间-频率双域特征提取模块，该模型增强了对轨迹差异的敏感性。为了弥补AIS数据在区分能力上的不足，轨迹图像被引入作为补充，并构建了一种知识引导的融合机制，实现对多模态特征的自适应调整。实验结果表明，在三个来自东海的带有真实标注的渔船数据集上，MM-FishingNet显著优于单一模态基准模型和采用简单特征融合方法的模型，平均准确率达到92.23%，F1分数为92.18%。这为渔船操作类型的智能化监控提供了一种新的技术范式。

在实际应用中，数据来源的选择对识别的准确性和系统可行性具有重要影响。目前，AIS数据因其高采样频率、广泛覆盖范围和强大的实时性，已成为主流选择。相比之下，传统的船舶监控系统（VMS）数据由于采样频率较低（30分钟到2小时），往往无法捕捉到瞬时的捕捞行为特征，导致关键信息的丢失。电子监控系统（EMS）虽然能提供图像或视频数据，在港口或固定站点表现出良好的效果，但在开放海域的部署成本较高，并且面临隐私问题和效率瓶颈。AIS数据通过提供稳定且更全面的行为特征轨迹记录，为自动识别渔船操作类型奠定了坚实的基础，并成为支持联合国可持续发展目标的重要技术手段。

在这一背景下，研究人员提出了多种识别方法。从发展历程来看，早期的实证阈值方法主要依赖于人工规则，泛化能力有限。为了提高模型的适应性，后续研究转向基于统计特征的机器学习方法。虽然这些方法通过特征工程提升了性能，但它们仍然受限于浅层特征表示。随着深度学习的兴起，基于深度学习的方法在渔船操作类型识别中取得了新的突破，主要归功于其强大的自动特征学习能力。这些方法大致可以分为两类：基于时间分析的模型和基于空间分析的模型。然而，每种方法都存在固有的局限性。基于时间分析的模型难以全面感知轨迹的空间布局，而基于空间分析的模型则容易忽略关键的局部和短期动态信息。这种时空特征表示的碎片化限制了它们的应用潜力。

更重要的是，现有的深度学习方法在数据层面仍面临挑战：在AIS轨迹级别的样本中，捕捞与非捕捞数据常常交织在一起，非捕捞数据占比较高，并且在不同渔船之间表现出高度的一致性。相比之下，捕捞数据较为稀缺，并且由于渔具的不同，表现出显著的异质性，这使得模型难以从完整的轨迹中提取稳定且具有广泛适用性的判别特征。为了克服这一问题，研究逐渐转向多模态融合，结合时间特征与轨迹图像，以弥补单一模态方法的不足。同时，时间-频率（time-freq）特征分析展现出独特的优势。与仅依赖时间域轨迹特征不同，频率域能够放大时间序列中的潜在周期性节奏，同时在一定程度上抑制噪声干扰，从而增强模型对细微差异的捕捉能力。近年来，诸如快速傅里叶变换（FFT）、短时傅里叶变换（STFT）和小波变换（WT）等方法在深度学习框架下的时间序列建模中得到了广泛应用。这些技术在语音识别、机械故障诊断和金融预测等任务中均表现出显著的有效性，为将时间-频率特征应用于渔船操作类型识别提供了有价值的参考。

综上所述，本文提出的MM-FishingNet是一种多模态自适应识别模型，融合了AIS时间-频率特征和轨迹图像。该模型由三个核心模块组成：双域特征提取模块（DDFE Module）、空间差异识别模块（SDI Module）和动态权重融合模块（DWF Module）。其中，双域特征提取模块采用并行双分支结构，一方面利用多层感知机（MLP）从AIS数据中提取时间域的统计特征，另一方面使用快速傅里叶变换（FFT）捕捉频率域的特征。这种设计提高了模型对不同渔船操作类型之间细微差异的识别能力。空间差异识别模块将AIS轨迹数据转换为图像格式，并利用在大规模ImageNet数据集上预训练的ResNet-18模型进行处理。通过微调，该模块能够适应渔船轨迹的空间结构特征，从而提升对不同操作类型空间模式的区分能力，同时降低过拟合的风险。动态权重融合模块采用基于注意力的多模态融合机制，实现对AIS时间-频率特征和空间图像特征的自适应加权融合。通过引入先验知识作为初始权重，该模块能够根据每个样本的特点动态调整各模态的贡献，充分发挥多源信息的互补优势，从而显著提升渔船操作类型的识别精度和模型的鲁棒性。

本文的研究成果不仅为海洋渔业管理中的渔船操作类型识别提供了新的技术手段，还为海洋生态保护和可持续渔业发展提供了重要的支持。通过构建一个能够有效融合时间-频率特征与轨迹图像的模型，MM-FishingNet克服了单一模态方法在数据分布和特征表达上的局限性，实现了对渔船操作类型的高精度识别。这不仅有助于提升对非法捕捞行为的监控能力，还为科学监管和生态补偿提供了可靠的技术基础。此外，该模型的提出也为未来的研究提供了新的方向，例如如何进一步优化多模态融合机制，以适应更加复杂和多样化的捕捞行为，以及如何在实际应用中提高模型的实时性和计算效率。

在具体实施过程中，模型的训练和评估过程充分考虑了实际应用场景的需求。首先，数据预处理阶段对AIS轨迹数据进行了清洗和标准化，确保数据的质量和一致性。然后，通过构建合理的数据集，结合多种评估指标，如准确率、F1分数、召回率和精确率，全面衡量模型的性能。实验结果表明，MM-FishingNet在多个关键指标上均优于现有方法，显示出其在实际应用中的巨大潜力。此外，通过消融实验，研究人员进一步验证了各模块对模型性能的贡献，发现双域特征提取模块和动态权重融合模块对提升识别精度具有显著作用。同时，可视化分析也揭示了模型在捕捉轨迹特征和空间模式方面的有效性，为后续的模型优化和应用拓展提供了直观依据。

在实际应用中，MM-FishingNet可以为海洋管理机构提供实时、准确的渔船操作类型识别能力，从而支持更加精细化的监管策略。例如，在监测非法捕捞行为时，该模型能够快速识别异常轨迹模式，提高执法效率。在生态保护方面，通过区分不同渔具类型的捕捞行为，该模型有助于制定针对性的管理措施，减少对特定生态系统的破坏。此外，该模型还能够为渔业资源的可持续利用提供数据支持，帮助决策者更好地评估渔业活动对海洋生态的影响，从而实现科学管理和生态平衡。这种技术手段的引入，标志着海洋渔业管理从传统的经验判断向智能化、数据驱动的转变，为实现联合国可持续发展目标中的“可持续海洋资源管理”提供了有力的技术支撑。

值得注意的是，MM-FishingNet的构建不仅依赖于先进的深度学习技术，还融合了多源数据的互补优势。通过将时间-频率特征与轨迹图像相结合，该模型能够更全面地捕捉渔船操作行为的特征，弥补单一数据源在信息表达上的不足。这种多模态融合的思路在其他领域也具有广泛的应用前景，例如在交通监控、环境监测和工业设备诊断中，均可以通过整合多种数据类型提升模型的识别能力和泛化性能。因此，本文的研究成果不仅对海洋渔业管理具有重要意义，也为其他相关领域的智能化监控提供了有益的借鉴。

此外，MM-FishingNet的设计还充分考虑了实际应用中的计算资源和数据处理效率问题。在模型的优化过程中，研究人员采用了轻量级的网络结构，确保模型能够在资源受限的环境中运行。同时，通过引入注意力机制，模型能够动态调整各模态特征的权重，从而在保证识别精度的同时，减少不必要的计算负担。这种设计思路使得MM-FishingNet不仅适用于大规模数据集，也能够在实际部署中实现高效的运行。在实际应用中，模型的部署可能涉及多个环节，包括数据采集、预处理、特征提取、融合和最终的识别结果输出。因此，模型的鲁棒性和适应性对于实际应用至关重要，而MM-FishingNet在这些方面均表现出色。

本文的研究成果也揭示了当前渔船操作类型识别技术的一些关键问题和未来发展方向。首先，数据的不平衡性仍然是一个亟待解决的挑战。由于非捕捞数据占比较高，而捕捞数据相对稀缺，模型在训练过程中可能偏向于非捕捞类别，从而影响对捕捞行为的识别能力。为了解决这一问题，研究可以进一步探索数据增强和重采样技术，以提高捕捞数据的代表性。其次，模型的泛化能力仍需提升。在不同海域和不同渔船类型的情况下，模型的表现可能会有所差异，因此需要进一步优化模型的结构，使其能够适应更广泛的应用场景。此外，模型的实时性也是一个重要的考量因素。在实际应用中，渔船操作类型的识别需要快速响应，因此需要进一步提高模型的计算效率，以满足实时监控的需求。

最后，本文的研究成果还强调了多模态融合在复杂数据识别任务中的重要性。通过整合时间-频率特征和轨迹图像，MM-FishingNet不仅提升了识别的准确性，还增强了模型对复杂模式的感知能力。这种多模态融合的思路为未来的研究提供了新的方向，例如如何进一步挖掘不同模态特征之间的关联性，以及如何在不同应用场景中灵活调整融合策略。随着人工智能技术的不断发展，多模态融合方法将在更多领域展现出其独特的优势，为复杂数据的识别和分析提供更加全面和精准的解决方案。因此，MM-FishingNet的提出不仅是对渔船操作类型识别技术的一次重要突破，也为多模态深度学习模型的发展提供了新的思路和方法。