海事态势感知的文本风险挖掘：基于大数据与AI的Kea端到端框架

《Array》：Maritime situational awareness: Harnessing big data and AI for textual risk mining and insights

　　

海事态势感知（Maritime Situational Awareness, MSA）：利用大数据与人工智能（Artificial Intelligence, AI）进行文本风险挖掘与洞察。研究表明AI方法可以规模化海事态势感知。端到端框架将全球海事事件转化为可操作的洞察。数据处理管道集成了文本挖掘、摘要生成、评分和可视化。语言模型生成复杂事件的连贯摘要。严重性评分和交互式地图揭示海事风险热点。

**论文解读**

**一、研究背景与问题**

海事行业支撑着全球经济，却持续面临海盗、恐怖主义、非法贩运和环境退化等多重威胁。为应对这些风险，各国海军和执法机构高度依赖海事态势感知（Maritime Situational Awareness, MSA）。然而，当前海事数据的碎片化特征以及对非结构化文本来源依赖人工分析的现状，严重制约了情报洞察的获取效率。与其他高风险行业相比，海事领域因基础设施陈旧和跨学科专业知识的匮乏，在自然语言处理（Natural Language Processing, NLP）和大型语言模型（Large Language Models, LLMs）等先进数据科学方法的采用上明显滞后。一个典型例证是，美国海军情报局（U.S. Office of Naval Intelligence, ONI）发布的《全球航运威胁周报》（Worldwide Threat to Shipping, WTS）作为关键信息库，因其非结构化文本数据的复杂性和庞大体积而长期处于未被充分利用的状态。人工审阅多年跨度的报告以识别长期趋势或新兴风险热点，不仅认知负担沉重、劳动密集，还可能导致主观性偏差。因此，迫切需要一种能够自动提取、综合和可视化风险情报的端到端框架。

**二、研究内容与意义**

针对上述问题，研究人员与新西兰国防军（New Zealand Defence Force, NZDF）国防科技（Defence Science & Technology, DST）部门合作，提出了名为Kea（源自新西兰本土鹦鹉名）的端到端数据科学原型框架。Kea将美国ONI WTS档案（2018–2023年）中超过2500份全球海事事件报告进行自动抓取、摘要生成、严重性评分和地理空间可视化，实现了从原始文本叙事到可操作情报的端到端转化。研究的主要贡献包括：构建Kea数据处理管道，实现事件抓取、摘要、评分与可视化的全流程自动化；对BART和PEGASUS两种基于Transformer的语言模型进行抽象式摘要的系统比较，并通过超参数调优抑制模型幻觉；应用VADER情感推理模型量化事件严重性，提供自动化且可解释的风险等级代理指标；以及提出基于余弦相似度和Five-C框架的无参考人工评估方法，解决缺乏标准摘要情况下的质量评判难题。该研究证明了NLP-LLM技术在规模化提升海事态势感知方面的可行性与价值。

**三、关键技术方法**

研究的数据来源为美国ONI WTS报告档案（2018–2023年），共271份月报，经预处理后提取出2533条结构化事件记录。核心技术方法如下：（1）数据预处理阶段，采用自定义算法结合正则表达式（REGEX）和关键词提取，将非结构化PDF报告转换为结构化数据集；（2）抽象式摘要阶段，使用基于Transformer架构的BART（Bidirectional and Auto-Regressive Transformer）和PEGASUS（Pre-training with Extracted Gap-sentences for Abstractive Summarisation）两种LLMs，通过系统调优上下文窗口与序列长度、束搜索大小（beam size）及长度惩罚项三个超参数来减少模型幻觉；（3）摘要选择阶段，以余弦相似度（Cosine-Similarity）作为无参考评估指标，从多个候选摘要中选出与原始事件描述语义对齐度最高者；（4）严重性评分阶段，使用VADER（Valence Aware Dictionary for sEntiment Reasoning）情感推理模型，通过归一化复合情感评分（compound score）量化事件严重性；（5）可视化阶段，利用Kepler.gl开源地理空间工具构建交互式时空可视化；（6）评估阶段，以Five-C框架（Coherence、Conciseness、Consistency、Construct、Confidence）为基础开展人工问卷调查，受调查者为NZDF DST成员（含海军军官），回复率超过70%。

**四、研究结果**

**数据预处理（Data preprocessing）：** Kea数据处理管道成功处理约200份ONI WTS报告（2018–2023年），抓取并结构化2533条事件记录，包含报告元数据、区域、领土和详细事件描述。算法呈现线性时间复杂度O(n)（n为报告数量），在典型条件下运行高效。2019至2021年间因部分报告为图像格式而无法被面向文本的管道解析，导致该时段事件数量下降，这一局限性推动了未来集成光学字符识别（Optical Character Recognition, OCR）的计划。经清洗（去重、标准化和缺失值处理）后，所得数据集为下游摘要和评分提供了高质量基础。

**抽象式摘要（Abstractive summarisation）：** 经调优的抽象式摘要管道实现了较高的语义保真度。BART和PEGASUS分别对每条事件描述生成候选摘要，以余弦相似度最高的候选作为最终摘要。2018–2023年间，平均余弦相似度μ_Cosine=0.73，表明摘要与原始叙述之间具有强语义对齐。六年间的余弦相似度中位数稳定在0.7至0.75之间。超参数调优有效减少了幻觉并提升了连贯性。时序分析显示事件描述长度与推理时间之间存在中等程度的正线性关系，每条事件的平均摘要生成时间μ_time=0.54秒。

**严重性评分（Severity scoring）：** VADER模型返回的复合评分范围为[-1, +1]，负值表示更严重或更高风险的事件。所有事件的平均复合评分μ_VADER=-0.32，与ONI WTS档案中高风险事件占主导的特征相符。纵向分析表明，2018至2023年间严重性评分呈现逐步改善趋势（中位数向正值方向移动）。这些评分为后续的时序趋势和区域风险模式分析提供了量化基础。

**基于调查的评估（Survey-based evaluation）：** 以NZDF DST成员为对象的调查从两方面展开评估：一是十条代表性事件摘要及其严重性评分的质量；二是Kea原型及其LLM摘要与风险评分方法的整体表现。摘要评估采用Five-C标准（Coherence连贯性、Conciseness简洁性、Consistency一致性、Construct语法正确性、Confidence可信度），每条标准以五点李克特量表评分。结果显示：在摘要质量方面，Kea管道中PEGASUS生成的摘要评分优于BART；ChatGPT 3.5摘要作为对照，在各事件上均达到或超出预期。在严重性评分方面，受访者对VADER评分总体满意，但对明确高风险事件的认同度高于低风险事件。Five-C各维度中，简洁性、连贯性和语法正确性获得持续正面评价，而一致性和可信度被识别为需进一步改进的领域。调查回复率超过70%（24位受邀者中17人回复），多数受访者具有AI/LLM工具使用经验。

**海事事件可视化（Visualisation of maritime incidents）：** 利用Kepler.gl构建了全球事件数据集的交互式时空可视化。事件位置和VADER严重性评分以热力图形式呈现，红色表示高风险，绿色表示低风险或可忽略风险。地理、时间和严重性的整合视图实现了区域风险概况和时序动态的快速评估。空间格局显示西非、东南亚和南美洲等区域存在明显聚类。2018至2023年的时序分析揭示了事件活动高发期和区域风险的演变。用户可通过事件类型、时间范围和位置进行筛选，支持操作人员的理解与主动决策。

**五、讨论总结与研究结论**

**相关性与意义：** Kea框架证明了端到端数据驱动方法用于海事态势感知的可行性和价值。其数据处理管道通过自动化事件抓取、基于LLM的抽象式摘要、严重性评分和交互式可视化，将碎片化的海事事件报告转化为连贯且可操作的情报。基于Five-C框架的人工参与评估表明，PEGASUS生成的摘要和VADER导出的严重性评分能够提供具有语义意义的全球海事风险视图，而余弦相似度则在缺乏标准摘要的情况下为摘要选择提供了实用的无参考标准。

**未来工作方向：** 未来改进集中在三个主要领域。第一，数据预处理可通过集成OCR处理图像格式报告，消除事件语料库中的系统性缺失，从而加强纵向分析的完整性。第二，文本风险挖掘需要对摘要和风险评分模型进行面向海事特定语料的领域适配训练（domain adaptation），以更好地捕捉专业术语、报告惯例和上下文依赖的风险语言，进而提升摘要保真度和严重性评分的准确性。第三，人撰事件报告和人类风险判断中固有的主观性构成持续挑战。建立标准化的风险分类法和严重性类别，并采用能够捕捉 nuanced 语境的高级模型有助于减轻变异性，但无法完全消除海事作业中嵌入的现实世界主观性。认识并系统性地容纳这种主观性，对于Kea及相关MSA系统的未来迭代至关重要。

（全文解读约1550汉字）