《IEEE Aerospace and Electronic Systems Magazine》:Automatic Tagging of Foreign Information Manipulation and Interference Incidents With DISARM Tactics, Techniques, and Procedures
编辑推荐:
本研究针对外国信息操纵与干扰(FIMI)事件中战术、技术与过程(TTP)标注自动化程度低的问题,开发了首个事件级DISARM框架标注数据集,并评估了大语言模型(LLM)在该任务上的性能。研究发现GPT-5和Gemini-2.5-flash模型在微平均F1分数上分别达到0.663和0.669,证明LLM可作为半自动化标注辅助工具,显著提升人工标注效率。该研究为FIMI事件分析提供了重要技术支撑,推动了信息操作领域的标准化进程。
在数字时代,国家支持的战略信息操作(SSIO)已成为影响国际舆论的重要工具。随着欧洲对外行动署(EEAS)提出"外国信息操纵与干扰"(FIMI)新框架,学术界开始重视对信息操作行为的系统化分析。然而,现有研究多集中于检测技术,而在事件报告和归因方面——特别是战术、技术与过程(TTP)的标注——仍存在明显研究空白。
DISARM框架作为FIMI行为分析的核心本体,包含391个技术与子技术,但其标注过程面临三大挑战:标注数据集稀缺、本体定义不一致以及低频TTP的长尾分布。现有标注资源在标注者多样性、领域覆盖范围和事件级粒度方面都存在局限,严重制约了其实际应用价值。特别是在Indo-Pacific地区,相关研究更是严重不足,仅占现有数据集的11%。
为解决这一难题,Timothy Stephen Niven与Cheng-Te Li团队在《IEEE Access》上发表了开创性研究,构建了首个基于专家共识标注的事件级DISARM TTP数据集。该研究不仅填补了地理覆盖上的空白,还为自动化TTP标注提供了重要基准。
研究方法上,团队采用了多阶段专家共识标注流程。首先由原始调查分析师进行初步标注,随后经过评审员复核、共识讨论和小组汇报等环节,最终形成包含25个事件、8份公开报告的标注数据集。这些数据主要来自Doublethink Lab在Indo-Pacific地区的实地调查,确保了标注质量与语境相关性。
在技术实现方面,研究团队设计了零样本上下文学习方案,对比了OpenAI和Google的最新大语言模型性能。通过注入DISARM本体和标注指南到提示词中,系统评估了各模型在TTP标注任务上的表现。特别值得注意的是,研究还深入分析了错误模式,为后续模型优化提供了明确方向。
关键技术创新
研究采用了零样本上下文学习策略,将完整的DISARM 1.5本体注入提示词,要求模型基于事件描述文本进行TTP标注。通过对比GPT-5、GPT-5-mini、GPT-5-nano、Gemini-2.5-pro、Gemini-2.5-flash和Gemini-2.0-flash等六个模型,系统评估了成本性能权衡。模型输出采用思维链技术,强制生成包含证据提取的结构化结果,便于后续错误分析。
数据集构建成果
研究构建的数据集包含25个独立事件,覆盖了DISARM框架中200个技术(占总数51%)。统计显示,数据分布呈现明显长尾特征,其中"Persona Legitimacy"、"Present Persona"、"Determine Strategic Ends"等TTP出现频率最高,反映了当前FIMI事件主要集中在社交媒体的协同不真实行为上。数据集的细粒度事件级标注为行为指纹分析提供了坚实基础。
模型性能评估
实验结果显示,Gemini-2.5-flash表现最佳,微平均F1分数达到0.669,其成本仅为GPT-5的6%。在提供标注指南的情况下,所有模型性能均有显著提升(p=0.02)。具体而言,最佳模型在每个事件中平均能正确标注42个TTP,产生27个误报,漏报15个TTP。这种性能水平虽不足以完全替代人工标注,但作为辅助工具已能有效提升标注效率。
错误模式深入分析
研究对错误模式的深入分析揭示了三大问题:推理错误占主导(70%),定义模糊导致误判(30%),以及世界知识缺失造成的漏报。典型错误包括将多平台存在过度解读为"跨平台角色呈现",或将视频平台上的内容错误归类为"新闻文章开发"。这些发现指明了未来改进的关键方向。
标注指南的重要贡献
研究团队制定的标注指南对DISARM框架进行了重要补充。例如,明确了"利用现有叙事"技术在深浅叙事层面的区分标准,规范了"诱骗影响者"与"合作影响者"的判定边界,并对"内容推荐算法"等易混淆概念提供了操作化定义。这些指南不仅提升了标注一致性,也为框架的进一步完善提供了实践依据。
研究局限与展望
尽管成果显著,研究仍存在若干局限:模型性能仍有较大提升空间,数据集地理覆盖相对集中,且仅覆盖51%的DISARM TTP。未来工作将集中于提示工程优化、权重微调、外部知识库集成等方面,同时需要扩大数据集规模和多样性。
结论与重要意义
本研究实现了FIMI分析领域的三个重要突破:首先,创建了首个基于专家共识的事件级DISARM标注数据集,为领域研究提供了宝贵资源;其次,系统评估了大语言模型在TTP自动标注任务上的性能基准,证明了其作为人工标注辅助工具的实际价值;最后,通过深入错误分析,为后续模型优化和人类参与循环设计提供了明确技术路线。
该研究的实际意义在于:一方面,为分析师提供了高效的半自动化标注工具,有效解决了人工标注中高漏报率的痛点;另一方面,通过标准化标注指南促进了不同研究团队间的一致性,推动了FIMI分析框架的跨机构互操作性。随着DISARM框架的持续演进,这项工作为构建更加鲁棒、可扩展的信息操作分析生态系统奠定了坚实基础,对维护数字时代的信息安全具有重要战略价值。