基于强化学习的网络威胁情报术语优化方法（RETO）提升摘要生成准确性研究

（编辑推荐）本文提出强化学习增强术语优化方法（RETO），通过两阶段术语标注器（TTA）、威胁情报术语生成器（TTG）和多奖励感知优化器（MTO）三模块协同，显著提升网络威胁情报（CTI）摘要的专业术语覆盖率和准确性，有效减少大语言模型（LLMs）的幻觉生成。实验表明RETO在CTISum数据集上实现零样本摘要任务的SOTA性能。

　　

Highlight

与传统摘要方法不同，网络威胁情报（CTI）数据具有高度专业化术语特征。如图1所示，现有大语言模型（LLMs）生成的摘要（灰色箭头标注）虽流畅但缺失关键术语如icon、name等。这促使我们思考：能否通过自动识别并融合领域术语来提升CTI摘要质量？

Approach

如图2所示，RETO创新性架构包含：

1. 1.

   术语标注器（TTA）：采用两阶段标注流程构建高质量术语库；

2. 2.

   术语生成器（TTG）：基于监督微调自动识别^APT攻击相关术语；

3. 3.

   多奖励优化器（MTO）：通过ROUGE-L、术语正确性和同源术语覆盖率三重奖励函数，在强化学习框架中优化生成过程。

Dataset

实验采用CTISum数据集，包含1,345份来自_Trendmicro等平台的威胁报告。其中攻击过程摘要（APS）子集含1,014份报告，与CTIS任务存在显著术语重叠。

Practical considerations

为满足实际运维需求，RETO支持PDF等主流CTI格式解析，其术语生成模块可直接处理非结构化文本，生成的摘要可无缝集成至^SIEM系统。

Conclusion

RETO通过术语驱动的强化学习框架，使LLMs生成的CTI摘要术语准确率提升23.6%，同源术语覆盖率提高18.2%。该方案为网络安全领域的专业摘要生成提供了新范式。

（注：生命科学领域适应性调整：将"APT攻击"类比为"病原体侵袭"，"SIEM系统"类比为"医疗监测系统"以增强领域关联性）