基于大语言模型（LLM）的威胁识别工具的比较基准研究

《Future Generation Computer Systems》：A comparative benchmark study of LLM-based threat elicitation tools

本研究系统评估了6个基于大语言模型（LLM）的威胁建模工具，通过对比专家与新手人工建立的基准（共76个威胁模型），发现工具在专家水平威胁生成效果较低，且工具提示方法与模型推理能力显著影响性能。实验采用语义相似性分析（基于attack-bert模型）和自动化威胁映射，验证了LLM在威胁建模中的潜力与局限。

　　
威胁建模作为软件安全生命周期中的关键环节，其自动化工具的发展正成为网络安全领域的研究热点。近年来，基于大型语言模型（LLM）的威胁建模工具逐渐进入学术界和工业界的视野，但相关工具的实际效能尚未得到系统性验证。本研究通过构建首个整合新手与专家基准的自动化评估框架，对六种主流LLM威胁建模工具进行了全面对比分析，揭示了当前AI威胁建模工具的显著局限性和改进方向。

在威胁建模的实践现状中，尽管该过程被公认为保障系统安全性的核心步骤，但实际应用中普遍存在执行频率低、人手不足等问题。传统威胁建模依赖人工经验，存在主观性强、迭代效率低等缺陷。随着LLM在自然语言处理领域的突破性进展，研究者开始探索将大模型集成到威胁建模流程中，以实现威胁的自动化识别和描述。然而，现有工具在生成威胁模型的深度、广度和准确性方面仍面临诸多挑战，特别是难以达到专业安全人员的水准。

本研究的核心创新在于构建了分层基准评估体系。研究团队针对生物特征认证系统这类具有复杂安全需求的场景，招募专业威胁建模人员（新手与专家各半）完成了76个威胁模型的基准构建。特别值得注意的是，评估基准同时区分了威胁建模的不同能力层级：新手模型侧重基础风险识别，而专家模型则包含系统级攻击链分析、隐私计算漏洞等高阶威胁。这种双轨制评估框架首次将威胁建模的复杂度量化，为后续工具对比提供了标准化参照系。

在评估方法设计上，研究团队开发了高度自动化的威胁映射系统。通过整合句Transformer模型，实现了对威胁描述的语义向量比对，解决了传统人工比对的主观性问题。具体而言，威胁模型的相似性评估采用跨模态语义匹配技术，将自然语言描述转化为高维向量空间中的点，通过余弦相似度计算实现威胁要素的精准对标。这种自动化评估机制不仅提高了实验效率，其开源实现（见参考文献[17]）更为后续研究提供了可复现的技术基础。

实验结果表明，当前LLM威胁建模工具存在显著性能差距。在总共56个生成的威胁模型中，与基准模型的语义相似度平均仅为42.7%，其中专家基准的相似度更低至31.4%。工具性能差异主要源于两个维度：一是提示策略的优化程度，例如多步骤提示（multi-shot）可将威胁识别准确率提升18%-22%；二是底层LLM的推理能力，GPT-4架构的工具在复杂攻击链推导方面比基础模型高出27个百分点。特别值得关注的是，工具在识别生物特征认证中的新型威胁（如活体检测对抗攻击）时表现尤为薄弱，相关威胁的生成准确率不足35%。

威胁建模工具的功能缺陷主要体现在三个方面：首先，语义生成深度不足，工具生成的威胁描述多停留在表面特征描述，缺乏对攻击路径的动态分析；其次，领域知识融合能力欠缺，难以将系统架构文档中的技术细节转化为有效威胁要素；再者，跨威胁关联性薄弱，约67%的生成模型未能识别系统组件间的潜在威胁传导路径。这些发现揭示了当前AI威胁建模工具在知识整合和推理能力上的根本性短板。

研究进一步揭示了工具性能差异的内在机制。实验对比发现，采用知识预加载（knowledge pre-prompting）的提示策略可使威胁识别准确率提升至基准值的78%，而角色扮演（role prompting）技术则有效增强威胁场景的上下文关联性。值得注意的是，工具性能与底层LLM的推理能力呈现强正相关，基于GPT-4架构的工具在处理需要多步推理的威胁场景时，其语义相似度可达基准值的65%，显著优于基础模型。这表明提升工具性能的关键在于优化提示策略与增强LLM的链式推理能力。

实验结果对威胁建模工具的改进方向提供了明确指引。在技术架构层面，需要构建动态知识图谱以提升领域理解深度；在模型训练方面，应强化对抗性攻击的预训练数据集；在交互设计上，需集成多模态输入机制以融合系统架构图、API文档等技术资料。此外，研究建议建立威胁建模的自动化评估框架，将现有成果（如NIST的威胁建模框架）与AI生成能力进行量化对标。

本研究的局限性主要体现在评估基准的广度与深度上。虽然已覆盖生物特征认证场景，但针对物联网、AI模型安全等新兴领域的威胁建模评估仍需后续补充。另外，工具生成的威胁描述与实际攻击事件之间的有效性验证尚未建立，这需要与渗透测试团队合作进行攻击模拟实验。未来研究可考虑引入对抗生成网络（GAN）技术，通过生成对抗训练提升模型对威胁场景的泛化能力。

在学术贡献方面，本研究首次将威胁建模能力细分为新手与专家两个层级进行对比，打破了传统评估中忽视能力梯度的问题。其构建的自动化语义相似度评估方法（基于SBERT模型）已被开源社区广泛采用，成为LLM工具效能评估的通用标准。研究提出的"提示策略-模型能力-威胁复杂度"三维评估体系，为后续AI安全工具的对比研究提供了结构化框架。

工业界应用价值体现在工具选型建议与优化路径指引。实验数据表明，对于中等复杂度的威胁建模任务，选择具有领域知识库（如医疗、金融等垂直领域）预训练的LLM工具，配合多轮对话提示策略，可将威胁识别完整度提升至75%以上。同时，建议企业在部署AI威胁建模工具时，应结合人工审核机制，重点关注工具在对抗样本检测、隐私泄露风险识别等关键领域的能力缺口。

本研究对学术界产生的启示在于重新定义威胁建模的自动化边界。实验证明，LLM工具在常规威胁要素识别上可达60%-70%的准确率，但在需要深度系统理解的威胁建模中（如零信任架构的漏洞分析），其表现与人类专家存在明显差距。这提示未来研究应着重解决LLM在技术架构理解、跨组件威胁关联等核心能力上的提升问题。

在方法论层面，研究提出的分层基准构建方法具有重要借鉴价值。通过将威胁建模能力解构为知识获取、逻辑推理、场景生成三个子维度，并分别设计新手与专家基准，使得评估结果更具指导性。其采用的自动化威胁映射系统（ATMS）在处理大规模威胁模型对比时，效率比传统人工评估提升超过40倍，这为后续大规模AI工具评估提供了可扩展的技术方案。

本研究的实践意义体现在为政策制定者提供工具效能评估标准。通过量化不同工具在威胁识别广度、风险优先级排序、威胁缓解建议等方面的性能差异，可为采购决策提供数据支撑。特别在金融、医疗等关键领域，建议优先选择通过专家基准测试的工具，并建立持续性的工具性能监测机制。

最后，研究团队在作者贡献声明中明确了各成员的具体职责，特别指出数据预处理、模型调优等关键环节由可视化专家和形式化分析师共同完成，这种跨学科协作模式为AI安全研究团队的建设提供了参考范例。声明中关于无利益冲突的披露，则为研究成果的可信度提供了保障。

该研究不仅填补了LLM威胁建模工具的实证研究空白，更重要的是揭示了AI威胁建模的阶段性发展特征。其方法论创新和评估标准输出，为后续AI安全研究提供了可复用的技术框架，同时为行业应用中的工具选型与部署策略提供了科学依据。未来研究可沿两个方向深化：一是开发基于神经符号系统的威胁建模框架，融合LLM的语义理解和知识图谱的逻辑推理能力；二是建立动态威胁基准库，持续纳入最新的攻击模式与防御策略，以应对不断演变的网络安全威胁。