PromptSentinel：一种可审计的大语言模型恶意提示防护神经符号框架

《IEEE Transactions on Computational Social Systems》：PromptSentinel: A Neurosymbolic System for Malicious Prompt Detection

　　

摘要：

大语言模型（LLMs）的广泛采用要求其抵御恶意提示的攻击。现有的神经防护栏存在一个关键局限：其决策来源于不透明的、高维度的变换过程，难以被人审察，因此不适用于需要可审计性和人工监督的受监管或安全关键部署场景。本文通过引入PromptSentinel填补这一空白——这是一种神经符号框架，它：1）通过基于大语言模型的语义标注过程，将输入提示转换为结构化的语义表示（即意图、动作、目标和约束）；2）将这些基础元素投影到受监督的极化嵌入空间中；3）通过聚类将其离散化为符号标签。随后，基于规则的引擎在这些符号上运行，生成完全可审计的安全决策逻辑。在分布外、非自适应对抗条件下的评估显示，PromptSentinel在检测和可用性方面均与最强的专用神经防护栏性能相当。在最具对抗性的基准测试HarmBench上，它显著优于ShieldGemma，将攻击成功率（ASR）从8%降低至2%（p = 0.012）。关键在于，PromptSentinel在实现这一安全性能水平的同时，将每一项裁决都基于可检查的、人类可读的规则集，提供了黑箱神经防护栏在结构上无法提供的可审计性。综合来看，这些结果挑战了可解释性与安全性之间存在权衡的预设假设，表明透明的基于规则的防护机制可以在与最先进的专用神经方法性能竞争的同时，保持在决策规则层面的可检查性和可治理性。