《Information》：Attribution-Guided Prompt Optimization for Cross-CWE Vulnerability Detection
编辑推荐：
软件漏洞检测在提升软件质量、系统可靠性和安全保障方面发挥着关键作用。基于提示的适应为低资源常见弱点枚举（CWE）环境下的漏洞检测提供了一种轻量级替代方案，在该环境中，标注的目标域数据有限，且模型微调成本高昂或不稳定。本文提出了一种集成梯度引导提示优化（IGPO
软件漏洞检测在提升软件质量、系统可靠性和安全保障方面发挥着关键作用。基于提示的适应为低资源常见弱点枚举（CWE）环境下的漏洞检测提供了一种轻量级替代方案，在该环境中，标注的目标域数据有限，且模型微调成本高昂或不稳定。本文提出了一种集成梯度引导提示优化（IGPO）方法，该方法利用归因反馈引导大型语言模型（LLM）修订提示，用于低资源跨CWE漏洞检测。IGPO保持漏洞检测器固定，在目标验证数据上评估当前提示，识别假阳性（FP）和假阴性（FN）案例，为误分类函数计算集成梯度（IG），将令牌级归因聚合为行级反馈，并利用大型语言模型诊断错误模式并优化提示。在来自PrimeVul、DiverseVul和BigVul的C/C++函数上，跨14个CWE类别进行的实验表明，在正迁移源-目标对中，IGPO将平均F1分数从0.6780提升至0.7267，并在94.97%的此类对上优于零样本基线。这些结果使IGPO成为一种基于归因信息的提示适应框架，在不更新检测器的情况下改善了跨CWE漏洞检测，同时强调了在负迁移下骨干模型适用性的重要性。该方法对于需要将漏洞检测器适应到具有有限标注数据的新CWE类别的安全研究人员和从业者尤为有用。
**论文解读文章**
**1. 研究背景与问题**
软件漏洞检测是提升软件质量、系统可靠性和信息安全的基础任务。随着现代软件系统日益复杂，低级代码中的漏洞可能导致内存损坏、权限提升、信息泄露、拒绝服务等安全风险。传统技术如静态分析、符号执行和污点分析虽被广泛使用，但通常依赖专家经验，在处理大规模、多样化代码库时面临可扩展性差或误报率高的问题。基于学习的方法（如神经网络检测器、预训练代码模型和大型语言模型）近年来受到关注，但其有效性高度依赖数据质量、漏洞分布和评估协议。对于许多特定的常见弱点枚举（CWE）类别，标注样本有限、不平衡或获取成本高昂，使得在低资源场景下进行目标特定微调困难。基于提示的适应提供了一种轻量级替代方案，无需更新检测器参数，通过任务描述、CWE定义、安全清单等引导固定模型。然而，跨CWE迁移并不总是可靠：源CWE的特定偏差可能损害目标CWE的检测，当目标CWE遵循不同的漏洞机制时，迁移效果可能为负。现有自动提示优化方法通常依赖聚合验证指标、历史提示、完整误分类样本或自然语言批评，这些反馈能指示提示性能，但很少提供关于哪些代码区域影响错误预测的信息。对于漏洞检测，假阳性可能由可疑名称、常量、宏或安全相关术语等表面线索引起，而假阴性可能需要推理边界检查、指针生命周期、别名关系、资源状态、整数范围或异常处理路径。将完整误分类函数传递给优化器可能引入无关上下文，掩盖检测器实际依赖的区域。因此，需要更细粒度的、基于模型行为的诊断反馈来指导提示优化。
**2. 研究内容与结论**
研究人员提出了一种称为集成梯度引导提示优化（IGPO）的方法，用于低资源跨CWE漏洞检测。IGPO保持检测模型固定，使用集成梯度（IG）作为诊断工具，从误分类验证样本中提取行级归因反馈，并结合错误类型、验证指标，由大型语言模型（LLM）进行错误诊断和提示修订。实验基于来自PrimeVul、DiverseVul和BigVul三个数据集的C/C++函数，构建了包含14个CWE类别的完整有序跨CWE迁移矩阵，共182个非对角线源-目标对。其中159个对显示正迁移（源微调模型F1高于基模型零样本），23个对显示负迁移。主要评估集中在正迁移对上，IGPO实现了平均F1分数0.7267，比源模型零样本基线提升0.0487，并在94.97%的正迁移对上优于基线。消融实验表明，基于归因的行选择、联合假阳性（FP）和假阴性（FN）反馈、简洁的top-k反馈以及LLM错误诊断均对最终性能有贡献。该论文发表在《Information》期刊上。
**3. 关键技术方法概述**
IGPO方法的核心技术包括：集成梯度（IG）归因计算，用于从误分类验证样本中获取令牌级敏感度，并通过聚合得到行级归因分数；行级归因反馈构建，通过限制归因于用户代码令牌并选择top-2高分行作为诊断证据；LLM驱动的错误诊断与提示修订，将归因行、错误类型和验证指标输入优化器模型（deepseek-v4-flash），生成诊断摘要后修订提示。数据来源为PrimeVul、DiverseVul和BigVul三个公开漏洞数据集，包含14个CWE类别的C/C++函数，经去重和长度过滤后，每个CWE类别最多800个样本（正负平衡），并按7:1:2划分为训练、验证和测试集。检测骨干模型为Qwen2.5-Coder-7B，通过LoRA微调于源CWE训练集，优化器模型采用外部API。
**4. 研究结果**
**4.1. 跨CWE迁移背景**
通过分析源CWE微调模型在14个CWE类别上的零样本迁移行为，发现对角线设置（训练与测试CWE相同）平均F1为0.8601；非对角线跨CWE迁移中，159个对显示正迁移（平均F1提升0.1598），23个对显示负迁移（平均F1下降0.1075）。这表明源CWE微调对相关目标CWE通常有帮助，但并非普遍可靠。
**4.2. 正迁移对上的性能**
在159个正迁移对上，IGPO取得了最高平均F1分数0.7267，比Fine-ZS（源微调模型零样本）提升0.0487，并在94.97%的对上优于Fine-ZS。IGPO的平均排名为1.3019，优于所有对比方法。自动优化基线中，TextGrad和OPRO分别获得0.6975和0.6974的平均F1，但提升幅度和胜率远低于IGPO。手动提示方法改进有限，而基于结构的CodeSpeak和DLAP简化版尽管无预测退化，但整体F1最低。配对Wilcoxon符号秩检验确认IGPO显著优于Fine-ZS、TextGrad和OPRO（经Holm校正后）。
**4.3. 消融研究**
通过消融实验验证IGPO组件贡献：用随机行替换IG选择行导致平均F1从0.7267降至0.4243；使用完整误分类样本（无IG归因）性能也低于完整IGPO；仅使用FN或FP反馈均不如联合使用；移除LLM错误诊断步骤使F1降至0.7085；增加保留IG行数至4行或6行分别降至0.6639和0.5570。这些结果表明，IG选择行、联合FP/FN反馈、简洁top-2反馈和LLM诊断均有助于性能。
**4.4. 基于归因的诊断案例研究**
以CWE-416（释放后使用）为例，展示IG反馈如何引导提示演变。早期提示可能因表面线索产生假阳性，IG高归因于名称、常量等；假阴性则突出清理操作、别名传播等。优化器据此调整提示，要求更强的不安全使用证据和跨语句生命周期跟踪。案例表明IG提供模型行为诊断，而非漏洞因果解释。
**4.5. 计算开销**
IGPO在单个RTX 5880 GPU上，每对平均运行时间约200秒，主要开销来自IG计算（16步，每步约200ms）。与TextGrad相比，IGPO需额外归因计算，但在低资源验证设置下开销可接受。
**4.6. 负迁移对上的性能**
在23个负迁移对中，IGPO完全恢复至基模型零样本水平的有4对（17.4%），部分稳定退化的有10对（43.5%），其余9对轻微加剧退化（平均额外下降仅0.002 F1）。由于骨干模型已受损，提示优化无法完全补偿。建议当源微调模型在目标验证集上的F1低于基模型时，回退到基模型零样本。
**5. 讨论与结论**
**讨论部分**：研究人员指出，IGPO主要在正迁移条件下有效，其归因反馈提供超越聚合指标或完整误分类函数的诊断信息。方法局限性包括：依赖源微调检测器质量，负迁移时归因信号可能反映源模型偏差；需要少量标注目标域验证样本；额外计算开销。实验限于C/C++函数级二元分类，14个CWE类别，且数据集平衡，可能不直接推广到高度不平衡的真实场景。未来工作将评估更多骨干模型、编程语言和任务，降低IG计算成本，并探索结合程序分析信号。
**结论部分**：本文提出IGPO，一种集成梯度引导提示优化方法，用于低资源跨CWE软件漏洞检测。该方法保持检测器固定，利用来自假阳性和假阴性验证样本的行级IG反馈，支持基于LLM的错误诊断和提示修订。在来自PrimeVul、DiverseVul和BigVul的C/C++函数上，跨14个CWE类别的实验表明，在159个正迁移源-目标对上，IGPO实现了平均F1分数0.7267，比源模型零样本基线提升0.0487，并在94.97%的对上优于基线。这些结果表明，IG信息驱动的诊断反馈有助于提示级适应，当源微调检测器仍是合适的骨干模型时；而本文中的IG应被解释为模型行为诊断信号，而非漏洞或模型决策的因果解释。这些发现对于需要将微调检测器适应到具有有限标注数据的新CWE类别的安全研究人员和漏洞检测工具开发者具有实际价值。未来工作将在更多模型骨干、编程语言和漏洞分析任务上评估IGPO，并探索更高效的IG计算以及与程序分析信号（如控制流、数据流和静态分析警告）的集成。
