DOR-vul：用于高效漏洞识别的跨模态推理蒸馏

《Neurocomputing》：DOR-vul: Cross-modal reasoning distillation for efficient vulnerability recognition

　　

•跨模态蒸馏将大语言模型（LLM）的推理能力转移给紧凑的 CodeT5+ 学生模型。
•隐式 LUPI 约束强制潜在空间捕捉因果代码语义。
•语义感知决策融合（SADF）最小化假阳性预测。
•在高不平衡的 Reveal 评估基准上达到 53.05% 的 F1 分数。
•推理延迟降低至 59.4 毫秒，消除了对运行时 LLM API 的依赖。

引言
软件漏洞仍然是全球数字基础设施的持续性威胁 [1], [2]。随着软件系统的规模和复杂性增加，手动代码审计变得不切实际，因此需要开发自动化、可扩展且准确的漏洞检测（VD）系统。传统的静态应用程序安全测试（SAST）工具严重依赖预定义规则和模式匹配 [3]。虽然计算效率高，但这些工具容易出现高误报率（FPR），并且往往无法检测上下文依赖的逻辑缺陷 [4]。
为了克服这些局限性，深度学习（DL）方法获得了大量关注。早期的基于序列的模型 [5] 和像 Devign[6] 和 Reveal[7] 这样的基于图的方法对代码结构进行建模以捕捉控制流和数据流。最近，SAHAN (2026) [8] 引入了层级注意力网络来高效切片语法树。尽管有这些进步，但这些模型在封闭世界约束下运行。虽然在捕捉内部结构语义方面有效，但它们孤立地分析代码，缺乏推理微妙逻辑缺陷所需的外部知识（例如知道已弃用 API 函数的安全含义）。
大语言模型（LLM）的出现引入了新范式。像 GPT-4 和 Claude 这样的模型拥有广泛的通用知识。然而，最近的基准研究（2025）揭示了将原始 LLM 应用于漏洞检测的根本局限性。研究“To Err is Machine" [9] 表明，即使是 SOTA LLM 也难以区分修补后的代码和存在漏洞的代码，即使使用思维链（CoT）提示，往往平衡准确率仅略高于随机猜测。同样，“How Far Are We?” [10] 显示，由于“过度思考偏差”（模型在安全代码中幻觉出漏洞）[11]，性能在现实、去重数据集上崩溃。
加重这一问题的是，像 FuSEVul (2026) [12] 和 Vul-RAG (2024) [13] 这样的基于融合的方法虽然提高了准确率，但引入了严重的推理瓶颈。依赖对每个输入样本查询庞大的 LLM（或 RAG 管道）会导致高延迟（ms/sample）、高昂的 API 成本和隐私风险，使其不适用于实时 CI/CD 管道。这造成了一个关键的三重困境，即系统必须平衡（1）推理深度，（2）操作延迟，和（3）幻觉鲁棒性。
解决这种内在冲突需要一个分层框架，将推理过程与最终推理步骤解耦。为此，本文提出了 DOR-Vul（用于漏洞检测的结果推理蒸馏）。核心洞察受到最近智能体安全 [14] 和推理蒸馏 [15], [16] 行业进步的启发，通过运行在两个阶段的跨模态知识蒸馏策略来实现。在此背景下，“跨模态”明确指代码语法结构空间与自然语言语义推理空间之间知识和知识的转移与对齐。过程如下：
1. 离线教师阶段：构建一个“教师”系统，利用混合 RAG 模块和强大的 LLM（Gemini 2.0 Flash）。该教师融合源代码与检索到的外部知识（CWE 定义、历史 CVE）以生成高质量的“理由”——一个思维链解释，将检测基于经过验证的事实。
2. 在线学生阶段：这种丰富的推理能力被蒸馏到一个紧凑的“学生”模型（CodeT5+ [17]）中。学生模型通过多任务目标进行训练，不仅预测标签，还重建教师的理由。这强制学生将其潜在空间内部化语义推理逻辑，消除了推理期间对教师（以及 RAG 检索）的需求。
为了确保生态有效性，基准测试在平衡的 Devign 数据集 [6] 和原始的高不平衡 Reveal 数据集（漏洞比例）[7] 上进行。实证评估表明，DOR-Vul 达到了新的最先进水平（SOTA），在 Reveal 上达到 53.05% 的 F1 分数（超过 FuSEVul 的 46.76%），同时保持推理延迟为 ms/sample——相比依赖 API 的基准实现了倍速提升。
本工作的主要贡献总结如下：
•隐式 LUPI 蒸馏框架：通过学习使用特权信息（LUPI）对推理能力的转移进行数学公式化，证明蒸馏理由（CoT）充当语义正则化器，将学生的潜在流形与教师的因果逻辑对齐。
•通过确定性信息瓶颈（DIB）的理论依据：为生成约束提供正式证明，证明多任务目标充当 DIB，严格界定假设空间的 Rademacher 复杂度，并超越了标准监督学习在封闭世界数据上的局限性。
•在不平衡分布上的鲁棒性：除了标准指标外，还证明提出的语义感知决策融合（SADF）机制显著提高了在高不平衡、现实基准上的泛化能力，确立了效率和鲁棒性的新基准。
•可复现性：为确保完全可复现，核心推理管道、去污评估数据集和预训练模型已开源。访问详情提供在数据和代码可用性部分。

论文结构：本文其余部分结构如下。第 2 节回顾基于深度学习的漏洞检测和知识蒸馏的相关工作。第 3 节详细说明了提出的 DOR-Vul 框架，包括混合检索机制和跨模态推理蒸馏过程。第 4 节呈现实验设置、对比结果和消融研究。第 5 节讨论定性分析和案例研究，第 6 节讨论局限性。最后，第 7 节总结全文并概述未来研究方向。

部分章节片段
相关工作
自动化漏洞检测已从简单的模式匹配演变为复杂的深度学习范式。现有文献分为四个主要流派：(1) 图和结构感知学习，(2) 预训练语言模型（PLM），(3) 基于 LLM 的融合与推理，以及 (4) 知识蒸馏。表 1 总结了提出的 DOR-Vul 框架与最近基准之间的架构差距。

问题形式化与融合架构
符号说明：在本节中，我们统一将代码片段记为，增强查询记为，检索上下文集记为，教师的理由记为。对于超参数，我们区分（检索权重），(焦点损失权重) 和（决策融合权重）以防止符号过载。
漏洞检测任务被形式化为一个由异构信息融合增强的二进制分类问题。设表示代码片段数据集，其中每个与一个相关联。

实验与分析
通过以下研究问题（RQ）评估 DOR-Vul 的检测性能、推理延迟和数据效率：
•RQ1: SOTA 性能。DOR-Vul 与最先进的方法（特别是最近的基于融合的 FuSEVul 和语法感知的 SAHAN 模型）在平衡和不平衡基准上相比如何？
•RQ2: 消融分析。每个融合组件（理由蒸馏、焦点损失、CWE 分类）对最终性能的贡献是什么？
•RQ3: 定性分析：将推理与预测解耦
仅定量指标无法完全捕捉安全关键工作流中漏洞检测器的可靠性。为了展示 DOR-Vul 的语义深度，对特定测试用例进行了细粒度分析，对比模型的二元判决与其生成的思维链理由。

为什么 DOR-Vul 优于 SOTA：关键分析
实证结果表明，DOR-Vul 有效地学习了比竞争方法更鲁棒的特征流形。虽然“在线融合”方法依赖显式检索，“语法感知”方法如 SAHAN 依赖局部结构线索，但提出的方法通过内部化漏洞的因果依赖关系而取得成功。这种优越性通过表征学习的视角进行分析：
1. 克服 HardVD 和 CAPTURE 的“视觉差距”：最近的方法如 HardVD [19]

结论
本文提出了 DOR-Vul（Distilling Outcome Reasoning），证明可以通过知识蒸馏有效地将 LLM 的“推理”能力与其高延迟的“推理”解耦。通过将漏洞检测重新表述为多源信息融合问题，引入了一种新颖的跨模态知识蒸馏策略。
主要贡献包括：
(1) 理论框架：基于隐式 LUPI 和确定性信息瓶颈的理论框架

CRediT 作者贡献声明
Amirreza Vafaei Moghadam：原创草稿撰写，可视化，验证，软件，方法论，数据整理，概念构思。Davar Giveki：审阅与编辑，监督，方法论，调查，概念构思。

数据和代码可用性
复现本研究所述定量指标和定性理由所需的源代码、数据集、配置和说明已公开托管在 GitHub 上：https://github.com/csmuni/DOR-Vul。预训练模型权重和评估笔记本的访问权限在仓库文档中提供。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

Amirreza Vafaei Moghadam 获得了伊朗马莱耶大学的计算机工程学士学位。他的研究兴趣包括人工智能、深度学习、自然语言处理和计算机视觉。
Amirreza Vafaei Moghadam | Davar Giveki