当修复指导学习:用于提升优化鲁棒性的二进制漏洞检测的修复感知对比学习
《Journal of Systems Architecture》:When fixes teach: Repair-aware contrastive learning for optimization-resilient binary vulnerability detection
【字体:
大
中
小
】
时间:2026年02月11日
来源:Journal of Systems Architecture 5.3
编辑推荐:
田振州|赵佳乐|范明|孙嘉泽|陈彦平|陈凌伟
中国陕西省西安市长安西路西安邮电大学计算机科学与技术学院,邮编710121
摘要
基于深度学习的源代码漏洞检测方法已十分普遍,但利用该框架检测二进制代码中的漏洞仍鲜有研究。现有少数研究将输入指令视为独立实体,由于无法考虑
田振州|赵佳乐|范明|孙嘉泽|陈彦平|陈凌伟
中国陕西省西安市长安西路西安邮电大学计算机科学与技术学院,邮编710121
摘要
基于深度学习的源代码漏洞检测方法已十分普遍,但利用该框架检测二进制代码中的漏洞仍鲜有研究。现有少数研究将输入指令视为独立实体,由于无法考虑代码片段间的内在关联及编译优化带来的影响,因而无法提取和利用细粒度信息。为解决这些问题,本文提出Delta方法,该方法结合动态对比学习与漏洞修复意识机制对预训练模型进行微调,显著提升了二进制代码漏洞检测的准确性与效率。Delta首先对汇编指令进行标准化处理,然后利用表示漏洞修复前后的函数代码对以及在不同优化设置下编译的版本作为对比学习样本。借助这些丰富多样的训练数据,Delta通过结合掩码语言模型的对比学习对CodeBERT进行微调,从而得到能够捕捉二进制代码中细微漏洞特征且不受编译优化影响的特征编码器CMBERT。在Juliet测试集上的实验表明,与现有方法相比,Delta的检测准确率平均提升8.04%,F1分数平均提升7.13%。
引言
日益增多的安全漏洞给软件系统的安全性和可靠性带来了前所未有的挑战。一旦被恶意利用,这些漏洞可能导致信息泄露和服务中断等严重后果[1]。截至2025年9月,CVE(常见漏洞与暴露)系统[2]已记录超过291,000个已公开的漏洞,且这一数字仍在持续上升。这种不断加剧的威胁凸显出准确检测软件代码中潜在漏洞的重要性,这对于确保现代软件系统的安全与稳定至关重要。
深度学习作为一种变革性的技术,在软件安全领域展现出巨大潜力,其强大的自动特征提取能力为代码漏洞检测带来了显著效果[3][4][5][6]。李等人[7]开发的VulDeePecker系统是该领域的早期成果,为后续漏洞检测技术的进步奠定了重要基础。该领域的另一项创新是基于令牌序列的方法,这类方法将源代码表示为通过词法分析生成的令牌序列,并利用LSTM、GRU、CNN等神经网络结构自动学习并提取识别漏洞所需的特征[8][9][10]。这使得检测过程能够灵活适应各种代码漏洞的序列模式。为进一步理解代码的语义和结构特性,深度学习模型还发展出了基于树结构和图结构的表示方式[4][11][12]。基于抽象语法树的树结构模型利用树形神经网络捕获代码子树中的细粒度语义信息,并将其编码为用于漏洞检测的综合特征向量[11]。而图结构方法则借助代码属性图、控制流图和程序依赖图等图形化表示来捕捉代码中的复杂关系,这些表示通过图神经网络处理后生成简洁而强大的代码嵌入,进而输入分类器以准确识别潜在漏洞[4]。
尽管基于深度学习的漏洞检测方法在源代码漏洞检测方面取得了显著进展,并为代码审查阶段提供了有力支持,但需注意的是,最终交付给用户的往往是经过编译的二进制代码。因此,直接从二进制代码中检测漏洞不仅更贴近实际运行环境,还具有更广泛的实际应用价值。为满足这一需求,近年来一些基于深度学习的二进制代码漏洞检测方法受到了越来越多的关注[13][14][15]。例如,Lee等人[13]提出了Instruction2vec方法,该方法将汇编指令分解为操作码和操作数,再利用Word2Vec生成词向量,为漏洞检测提供丰富的特征信息。严等人[14]进一步提出了HAN-BSVD模型,该模型采用分层结构和注意力机制,既能捕捉二进制代码的细粒度语义特征,又能把握全局特征,从而显著提升代码表示的质量。吴等人[15]则开发了一种基于多级特征融合的二进制代码漏洞检测模型,该模型首先使用ELMo语言模型生成动态代码嵌入,然后利用双向门控循环单元提取词级和指令级序列特征,最后通过精细的加权特征融合得到高维特征向量,为分类层提供丰富全面的输入,进而提升检测精度。
在实际软件系统中,二进制代码通常包含数百甚至数千条汇编指令,其中只有极少部分与漏洞相关。不同编译优化选项带来的变化会进一步加剧这一挑战,这些变化会显著影响代码的结构和逻辑,导致在不同优化设置下编译的二进制代码之间存在巨大差异。尽管存在这些复杂性,现有的大多数二进制代码漏洞检测方法仍然将目标代码片段视为独立实体进行分析[13][14][15][16]。虽然这类方法能够识别出有漏洞函数与无漏洞函数之间的某些差异,但由于无法考虑代码片段间的内在关联,它们往往无法提取和利用细粒度信息。此外,这些方法还忽视了不同编译优化选项对二进制代码特性的影响,这降低了其在不同编译环境下的有效性,进而影响了模型的稳定性。
为应对上述挑战,亟需开发出能够有效捕捉有漏洞代码的细微语义差异,同时应对编译优化带来复杂性的方法。为此,本文提出了Delta方法,该方法结合动态对比学习与漏洞修复意识机制,对强大的预训练模型进行微调,从而显著提升二进制代码在函数层面的漏洞检测准确性与效率。具体而言,Delta首先对二进制代码中的汇编指令进行标准化处理,以提高模型对新的、未见过的代码样本的泛化能力。为了便于对比学习,该方法构建了函数代码对作为训练样本,这些代码对包含了漏洞修复前后的代码、以及在不同优化设置下编译的版本,从而编码了有漏洞状态与无漏洞状态之间的差异、漏洞修复所涉及的关键细节,以及不同编译优化带来的变化,为模型提供了丰富多样的训练数据。基于这些训练数据,Delta通过结合掩码语言模型的对比学习对预训练的CodeBERT[17]进行微调,使其能够识别出二进制代码结构和语义中表明存在漏洞的复杂模式。这一过程最终形成了能够捕捉细微漏洞特征且不受编译优化影响的特征编码器CMBERT。最后,CMBERT提取的高层特征会被输入到浅层多层感知器分类器中进行漏洞检测。本文的主要贡献可总结如下:
• 提出了一种新的二进制代码漏洞检测方法Delta,该方法利用了现有方法常忽略的漏洞修复信息,并全面考虑了不同编译优化选项的影响,从而提升了漏洞检测的有效性与稳定性。
• 精心构建了具有挑战性的函数代码对,并结合对比学习与掩码语言模型对预训练语言模型进行微调,从而开发出CMBERT编码器,该方法有效解决了捕捉漏洞修复带来的细微语义变化以及减轻二进制层面编译优化影响的双重难题。
• 构建了一个包含多种编译选项的大规模二进制代码漏洞数据库。大量实验表明,与现有基于深度学习的漏洞检测方法相比,Delta在检测性能、对不同编译优化设置的适应性以及多种针对特定漏洞类型的评估指标方面均表现更优。具体而言,与基准方法相比,Delta的检测准确率平均提升8.04%,F1分数平均提升7.13%。在评估模型稳定性的留一法交叉验证实验中,Delta的检测准确率平均提升7.01%,F1分数平均提升5.96%,优于其他竞争方法。在真实世界测试集上,Delta也展现了更强的泛化能力,其检测准确率平均比基准方法提升8.73%,F1分数平均提升8.10%。
本文的其余结构如下:第2节介绍CodeBERT、对比学习以及本文研究的动机;第3节详细阐述Delta的方法设计;第4节从不同角度对Delta进行评估;第5节讨论该方法的局限性及未来工作方向;第6节回顾相关研究;最后,第7节总结本文的主要发现与贡献。他目前是西安邮电大学计算机科学与技术学院的副教授。他分别于2010年和2016年在中国西安交通大学获得计算机科学与技术专业的学士和博士学位。他的研究兴趣包括软件与系统安全、用于软件工程和漏洞检测的人工智能技术。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号