基于项目演化感知提示的大语言模型边缘云系统即时缺陷预测方法(PROPER-SDP)

《Journal of Web Engineering》:Project Evolution-Aware Prompting of LLMs for Just-in-Time Defect Prediction in Edge-Cloud Systems

【字体: 大 中 小 】 时间:2026年04月17日 来源:Journal of Web Engineering 1

编辑推荐:

  为解决边缘云系统在缺乏训练数据时即时缺陷预测(JIT SDP)性能不佳的冷启动问题,研究人员开展了PROPER-SDP主题研究。通过将项目演化数据融入提示,使LLM在零样本条件下F1分数平均提升19.7%,显著优于CPDP与WPDP基线,为资源受限环境的软件可靠性保障提供了新范式。

  
在智能制造和自动驾驶等实时性要求极高的领域,边缘云(Edge-Cloud)系统通过将计算资源下沉至网络边缘,有效降低了数据传输延迟。然而,这类系统通常部署在资源受限的设备上,且软件迭代速度极快,传统的全量测试往往难以覆盖所有场景。在此背景下,即时软件缺陷预测(Just-In-Time Software Defect Prediction, JIT SDP)技术应运而生,它能在代码提交(Commit)阶段即预测该次变更是否可能引入缺陷,从而将有限的计算资源集中在高风险代码的审查上。
尽管JIT SDP优势明显,但在边缘云项目的实际应用中却面临两大“拦路虎”。首先是数据稀缺的冷启动问题:新兴或快速演化的项目缺乏足够的历史缺陷数据来训练机器学习模型。其次是泛化难题:传统的跨项目缺陷预测(Cross-Project Defect Prediction, CPDP)方法因项目间代码特征和分布差异(Dataset Shift)而常常表现不佳。现有基于预训练模型(如CodeBERT)的方法虽然在同项目(Within-Project Defect Prediction, WPDP)场景下有效,但在跨项目场景下性能会大幅下降,且依赖昂贵的微调(Fine-Tuning)过程。
PROPER-SDP:当LLM遇见项目演化
来自《Journal of Web Engineering》的研究团队提出了PROPER-SDP(Project Evolution-Aware Prompting for SDP),一种基于大语言模型(Large Language Model, LLM)的零样本(Zero-Shot)缺陷预测方法。该研究的核心创新在于摒弃了传统的模型训练范式,转而利用LLM的推理能力,并通过精心设计的提示(Prompt)注入项目演化上下文,使其能够理解代码变更的语义背景。
关键技术方法
研究团队构建了基于GitHub Pull Request(GHPR)的边缘云Go语言项目数据集,并通过RESTful API自动化提取了每个提交的演化上下文,包括主README、本地README及文件结构变更。在PROPER-SDP框架中,首先进行变更分析,提取目标函数变更前后的代码、提交信息及上述演化数据;随后构建结构化提示,将“代码差异”与“项目演化”信息整合后输入LLM,直接进行缺陷风险的二分类预测。实验评估了包括GPT系列在内的多种LLM,并对比了CPDP与WPDP基线模型。
研究结果
RQ1:PROPER-SDP vs. CPDP 基线
在与基于深度学习的CPDP基线模型(如CodeBERT、UniXcoder)的对比中,PROPER-SDP展现出显著优势。在零样本设定下,PROPER-SDP的F1分数平均提升了19.7%,有效解决了传统方法因数据分布差异导致的泛化失败问题。
RQ2:PROPER-SDP vs. WPDP 基线
即使在拥有充足训练数据的同项目预测(WPDP)场景下,PROPER-SDP依然保持了极具竞争力的性能。这表明基于提示的LLM方法不仅适用于冷启动场景,其预测准确性也足以媲美经过专门训练的监督学习模型。
RQ3:LLM模型选择
不同LLM的表现存在差异。研究发现,拥有更强代码理解能力和更大参数规模的模型(如GPT-4)在任务中表现最佳,而专门针对代码训练的模型(如Codex)在理解自然语言形式的演化上下文时反而不具优势。
RQ4:设计选择的影响
消融实验证实了项目演化上下文的重要性。当提示中包含README变更和文件结构变化信息时,模型预测的F1分数显著高于仅提供代码变更的场景。此外,重新设计的、信息密度更高的提示模板被证明能更有效地引导LLM关注变更风险。
结论与意义
PROPER-SDP的成功实践标志着边缘云软件质量保障范式的一次转变。它证明了无需针对每个新项目进行耗时耗力的数据收集和模型训练,仅需利用LLM的零样本能力结合项目自身的演化轨迹,即可实现高精度的即时缺陷预测。这对于测试资源极度受限的边缘计算环境具有极高的实用价值,为构建更可靠、自适应的智能软件系统提供了新的技术路径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号