瓶颈感知启发式与元启发式框架用于稀疏可追溯性矩阵中基于需求的测试用例优先级排序

《Symmetry》:Bottleneck-Aware Heuristic and Metaheuristic Framework for Requirement-Based Test Case Prioritization in Sparse Traceability Matrices

【字体: 时间:2026年07月19日 来源:Symmetry 2.2

编辑推荐:

  回归测试(Regression Testing)是通过识别故障并确保系统可靠性来维护软件质量的关键活动。然而,在大型软件系统中,在有限的时间和计算资源内执行所有可用测试用例通常是不切实际的。因此,测试用例优先级排序(Test Case Prioritizati

  
回归测试(Regression Testing)是通过识别故障并确保系统可靠性来维护软件质量的关键活动。然而,在大型软件系统中,在有限的时间和计算资源内执行所有可用测试用例通常是不切实际的。因此,测试用例优先级排序(Test Case Prioritization, TCP)旨在通过安排有效的执行顺序来最大化测试效果,尤其是在回归测试的早期阶段。现有的测试用例优先级排序方法考虑了多种优化目标,包括故障检测能力、代码覆盖率、风险降低和执行成本。在本研究中,研究人员聚焦于基于需求的测试用例优先级排序问题,其主要目标是尽可能早地最大化需求覆盖率。由于测试用例的可能排序构成阶乘大小的搜索空间,该问题表现出NP-hard(非确定性多项式时间困难)特性,导致启发式(Heuristic)和元启发式(Metaheuristic)优化技术被广泛使用。然而,稀疏需求可追溯性矩阵(Requirement Traceability Matrix, RTM)带来了额外的挑战,特别是由于孤立需求(Isolated Requirements)和关键需求元素的延迟覆盖。为了解决这些挑战,本研究提出了一种瓶颈感知启发式与元启发式框架,用于稀疏RTM下的基于需求的测试用例优先级排序。该研究的主要实证贡献是确定性AG+BH(附加贪婪+瓶颈猎人)策略,该策略将附加贪婪(Additional Greedy, AG)与所提出的瓶颈猎人(Bottleneck Hunter, BH)机制相结合。该策略利用RTM的结构来识别与延迟覆盖相关的测试用例,尤其是单例需求(Singleton Requirements)。MH-DBO-GA(元启发式混合龙舟优化遗传算法)组件被引入作为次要的元启发式扩展,基于龙舟优化(Dragon Boat Optimization, DBO)、遗传算法(Genetic Algorithm, GA)算子和模因局部搜索(Memetic Local Search)。其作用是在当前APRC(平均需求覆盖率,Average Percentage of Requirements Covered, APRC)设置下提供额外的搜索多样性,而非替代确定性AG+BH策略。所提出的框架使用两个稀疏需求可追溯性矩阵数据集进行评估。结果表明,AG+BH在评估数据集上提供了最强的实用确定性权衡。它在数据集2上获得了最高的APRC,在数据集1上获得了接近最佳的APRC,而2-Optimal(2-最优)虽然APRC略高,但执行时间需要23小时23分钟。在此设置下,MH-DBO-GA并未优于AG+BH,但其表现优于标准的随机元启发式基线,并且当需要额外搜索多样性时,可被视为一种探索性扩展。此外,还进行了消融分析(Ablation Analysis),以检查信息初始化(Informed Initialization)、瓶颈猎人和混合优化组件的各自贡献。总体而言,研究结果表明,基于稀疏RTM的测试用例优先级排序主要受益于问题特定的瓶颈感知启发式推理,而元启发式优化应被解释为针对更复杂或未来多目标设置的补充层。
论文解读文章

研究背景、问题与意义:在软件开发生命周期(SDLC)中,回归测试(Regression Testing)是验证软件更改后原有功能是否正常的关键活动。然而,在大规模软件系统中,受限于时间和计算资源,执行所有测试用例往往不现实。测试用例优先级排序(TCP)通过重新排列测试用例的执行顺序,旨在早期最大化测试效果,尤其是需求覆盖。现有研究考虑了多种优化目标,但基于需求的TCP面临一个核心挑战:当需求可追溯性矩阵(RTM)稀疏时,即大多数测试用例仅覆盖少量需求且存在大量孤立或单例需求,会导致需求覆盖延迟,降低早期测试效率。这一问题具有NP-hard特性,启发式与元启发式方法被广泛使用,但稀疏结构下的瓶颈问题尚未被充分解决。为此,研究人员提出了一种瓶颈感知的启发式与元启发式框架,旨在利用稀疏RTM的结构信息识别延迟覆盖的测试用例,从而提升早期需求覆盖率。该研究发表在《Symmetry》期刊,其重要意义在于论证了问题特定的瓶颈感知确定性策略在稀疏RTM场景下具有高效性和实用性,而元启发式优化可作为补充探索手段。

主要关键技术方法(不超过250字):研究采用的主要方法包括:1)确定性AG+BH策略,将附加贪婪(AG)算法与瓶颈猎人(BH)机制结合,通过分析RTM结构识别单例需求相关的测试用例并进行优先排序;2)元启发式混合优化组件MH-DBO-GA,融合龙舟优化(DBO)的群体运动机制、遗传算法(GA)的交叉变异算子及模因局部搜索,以随机键编码方式在连续空间搜索,并通过排序解码为测试用例序列;3)信息初始化策略,使用80%的附加贪婪初始化与20%随机初始化;4)消融分析,分别评估信息初始化、瓶颈猎人及混合优化组件的贡献。实验使用两个稀疏RTM数据集:数据集1来自Kaggle汽车租赁软件(3399个测试用例,2000个需求,矩阵密度0.0858%),数据集2来自土耳其公共机构(1467个测试用例,1237个需求,矩阵密度0.2938%)。所有随机算法运行50次独立实验。

研究结果:

6.3 比较性能分析:通过对比确定性方法和随机元启发式方法的APRC值,发现AG+BH在数据集2上获得最高APRC(95.57%),在数据集1上获得接近最佳的APRC(89.92%),仅次于2-Optimal(89.96%),但2-Optimal执行时间长达23小时23分钟。MH-DBO-GA的APRC分别为85.68%和95.14%,未优于AG+BH,但优于标准随机元启发式基线(如GA、DBO)。

6.4 饱和点与覆盖速度分析:AG+BH在数据集1和数据集2上的饱和点分别为998和282,与附加贪婪接近,且早于MH-DBO-GA(分别为1660和446),表明确定性瓶颈启发式能更快实现完整需求覆盖。

6.5 计算效率分析:AG+BH执行时间远低于2-Optimal和MH-DBO-GA,在数据集1上仅需少量额外计算(相对于附加贪婪),而MH-DBO-GA因群体迭代和局部搜索引入额外开销。复杂度分析表明,AG+BH的复杂度主要取决于稀疏链接数L,而MH-DBO-GA的复杂度还包括群体规模N和迭代次数K。

6.6 参数敏感性分析:贪婪初始化比例80%给出最高平均APRC;局部搜索区域300在数据集2上最佳;瓶颈传送值1.1在数据集2上最高且稳定;位置钳位范围[0.0, 1.2]在数据集1和2上均给出最高平均APRC。

讨论与结论:消融分析显示,信息初始化对两个数据集均有正面贡献;瓶颈猎人在数据集1上有效,在数据集2上影响微小;完整混合并非总是最优,简化变体表现相当。结论部分翻译如下:本研究探讨了稀疏需求可追溯性矩阵下的基于需求的测试用例优先级排序问题,并提出了一种瓶颈感知的启发式与元启发式框架。该框架以确定性AG+BH策略为核心,该策略结合了附加贪婪与瓶颈猎人机制,针对稀疏需求-测试关系(尤其是单例需求)导致的延迟覆盖问题。MH-DBO-GA组件作为次要的群体扩展,结合了龙舟优化、遗传算法算子和模因局部搜索。在两个稀疏RTM数据集上的广泛实验评估表明,当综合考虑APRC、饱和行为和执行时间时,AG+BH在评估的单目标设置中提供了实用的确定性结果。它在数据集2上获得最高APRC,在数据集1上获得接近最佳的APRC(2-Optimal虽获得更高APRC但需23小时23分钟)。AG+BH的完全需求覆盖时间也早于MH-DBO-GA。结果表明,当稀疏RTM瓶颈可直接识别时,确定性瓶颈感知启发式比完整元启发式框架更有效且更简单。MH-DBO-GA不应被视为优于AG+BH或附加贪婪的通用替代,其作用是补充性的,提供群体搜索机制,但未在当前APRC实验中超越AG+BH。消融分析进一步表明,完整混合并非总是必要,某些简化变体在评估数据集上表现与完整配置相当或略优。计算评估也支持这一解释:AG+BH以低计算成本实现强覆盖行为,而元启发式优化层引入额外开销。因此,在当前稀疏RTM设置下,当主要目标是早期需求覆盖时,AG+BH是更优选择。当需要额外探索或优先级问题扩展新约束时,可考虑MH-DBO-GA。总之,本研究显示,基于稀疏RTM的测试用例优先级排序主要受益于领域特定的瓶颈识别,确定性瓶颈感知优先级排序是主要贡献,元启发式优化作为次要扩展而非主要改进来源。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号