DRLMutation：深度强化学习系统中 mutation 测试的综合性框架

《ACM Transactions on Software Engineering and Methodology》：DRLMutation: A Comprehensive Framework for Mutation Testing in Deep Reinforcement Learning Systems

针对深度强化学习系统（DRL）的测试难题，提出DRLMutation框架。基于DRL特性，从对象、操作方法和注入方法三维度设计突变算子，筛选出107个有效算子，并在Cart Pole、Mountain Car Continuous等环境中验证其隐蔽性与破坏性，可用于评估测试套件质量。

　　

摘要

深度强化学习系统已被越来越多地应用于各个领域。然而，对它们的测试仍然是一个重要的未解决研究问题。变异测试是一种流行的测试套件评估技术，用于分析测试套件检测注入故障的能力。该技术已在传统软件和深度学习领域得到广泛研究。但由于深度强化学习系统与传统软件在环境交互、网络决策和数据效率等方面存在根本差异，之前的变异测试技术无法直接应用于深度强化学习系统。在本文中，我们提出了一个专为深度强化学习系统设计的综合变异测试框架DRLMutation，以进一步填补这一空白。首先，我们分析了深度强化学习的特性，并基于训练过程和训练后的智能体模型，从对象、操作方法和注入方法三个维度考虑了各种组合。这种方法为深度强化学习变异操作符的设计提供了一种更为全面的方法论。经过筛选后，我们共确定了107个适用于深度强化学习的变异操作符。随后，在评估阶段，我们制定了一套专门用于评估测试套件的指标。最后，我们在Cart Pole、Mountain Car Continuous、Lunar Lander、Breakout和CARLA环境中验证了所提出的变异操作符的隐蔽性和有效性。研究结果表明，大多数这些设计的深度强化学习变异操作符能够在不影响智能体正常训练的情况下削弱其决策能力。这些变异操作符造成的干扰程度不同，可用于评估不同测试套件的质量。