基于抽象训练-抽象聚类(ATA)的可解释深度强化学习框架构建及性能验证

【编辑推荐】针对深度强化学习(DRL)系统决策机制可解释性差的问题，研究团队创新性提出抽象训练-抽象聚类(ATA)方法。通过抽象状态训练和面向聚类的抽象化两阶段策略，构建出平均直径更大、保真度(fidelity)提升26.63%的抽象策略图(APG)，用户行为预测准确率提高35.7%，为安全关键领域DRL系统可信决策提供新范式。

　　

在人工智能安全需求日益迫切的当下，深度强化学习(DRL)系统的"黑箱"特性成为制约其在高风险领域应用的关键瓶颈。特别是在无人机操控、金融投资组合管理等场景中，决策过程的可解释性直接关系到系统可信度与安全性。尽管抽象策略图(APG)作为解释DRL决策的有效工具被提出，但现有方法如Topin和Veloso的迭代分组法、McCalmon等的CLTree算法，仍面临保真度(fidelity)低、抽象状态覆盖范围有限等挑战。

中国研究人员通过系统分析Gym平台六类典型问题，首次揭示APG平均直径（表征抽象程度）与保真度的正相关关系。基于此发现，团队创新性提出抽象训练-抽象聚类(ATA)双阶段框架。该方法突破传统"先训练后抽象"范式，将抽象过程嵌入训练阶段，通过离散化连续状态空间获得抽象状态集；在后续聚类阶段开发新型面向抽象的算法，将执行相同动作的相邻抽象状态归并为超大簇，显著提升APG的表示范围。

关键技术包括：1) 基于抽象状态的DRL训练方法，采用离散化状态空间保持马尔可夫性；2) 面向动作一致性的层次聚类算法，通过轨迹分析实现抽象状态合并；3) 跨环境验证体系，涵盖经典控制问题及复杂轨迹优化场景。

【研究结果】

1. 抽象策略图(APG)构建机制：实证表明，传统方法单个簇仅含少量具体状态，而ATA通过抽象训练阶段扩增状态表示范围，使最终簇规模扩大3-5倍，保真度提升达26.63%。

2. 抽象训练-抽象聚类协同效应：在CartPole等环境中，抽象训练阶段形成的状态离散化使后续聚类效率提升40%，相同动作状态的误分类率降低至2.1%。

3. 用户预测性能验证：通过126人参与的对照实验，ATA生成APG的用户行为预测准确率平均提高35.7%，证明其显著优于Topin等方法的解释效能。

4. 奖励保持特性：在MountainCar等任务中，ATA在提升解释性的同时，系统奖励仅下降1.2-3.5%，远低于预设的15%容忍阈值。

【结论与意义】
该研究通过理论创新与方法革新，首次建立APG抽象程度与解释性能的量化关系，提出的ATA框架实现了解释性与性能的平衡。其重要意义体现在：1) 为安全关键DRL系统提供可验证的决策解释方案；2) 开创"训练即解释"的新研究范式；3) 开发的开源工具(2700+LOC)支持复杂场景部署。未来工作将扩展至多智能体系统和动态环境适应领域，推动可信AI的实际应用。论文发表于《Neural Networks》，为DRL可解释性研究树立了新标杆。