《Algorithms》：From Model Explainability to Operational Transparency in Agentic AI: A Transparency-by-Design Framework for Critical Energy Systems Under the EU AI Act
编辑推荐：
智能体AI（Agentic AI）能够协调分布式能源资源、调用工具、修订计划，并通过多个交互智能体采取行动。然而，在关键能源系统中，模型级可解释人工智能（explainable artificial intelligence, XAI）无法揭示目标、约束、工具
智能体AI（Agentic AI）能够协调分布式能源资源、调用工具、修订计划，并通过多个交互智能体采取行动。然而，在关键能源系统中，模型级可解释人工智能（explainable artificial intelligence, XAI）无法揭示目标、约束、工具、委托、权威、人工干预和系统变化如何共同产生运行行动。这在欧盟AI法案（EU AI Act）的透明度、记录保存和人工监督要求适用的任何地方，都造成了监管与工程上的空白。透明性设计（transparency-by-design）框架通过将运行透明性视为一种组合属性（compositional property）来弥合这一空白，该属性通过模型、智能体、交互、系统和生命周期层面的证据连续性（evidence continuity）而得以创建。该框架将五项监管透明度功能转化为八个组件、一个七阶段门控生命周期（seven-stage gated lifecycle）、利益相关者责任、证据工件（evidence artefacts）和验收标准。这些要素共同规定了什么内容必须透明、对谁透明、何时透明，以及如何评估和维护充分性。监管分析和101项研究的主题综合提供了证据基础。应用于智能体虚拟电厂（virtual power plant, VPP）的实例表明，预测、目标、计划修订、智能体间决策、操作员干预、执行记录和系统版本如何能够在单一可重建证据链中连接起来。该框架将XAI从局部模型解释扩展到面向合规开发的生命周期范围运行透明性，但并未声称法律合规性或现场有效性。
**研究背景与问题**
人工智能（AI）正日益嵌入现代能源系统，应用于负荷与可再生能源预测、异常检测、预测性维护以及需求响应、灵活性管理、交易与运行决策支持。随着AI向运行控制靠近，未被充分理解的决策可能影响系统稳定性、供应连续性、运行安全与市场结果。智能体AI（Agentic AI）的兴起进一步改变了问题性质：此类系统能够维护目标与状态、规划行动、调用工具、与其他智能体协调、通过反馈自适应并以有限人工参与采取行动。然而，在关键能源系统中，模型级可解释人工智能（XAI）无法揭示目标、约束、工具、委托、权威、人工干预和系统变化如何共同产生运行行动。欧盟AI法案（EU AI Act）对关键基础设施中潜在高风险AI系统提出了透明度、记录保存和人工监督要求，但现有研究缺乏将监管透明度功能转化为跨生命周期技术与组织机制的系统性桥梁。为填补这一空白，研究人员开展了本研究。
**研究内容与意义**
研究人员采用综述知情的设计科学研究（design-science research）方法，将EU AI Act监管分析与101项研究的主题综合相结合，开发了透明性设计（transparency-by-design）框架。该框架将运行透明性视为一种组合属性，通过模型、智能体、交互、系统和生命周期五个层面的证据连续性实现，并将五项监管透明度功能转化为八项组件、七阶段门控生命周期、利益相关者责任、证据工件和验收标准，将XAI从局部模型解释扩展到生命周期范围的运行透明性。论文发表在《Algorithms》。
**主要技术方法**
研究人员采用了四项关键技术方法：（1）监管语料分析：对EU AI Act第9至20、26、72、73条及附件III、IV进行编码，区分法律规定与工程解释；（2）PRISMA-ScR知情的文献选择：在IEEE Xplore、Scopus和Web of Science中
