《SoftwareX》:Policy Coherence Kit: A Python-based application for perceived policy coherence analysis
编辑推荐:
随着社会经济、环境和技术问题的日益突出,政策一致性(policy coherence)已成为应对跨部门、跨治理层级复杂政策挑战的关键概念。文献中已存在成熟的评估政策间相互作用(policy interactions)的分析框架。然而,这些分析框架的一个重要不足
随着社会经济、环境和技术问题的日益突出,政策一致性(policy coherence)已成为应对跨部门、跨治理层级复杂政策挑战的关键概念。文献中已存在成熟的评估政策间相互作用(policy interactions)的分析框架。然而,这些分析框架的一个重要不足在于其在开展政策一致性评估方面的实际应用有限。在此背景下,本研究提出一款基于Python、具有图形用户界面(Graphical User Interface, GUI)的感知政策一致性评估软件工具包,其中政策相互作用通过专家评估(expert-informed evaluations)予以捕获。该软件通过结构化的政策相互作用审查、影响模式分析、基于网络的指标(network-based metrics)、熵度量(entropy measures)以及利用主成分分析(Principal Component Analysis, PCA)进行降维,来实现政策一致性评估。该软件支持从数据输入、矩阵构建到网络分析与可视化的完整分析流程,从而促进感知政策一致性评估在实证情境中的应用。此外,该软件还集成了大语言模型(Large Language Model, LLM)辅助解释功能,以支持分析结果的解释与情境化,同时建议保持人在回路(human-in-the-loop)的方法。总体而言,本研究的主要目标是将已建立的感知政策一致性评估框架转化为一种可访问的工具,以弥合概念框架与其实际实施之间的差距。
一、研究背景与问题提出
在能源、气候和交通等复杂且跨部门的政策领域,维持政策一致性是核心目标之一。由于政策领域之间高度互联,某一领域的决策会影响其他领域,从而产生协同效应或冲突。尽管政策一致性的重要性日益凸显,但其定义与评估仍具挑战性。政策一致性本质上是多个政策之间关系的属性,而非单个政策的属性,因此需要从单一政策评估转向能够捕获跨政策相互作用的系统视角。
在政策分析领域,一致性通过政策产出(如目标与工具)及其现实实施的相互作用来考察。Nilsson等人提出的框架将一致性概念化为政策间的相互作用,并提出了三步分析法:政策目标清单、识别相互作用强度与方向的筛选矩阵、关键政策及其相互作用的详细映射。然而,专家判断的应用是隐性的,缺乏对跨政策感知相互作用的标准化处理,因此该框架可被界定为感知政策一致性评估。尽管概念框架清晰,但实际实施仍受限于定性评估和专家判断的依赖性,缺乏结构化数据表示和集成分析支持,制约了可扩展性和深层洞察的获取。
二、研究内容与核心贡献
针对上述问题,研究人员开发了Policy Coherence Kit——一款具有图形用户界面的Python应用软件,用于以系统、透明和可重复的方式开展感知政策一致性评估。该软件的核心目标是支持政策景观中政策相互作用的构建、量化、比较、聚合与解释。软件采用基于项目的工作流程,每位决策者的评估被记录为独立矩阵,随后进行聚合。设计过程中考虑了三个实践需求:基于四种聚合算子(等权平均、多数规则、加权综合、中位数排序)对定性评估进行量化;提供互补的分析视角,包括一致性得分、影响范围、降维和网络结构;保持模块化架构以便扩展。
软件架构包含四个主要层次:展示层(提供GUI)、应用控制层(管理用户操作与项目状态)、领域逻辑层(协调政策相互作用矩阵的内部表示与聚合版本)和分析层(构建量化聚合矩阵、一致性得分、影响范围度量、网络中心性度量、PCA图及LLM自动解释)。核心数据模型中,每个非对角单元存储来自七点一致性量表的分类相互作用判断,从强协同到强冲突。数据验证包括检查工作表头匹配、量表层级合规性、空表跳过及不匹配矩阵拒绝等步骤。聚合矩阵对象包含数值表示、聚合方法元数据、决策者身份及源单元值,供下游分析使用。
分析模块包括:一致性得分模块(计算区分出向与入向影响的定向指标,含计数型和加权型);影响范围模块(基于Shannon熵计算各政策的影响分布,熵值高表示影响均匀分布,熵值低表示影响集中);网络分析模块(将聚合矩阵解释为有向加权网络,采用Dijkstra算法和Brandes算法计算介数中心性与接近中心性,边距离定义为绝对影响度的倒数);PCA模块(将政策影响轮廓投影到低维空间,保留符号值并保留零值作为结构性非影响);解释模块(通过LLM接口将定量输出转化为结构化叙述分析,用户可选择OpenAI或Groq引擎,API密钥仅单次使用且不记录)。
三、研究结果
1. 总体一致性评估: 对14项政策的分析显示,P1、P2和P10具有较高的一致性得分,表明它们在促进跨政策景观的协作成果方面发挥关键作用;而P5表现出负向一致性,其加权出向影响(WOI)为-2.00,表明其不仅未能支持其他政策,反而产生负面影响。
2. 关键协同效应: 多项政策之间呈现显著协同,如P10与P12之间,两者均表现出较高的一致性得分(P10的WOI为18.00,P12的加权入向影响(WII)为19.00),表明这些政策之间存在强协同关系。
3. 关键冲突: 政策框架内的冲突尤为明显,如P5具有负向WOI(-2.00),表明该政策不仅未能支持其他政策,反而对其他政策目标产生阻碍作用。
4. 有影响力的政策: P10被识别为关键参与者,其WOI为18.00、WII为21.00,表明其具有显著的影响其他政策及被其他政策影响的能力。
5. 影响范围: P12和P14具有较高的熵值(分别为3.4131和3.4474),表明其影响广泛分布于多项政策;而P9的熵值较低(1.8424),表明其影响较为集中,可能过度依赖有限数量的政策支持。
6. 网络结构: P10、P14和P7在网络中表现为中心节点,充当其他政策之间连接与互动的桥梁,其经纪人角色增强了整体政策景观的一致性。
四、讨论与结论
讨论部分强调,该软件通过将已建立的分析模块集成到统一且可访问的环境中,增强了感知政策一致性评估的实际适用性,并通过消除各分析模块实施的技术障碍提高了可重复性。软件应被视为决策支持工具而非专家判断的替代品。分析流程透明且在工作流层面可重复,从经过验证的多工作表输入开始,经过聚合、定量指标、可视化和文本输出。LLM模块使用结构化提示和外部API密钥进行单次请求,密钥保证从内存中移除。决策者的匿名化由用户负责,所有输出尤其是LLM生成的叙述应在实质性使用前由专家仔细审查。
研究结论指出,Policy Coherence Kit通过用户友好的GUI将感知政策一致性评估操作化,研究人员和政策分析人员可以在统一环境中以混合方法处理政策一致性评估问题。该软件自动化了评估过程中的主要步骤,包括数据量化与聚合、一致性得分计算、影响范围确定、降维、网络表示与分析以及LLM结果解释,为加强循证政策分析和推进跨部门、跨情境的政策一致性研究提供了实践基础。未来发展方向包括:纳入额外的序数和稳健聚合算子及敏感性分析;增强界面中的不确定性和来源可视化、隐私和审计功能;改进与外部建模和网络生态系统的互操作性;进一步发展LLM辅助解释模块,加入人在回路验证和更清晰的安全保障;以及开发基于网络的界面以消除技术要求。