《Sage Open》：A Governance-Oriented Information Systems Framework for Explainable and Trustworthy Deep Learning in Organizational Decision Support
编辑推荐：
组织正日益将深度学习（Deep Learning）输出嵌入运营决策支持系统，用于优先级排序、分类、筛查与推荐。这一转变给信息系统带来了治理挑战：尽管模型输出可能提升决策质量，但若在缺乏明确监督与控制的情况下部署，也可能削弱可审查性、可追溯性与组织问责性。本文构
组织正日益将深度学习（Deep Learning）输出嵌入运营决策支持系统，用于优先级排序、分类、筛查与推荐。这一转变给信息系统带来了治理挑战：尽管模型输出可能提升决策质量，但若在缺乏明确监督与控制的情况下部署，也可能削弱可审查性、可追溯性与组织问责性。本文构建了一个治理导向的信息系统框架，旨在将深度学习以可解释、可治理且长期运营可靠的方式整合进组织决策支持。研究采用设计科学（Design Science）方法，从信息系统、可解释与可信人工智能（AI）、人类监督、决策支持及生命周期风险管理等既有研究中提炼需求，并将其转化为元需求、设计原则与分层架构，进而通过结构化分析验证、情景压力测试以及对已记录AI治理失效案例的回顾性分析进行评估。所构建的框架通过六个相互关联的层次组织可信整合：数据治理、模型验证与就绪、决策工作流整合、人类监督与升级、风险与控制机制、以及可追溯性与持续监控。本研究对组织信息系统研究的贡献在于表明：可解释性、监督与问责性可以嵌入决策支持安排之中，而非被视为外部伦理愿景。该框架为在高影响场景中运作的设计者、治理团队与决策支持利益相关者提供了实践指导，在这些场景中可审查性与部署后监督至关重要。
研究背景方面，人工智能（AI）已从边缘分析工具转变为核心运营基础设施，驱动客户管理、案件管理、欺诈检测、运营仪表盘与规划流程。一旦机器学习（Machine Learning）输出开始影响决策者的优先级排序，核心问题便从模型的技术效能转向模型能否在信息系统中执行而不损害清晰性、可审查性或行政监督。深度学习虽能识别复杂模式并处理大规模异构数据，但伴随更高的不透明性、更强的数据依赖与更严格的监控需求。既有治理研究多停留于原则层面（公平、问责、开放、人类监督），虽近期研究已将可信AI刻画为贯穿系统全生命周期的运营挑战，且NIST、OECD与欧盟AI法案等官方指引均采用生命周期视角，但文献仍分散于AI治理结构、透明度与人机交互、可解释性、生命周期保障及行业实施等相互部分连接的流派，尚缺乏一个将数据治理、模型就绪、流程实施、人类监督、可追溯性与部署后评估整合于统一运营结构的信息系统框架。信息系统研究尤为相关，因为难点不在于模型本身，而在于模型输出、人类审查、解释与治理控制交汇的决策基础设施设计。研究将治理缺口刻画为AI系统生命周期中深度学习能力与治理能力两条轨迹的动态失衡——技术能力随模型精度、可扩展性与部署吸引力上升，而治理能力（审查权限、升级逻辑、可追溯性与部署后控制）往往滞后，当组织从部署前实验转向实际运营使用而未同步建设决策基础设施时，鸿沟扩大。研究由此提出核心问题：治理导向的信息系统框架如何促进深度学习在组织决策支持中负责任且可靠的整合，并分解为三个子问题：整合所需治理、技术与流程前提；模型、系统与人类审查者之间的责任分配以确保实质性监督；以及确保实时模型使用中可追溯性、风险管理与部署后监控所必需的关键层次。
研究人员采用设计科学方法开展研究，因目标在于构建有目的性的制品而非检验行为模型或评估竞争算法。研究分四部分：首先从信息系统、决策支持、可信AI、监督、可解释性与生命周期风险管理文献中提取需求；其次将需求建模为分层框架条目；第三将制品与NIST、OECD及更广泛可信AI文献的参照点进行解析性比较；第四通过情景化评估检验框架逻辑的清晰性与跨决策情境的适用性。需求提取采用聚焦式主题综合，将文献中反复出现的主题组织为设计主题，转化为元需求并映射至框架层次。分析单元既非模型也非整个组织，而是组织信息系统中赋能决策支持的深度学习，设计聚焦数据输入、模型输出、用户界面、决策权、升级程序、日志与控制。评估采用解析性而非统计性方式，包括系统化设计评估矩阵、情景压力测试与对已报告治理失效案例的回顾性解析应用，评估准则涵盖覆盖度、运营清晰性、层次一致性及干预指导性。
研究结果方面，首先是结构化设计评估矩阵。该评估层依据设计科学核心准则对制品进行评估，包括完整性（对生命周期主要治理需求的覆盖，通过设计需求与元需求映射评估）、内部一致性（层次间相互强化而非矛盾，通过跨层审查与递归情景逻辑评估）、可操作性（制品是否产生具体设计与干预线索，通过阈值、升级逻辑、可追溯性包与实践步骤评估）、与治理参照的一致性（与NIST AI RMF及OECD指引映射）及解释充分性（制品能否解释治理链条何处削弱及干预应在何处发生，通过情景压力测试与回顾性应用检验）。矩阵表明制品不仅从概念范围而且从运营可读性、跨层一致性与故障情景解释力方面得到评估。
其次是情景化压力测试评估。该评估层将框架应用于四类组织压力情景。常规分诊支持情景中，模型对进入案件排序供员工关注，最终行动仍为建议性，主要激活工作流整合与可追溯性，对应MR1、MR3与DP2、DP6，框架提供带标准日志的建议性支持及对接受与推翻建议的后续审查，设计亦记录接受与推翻建议，为后续评估提供反馈基础。高影响例外情景中，低置信度输出影响具有重大组织后果的敏感案件，由MR2、MR4经DP4、DP6、DP7操作化，框架自动标记案件进入进一步审查，模型理由在适当情境中呈现，人类审查者记录最终决策理由，使决策更具可辩护性并降低隐性自动化偏差风险。部署后退化情景证明部署后监控必须内嵌于框架而非事后补充，主要激活MR4、MR5并由DP5、DP7支持；当推翻频率、事件报告或漂移信号越过阈值时，框架将案件回环至数据治理与模型就绪，支持再训练、再校准、临时回滚或限制使用。偏见或政策冲突情景要求系统在受质疑模式被常态化之前提供评估、遏制与可审计响应。跨四情景，框架的主要优势在于分布式控制，不同MR与DP组合在不同组织压力下被激活，不依赖单一控制手段，而是将控制分布于各层，使组织能对常规建议、敏感例外、漂移与争议性偏见模式作出差异化响应，虽不消除组织风险，但使干预路径更明确、更可审查。
第三是回顾性分析应用。该评估层运用范式对已记录的治理崩溃案例进行事后分析，目的不在于全面重建案例，而在于探究若以该制品作为设计理据，本可更早部署哪些控制、更清晰的监督或更强的可追溯性。对Berman等（2024）瑞典劳动力市场决策支持案例，报告显示神经模型不透明、管理层理解有限、面向利益相关者的可审查性薄弱，框架强调第2、3、4、6层，干预点在于上线前修订就绪标准、工作流角色定义、升级规则与可追溯性包，预期缓解价值为更强的审查路径、有记录的争辩性与受质疑结果的证据。对Kuziemski与Misuraca（2020）公共部门自动化决策案例，报告显示问责模糊、透明度薄弱与民主审查结构脆弱，框架强调第3、4、5、6层，干预点在于工作流治理、审查权限分配、控制所有权与日志要求，预期缓解价值为更清晰的争辩性、角色特定控制与可审计决策轨迹。回顾性应用并不声称框架能消除失效，而是表明制品在何处提供最早的可靠干预点及其如何帮助解释治理链条中的断裂。
讨论部分，理论贡献上，本文以两种相关方式贡献于信息系统研究：其一，将可信深度学习整合的难点重新框定为构建可问责决策基础设施的挑战，而非单纯的模型性能或治理合规问题；其二，提供设计理论性的整合逻辑，将治理控制视为系统的首要设计组件而非部署后引入的外部安全措施，由此超越将透明度视为输出质量的视角，将可解释性纳入运营设计约束。框架区别于更广泛的政策模型与保障分类法之处在于，它阐明控制在决策安排中的位置、跨层的相互作用及其在实时使用中的存续。相关启示在于自动化与增强的关联：实践常同时结合二者，框架允许对张力作分层解读，实践问题不在于组织抽象地选择自动化或增强，而在于每种模式置于决策架构的何处。研究亦贡献于可解释AI，将解释视为组织设计条件而非孤立的模型属性，解释之所以重要是因为其支持实时决策支持环境中的审查、争辩、升级与可问责使用。实践启示上，框架为CIO、AI治理负责人、风险所有者或决策支持管理者提供可触知规划工具，至少可用于三种方式：部署前判断所需控制是否到位；部署中确定审查权限、升级条件与解释需求；部署后确定如何组织监控、证据捕获与纠正性干预。政策与保障启示上，NIST AI RMF与OECD建议等高层治理工具提供原则与管理角色，但组织仍需系统级设计逻辑以操作化这些期望，框架通过将抽象治理承诺转化为决策流程中的位置、证据要求与干预程序填补此缺口。范围、边界条件、失效模式与局限上，主要局限在于未在真实组织情境中经验性实例化，框架经设计科学逻辑、结构化分析验证、情景压力测试与回顾性研究设计评估，具有解析性基础但经验上仍属事前性质，未声称已在组织政治、资源有限、用户抵制、竞争性制度优先事项或工作流中断等现实约束下得到证明。第二项约束为情境差异性，框架不应被解读为要求所有企业或行业采用单一配置，其核心治理逻辑可推广但实施依情境而定，升级阈值、可追溯性深度、人类审查水平与允许的自动化范围应依决策后果、模型不确定性、问责的制度要求与行业法律而变，在医疗、银行与公共行政等高度监管行业尤为严格。框架亦可能以可预测方式失效：若审查者缺乏权限、时间或可用理由，监督可能沦为象征性；若记录未与干预、审查或再设计关联，日志可能沦为无实质治理的走过场；升级阈值可技术性设定但若使用不一致或被生产压力克服则无济于事。因此框架应被视为诊断与设计工具而非可信运营的保证。这些局限亦提示分阶段经验议程：先与治理从业者及决策支持所有者开展专家启发式审查，继而进行行业特定案例研究或行动研究实例化，再开展跨行业比较分析。生成式AI启示与局限上，框架主要针对判别式深度学习用途（分类、排序、优先级排序与模型支持推荐）而构建，但生成式AI在企业平台与决策支持环境中的日益嵌入扩展了框架相关性，同时引入预测模型假设未能完全捕获的治理挑战。框架部分内容可直接适用于生成式AI：工作流整合、人类监督、可追溯性与风险控制仍属重要，因组织采纳取决于AI输出在流程中的位置、谁可审查或推翻输出、保留何种证据及负面结果如何升级，框架核心逻辑得以保留——治理必须嵌入决策支持系统而非作为外部合规层处理。生成式AI带来新问题需多层面适配：模型充分性评估不再局限于预测效度、阈值行为或有限任务适配，还需应对幻觉信息、提示敏感性、不规则响应方差及验证流畅但未必真实或基于事实的推理链之挑战；可解释性与监控方面，预测系统中解释通常关于分类或排序结果的依据，而生成系统中组织需应对提示设计、检索接地、语义漂移、输出可靠性与看似连贯输出中误导性、政策不一致或提示注入的潜在性。因此面向生成式AI的框架扩展至少需四项增补：明确的提示治理、更强的接地与输出验证控制、对语义漂移与提示相关失效的监控，以及组织决策中所用生成内容更清晰的责任规则。本研究不声称当前框架完全解决生成式AI治理问题，而是提供可辩护的起始结构，其层次仍有价值，但就绪、可解释性与监控组件需针对提示驱动与生成式情境进一步细化。
研究结论部分译为：本研究回应了一个新兴组织问题：如何以可解释、可审查且部署后可治理的方式将深度学习整合进决策支持系统。本文未将可信性视为仅模型本身的特性，而是将可信深度学习整合框定为社会-技术信息系统设计问题。在此基础上，构建了一个治理导向框架，将数据治理、模型就绪、工作流整合、人类监督、风险控制与可追溯性同持续监控相整合。本研究的关键贡献在于为可问责的AI赋能决策基础设施提供了可辩护的设计逻辑。该方法不认为可信AI可仅凭抽象原则或后期合规检查而创造，而是表明审查权限、升级逻辑、证据保存与部署后干预可编码于决策支持结构本身。尽管当前研究尚属解析性而非经验性证明，但它提供了结构化基础，可在问责性、争辩性与部署后治理至关重要的组织情境中被采纳、检验与细化。
