以价值为中心的人工智能——在合法性失效之前设计社会技术系统

《Business & Information Systems Engineering》：Value-Centric AI – Designing Sociotechnical Systems Before Legitimacy Fails

　　

马绍尔棒图是传统的导航知识工具，由木制或植物条和贝壳制成。不同的图表类型代表浪涌模式、岛屿和航线；许多图表在陆地上被研究和记忆，而非携带出海。在航行中，导航依赖于情境经验、感官判断和对所采取路线的责任。人工智能（AI）已日益能够识别模式、生成文本、产生代码、综合证据并推荐行动。然而，其价值并非仅来自计算输出，而是通过人类解释、组织使用和情境中的负责任行动产生，所有这些都受到文化、伦理和组织价值的影响。当AI被理解为社会技术系统的一部分时，一个重要挑战不仅是如何让人类保持在循环中，而是让他们保持在实践中：行使解释、质疑、伦理推理和问责。对于商业与信息系统工程（BISE）社区来说，这是一个决定性时刻。除了询问AI能执行什么任务以及表现如何之外，研究人员需要设计AI赋能的社会技术系统，使其与文化及组织价值保持一致。

以价值为中心的人工智能（Value-Centric AI）——在合法性失效之前设计社会技术系统：一篇论文解读

**研究背景与问题**

马绍尔棒图作为传统导航工具，其价值在于辅助人类在复杂环境中发展并行使判断，而非替代判断。这一隐喻同样适用于人工智能（AI）系统。当前，AI已具备强大的模式识别、文本生成、代码编写、证据综合和行动推荐能力，但其价值并非仅由计算输出决定，更依赖于人类解释、组织使用和情境中的负责任行动，这些均受文化、伦理和组织价值的深刻影响。然而，在商业与信息系统工程（BISE）领域，对AI的治理往往过度聚焦于模型性能、合规性检查和形式化的人类监督，忽视了AI作为社会技术系统一部分对组织实践和合法性的根本性影响。这种以性能为中心的治理模式导致了一系列问题：AI可能在不被察觉的情况下重塑工作流程、优先级和关键判断，而人类虽保留形式上的问责，实际决策权却已漂移；专业人员因过度依赖AI而逐渐丧失独立判断能力；决策的合法性（legitimacy）因缺乏可解释性、可辩护性和价值一致性而受到质疑。因此，有必要在合法性失效之前，设计以价值为中心的社会技术系统，确保AI作为导航支架（navigational scaffolding）支持而非取代人类判断和责任。

**研究所用关键技术方法**

本研究采用概念分析和理论综合的方法，基于对当代AI五个特征（委托代理、隐藏AI、价值不透明、速度与集中、反馈效应）的归纳，结合招聘、临床决策支持、沉浸式环境等领域的案例说明，揭示三种治理失败模式（责任漂移、能力侵蚀、合法性差距）。在此基础上，研究人员扩展了价值敏感设计（Value Sensitive Design）、基于价值的工程（Value-based Engineering）和技术评估（Technology Assessment）等传统方法，提出从社会技术设计角度出发的步骤框架，并倡导方法多元主义（包括民族志、过程研究、设计科学、前瞻性方法等），以构建可重复的设计知识。

**研究结果**

**2. 从工具逻辑到协作逻辑（From Tool Logic to Collaborator Logic）**
通过分析AI的五个特征，研究人员发现：AI的委托代理（delegated agency）使人类决策权前移，隐藏AI（Hidden AI）如同影子IT般难以治理，价值不透明（Opacity of values）使用户难以察觉隐含的效率优先倾向，速度与集中（Speed and concentration）加速了影响的扩散，反馈效应（Feedback effects）形成自我强化的循环。这些特征导致AI对组织价值的影响难以识别、质疑和治理，尤其在招聘、临床决策和沉浸式环境等场景中，人类可能保持形式问责而实际判断来源模糊。

**3. 为什么以性能为中心的治理不足（Why Performance-Centric Governance is Insufficient）**
通过理论分析，研究人员识别出三种反复出现的社会技术治理失败：
- **责任漂移（Accountability Drift）**：AI建议嵌入工作流后，责任变得分散，人类可能过度信任或默认输出，导致实际问责能力减弱。
- **能力侵蚀（Capability Erosion）**：专业人员的判断能力因长期依赖AI而退化，名义上的人机循环（Human-in-the-loop）变为空洞仪式。
- **合法性差距（Legitimacy Gaps）**：技术准确性不等于合法性，决策过程是否可解释、可辩护、可修订，必须作为设计需求而非事后考虑。

**4. 扩展以价值为中心的AI设计（Extending Value-Centric Design for AI）**
基于价值敏感设计、价值工程等传统，研究人员提出扩展方向：从个体系统到组织与制度设计，从合规文档到实践嵌入；将数字主权（digital sovereignty）视为新兴的社会技术能力；并建议从社会技术设计立场出发，考虑角色、接口、升级路径、数据实践、采购决策和组织学习，确保组织有能力修订、质疑和退出关键数据、模型、基础设施和供应商安排。

**5. 以价值为中心的AI研究方向（Research Directions for Value-Centric AI）**
研究人员提出五个研究方向：研究关键节点上的代理与解释；衡量保留的实践能力以及性能；衡量合法性结果（如可质疑性、问责清晰度、信任校准、主权控制能力、可辩护性）；针对高风险情境（公共部门、医疗、就业、教育等）进行设计；构建累积的设计知识（可重用原则、边界条件、方法、参考架构），并倡导方法多元主义。

**讨论与结论**

讨论部分强调，以价值为中心的AI治理要求将人类实践和合法性作为核心关注，而非仅追求效率提升和基准性能。结论部分翻译如下：马绍尔棒图及时提醒我们，一种用于导航的技术之所以有价值，不是因为它消除了人类判断的需要，而是因为它帮助人们在复杂条件下发展并行使这种判断。人机协作的治理悖论在于，AI可以塑造集体结果而不进入集体问责。这一悖论无法仅靠优化解决。商业与信息系统工程（BISE）社区的贡献应在于设计社会技术系统，使AI提供导航支架，而人类保留情境判断、责任和质疑所选路线的能力。如果做到这一点，AI将不仅仅是扩展决策，而是帮助组织在复杂性中导航，同时不放弃使其决策合法化的价值。对于管理者和政策领导者，本研究的实际信息是：不要只问AI系统是否工作，而要问你的组织是否能与之负责任地导航。