《Proceedings of the Design Society》:Designing for dignity: A sociotechnical framework for AI-mediated systems
编辑推荐:
该论文引入尊严中心化设计(Dignity-Centered Design, DCD),作为面向人工智能(Artificial Intelligence, AI)中介系统的社会技术框架。尽管人工智能伦理通常聚焦于公平性与透明度等概念,DCD评估系统如何塑造生活体
该论文引入尊严中心化设计(Dignity-Centered Design, DCD),作为面向人工智能(Artificial Intelligence, AI)中介系统的社会技术框架。尽管人工智能伦理通常聚焦于公平性与透明度等概念,DCD评估系统如何塑造生活体验、权力动力学与人类能动性(agency)。研究人员借鉴医疗保健传统与尊严指数(Dignity Index),将该框架阐述为三个维度(个体、关系与系统)与五项核心原则。其包含人工智能系统设计中的尊严光谱(Dignity Spectrum),用于评估设计选择,并将这些原则应用于医疗人工智能以支持反思性实践。
该论文发表在《Proceedings of the Design Society》,核心目标是构建一个名为"尊严中心化设计"(Dignity-Centered Design, DCD)的社会技术框架,以弥补现有人工智能伦理框架在评估系统如何塑造人类生活体验和权力关系方面的不足。
研究背景与问题方面,当前人工智能伦理框架主要围绕公平性、透明度、问责制、隐私保护等原则展开,但这些原则存在明显局限:一是公平性框架主要关注群体间的分配结果,无法充分评估系统配置如何构建个体在制度流程中的裁量权、申诉机会与认可度;二是透明度与可解释性虽必要但不充分,解释算法运作机制并不等同于尊重人类能动性,透明流程仍可能具有去人性化特征;三是现有指南多停留在原则层面,缺乏转化为具体设计标准、可测量实践与可执行治理结构的路径,存在"伦理洗白"(ethics washing)现象。更为根本的问题在于,即使技术层面实现透明与隐私保护,系统仍可能被体验为束缚性、家长式或去人性化的,因为这些框架未能充分回应系统如何结构性地处理关系性尊重、协商权力动力学以及塑造算法决策下主体的 lived experience。特别是在医疗等复杂社会技术环境中,诊断或决策支持工具可能重塑临床自主性、患者能动性以及组织期望,进而改变专业身份与护理体验,这凸显了超越传统原则的诉求。
研究人员开展的研究及其结论方面,该论文首先系统梳理了尊严概念的哲学与应用基础,包括人权法中的固有尊严、能力方法(capability approach)所强调的实现能动性与繁荣的实质性自由、康德哲学中将人视为目的而非手段的原则,以及医疗保健领域中尊严的保护性照护实证研究。在此基础上,研究人员借鉴 Project UNITE 的尊严指数?(Dignity Index?)从话语分析到系统设计的操作逻辑,将尊严视为在设计中变得可见的评估性维度,而非固定道德结论。研究人员提出了 DCD 的三个分析维度:个体尊严(关注人作为超越数据主体、风险评分或优化变量的存在)、关系尊严(关注系统如何中介利益相关者间的互动)与系统尊严(关注技术与制度规范、治理结构及更广泛的平等模式的互动)。同时提出五项核心设计原则:人类能动性的首要性(Primacy of human agency)、参与式治理(Participatory governance)、承认固有价值(Recognize inherent worth)、关系性透明(Relational transparency)以及对受影响方的问责(Accountability to affected parties)。研究人员还设计了人工智能系统设计中的尊严光谱(Dignity Spectrum in AI System Design),从 Level 8(完全尊严)到 Level 1(完全否认价值)共八个层级,用于比较分析具有相似技术成果的系统如何在其利益相关者的生活体验中介导能动性、角色定位与权力分布。该光谱并非评分工具或道德等级,而是支持特征层面分析的结构化比较手段;Level 8 为支持性能力培育与认可的抱负性基准,Level 7-6 代表现行实践中可实现的强自主性与一般尊重性设计,Level 5 为功能中性但非个人化的中性状态,Level 4 及以下则标志系统开始产生尊严损害,分别为约束性家长式(Level 4)、主动削弱(Level 3)、消除能动性(Level 2)与完全否认价值(Level 1)。最后,研究人员将该框架应用于医疗人工智能三个具体场景——急诊科分诊系统(临床医生自主性)、癌症治疗决策(患者能动性)与工作流程排班系统(道德伤害),通过对比低尊严场景与高尊严场景,阐释设计选择如何在实际语境中映射到尊严的保护或侵蚀。
这项研究的重要意义在于,DCD 为负责任人工智能(responsible AI)提供了补充性分析视角,将评估重心从单纯的分配结果和可测量性能扩展到系统如何重组人际关系、制度性地位和日常生活体验,使尊严成为可操作的反思性设计实践维度,有助于设计师和研究人员在开发全过程(问题框定、语境分析、设计综合、迭代评估)中显性地思考权力、权威与认可的配置问题。
关键技术方法方面,该研究主要采用了以下方法路径:一是概念框架构建与跨学科理论整合,将人权理论、康德道德哲学、Nussbaum 的能力方法、Nordenfelt 的尊严形态分类、Chochinov 的实证护理研究以及尊严指数?的操作逻辑进行系统整合,形成区别于公平性框架的补充性评估维度;二是基于文本阈值分级法的 Dignity Index? 结构迁移,将原本应用于公共话语分析的八点评分级制转化为面向人工智能系统特征的结构化连续谱评估工具;三是社会技术分析方法,将人工智能视为嵌入制度安排中的社会技术基础设施而非独立工具,分析设计选择如何分配决策权威、约束或赋能专业判断、以及如何在制度流程中定位个体;四是提炼自医疗保健等场景的"基于情景的反事实对比"方法,通过平行建构高/低尊严的系统设计方案,推动尊严光谱在设计实践中的操作性应用。
研究结果部分:
"概念基础:作为设计建构的尊严"——通过个体、关系与系统三个相互关联但分析上可区分的维度,DCD 提供了贯穿设计全生命周期的组织框架。研究人员指出个体尊严涉及将人视为具有意义身份、专业知识和情境特异性知识的主体而非可互换单位;关系尊严关注系统是否促进相互认可与正当权威,或引入使某一方变得不透明、被否决或系统性监控的不对称;系统尊严则考察设计选择如何在人群中重新分配权力与机会。三个维度在实际应用中相互纠缠,增强个体层面的能动性可能约束系统层面的效率,旨在提升安全性的标准化可能削弱关系情境中的裁量自主性,DCD 的作用在于使这些张力可见并置于设计评估的审议之中而非简单解决。DCD 在开发全周期中的四个泛化阶段包括:问题框定(识别尊严相关利益、受影响利益相关者及潜在张力)、语境分析(审视现有工作流程、权威结构和体验影响)、设计综合(运用尊严知情的标准生成和比较配置方案)以及迭代评估(重新审视已部署系统的尊严效应并相应调整),这些阶段并非严格线性。
"尊严与公平:互补的评估维度"——研究人员阐明尊严与公平的关系,指出公平通常聚焦于分配结果,而尊严将注意力引向生活体验维度。以两个脓毒症警报系统为例:两者可能具有相似的灵敏度和公平的跨群体检测率,但在传达不确定性、允许临床医生驳回警报以及记录否决模式以供审查方面存在差异。一种情况下推荐可能具有事实上的权威性,偏差被标记以供审查;另一种情况下推荐伴随不确定性信息并作为专业判断的输入。两者都可能满足公平标准,却在决策过程中对临床医生和患者的定位不同,说明公平处理结果分配而尊严关注决策如何被执行和体验。当公平定义相互冲突时(如算法公平文献中多种数学表述互不相容),尊严提供了额外的反思视角,帮助判断哪种方法在特定语境下更好地支持能动性和尊重性对待。这为将尊严转化为人工智能中介系统的结构化设计框架奠定了概念基础。
"设计方法:尊严的操作化"——研究人员提出五项核心设计原则的具体要求:人类能动性的首要性要求设计系统以保留并在适当时增强人类自我导向行动的能力,自动化应支持而非取代判断并需有明确语境正当化理由;参与式治理要求用户和受影响利益相关者在问题框定、设计、实施和修订中具有实质性影响力;承认固有价值要求在设计决策中明确考虑对角色完整性、生活体验和关系尊重的影响;关系性透明要求使决策权威、问责结构和申诉途径可见可用;对受影响方的问责要求决策影响和数据实践可追溯至可识别行为者或机构,并提供可及审查、纠正和救济机制。在此基础上设计的尊严光谱包含八个层级,其中 Level 8 设想适应用户专业知识、支持有意义工作并围绕数据贡献构建透明价值交换的系统;Level 7 尊重基于角色的专业知识,在重大语境中保留有意义的人类决策权威,提供包含校准置信度/不确定性信息的清晰理由,实现无缝覆盖和升级路径;Level 6 在明确正当且对受影响方可见的参数范围内支持自主性;Level 5 为功能性但非个人化的中性状态;Level 4 开始产生伤害,以算法权威凌驾于人类判断之上,覆盖存在但 burden-some 或社会成本高;Level 3 将偏离算法输出视为需纠正的错误,施加监控;Level 2 消除有意义的影响或申诉机会;Level 1 自动化改变生活的决策且无任何解释或救济,使用去人性化的分类或语言。
"应用语境:医疗人工智能系统"——医疗场景被用作阐释 DCD 的范例语境,因其涉及脆弱性、权威不对称和人类价值问题,且人工智能正日益塑造临床医生-患者互动、诊断推理和治疗决策。研究展示了三个核心张力:
在临床医生自主性方面,低尊严(Level 3-4)的急诊科分诊系统突出显示推荐分诊级别并预填充相关医嘱,解释面板仅显示概率分数而无关键贡献输入、不确定性边界或已知盲点,临床医生选择不同分诊级别时需完成强制弹窗的多项说明字段,且月度报告将个人层面覆盖率达至主管,久而久之临床医生会感到其判断仅为算法权威的附属;高尊严(Level 6-7)的对比方案则显示推荐分诊级别同时列出关键贡献输入、模型置信区间和局限性说明,选择不同级别时无需阻断性弹窗,可选备注字段可用但非必须,覆盖数据在系统层面聚合用于模型评估,治理语言明确算法输出为建议性且临床医生保留决策权威。
在患者能动性方面,低尊严(Level 4-5)的癌症治疗决策界面显示单一标为"推荐"的治疗方案,替代方案置于"其他选项"次要标签下,主屏幕显示中位生存获益和指南一致性而非生活质量权衡,患者偏好记录于不改变选项视觉排名的自由文本字段,使患者感到其优先事项仅在程序上被承认而非实质性整合;高尊严(Level 6-7)方案则并排显示多个指南一致性治疗选项及其预期生存范围、常见不良反应、就诊频率、预估自付费用范围和不确定性区间,在排序前提示关于患者优先事项的结构化输入(如最大化寿命、最小化住院、保留认知功能、限制财务负担),比较显示动态基于这些输入调整。
在道德伤害方面,低尊严(Level 3-4)的工作流程排班系统基于诊断代码分配标准化就诊时长,超过rant超时过敏原遭标记为"效率差异",个人吞吐量指标相对于部门平均水平显示,质量指标与主要效率分数分离追踪,当临床医生判断关系或临床复杂性需要更多时间时可能产生持续张力,缺乏重新校准约束的权威;高尊严(Level 6-7)方案则分配基线就诊时长但允许临床医生在界面内调整,可记录临床复杂性、患者理解需求或护理协调等预设类别的原因,效率指标与护理质量指标(包括随访率和患者报告理解度)一并显示,治理语言明确记录临床调整在生产力评估中不受惩罚,定期审查评估标准化时长是否仍适用于不同患者群体,通过减少伦理义务与工作流程约束之间的摩擦降低道德伤害可能性。
"讨论与意义"——DCD 提供审视人工智能系统如何塑造制度实践和日常体验的结构化方式,使设计决策如何在系统流程中定位个体变得可见。它将三个分析维度与五项核心设计原则相整合,尊严光谱则作为比较具体系统配置如何与这些承诺对齐的工具,从而扩展了负责任人工智能的可用评估标准,增加关注人类待遇和制度定位的分析维度。同时研究人员强调尊严不应被理解为可在所有情境中简单最大化的事物,受限裁量有时具有正当性(如临床决策支持系统在高概率风险时暂时阻断药物医嘱),关键在于干预是否正当、风险水平成比例以及是否有明确审查途径和专业输入通道,DCD 旨在澄清而非预先裁定这些权衡。该框架也开辟了进一步研究方向:尊严光谱尚未在设计团队中进行可靠性评估或跨部门系统检验,未来研究可考察从业者如何一致地解释和应用这些类别(包括设计师间的评分者间信度)、尊严评估如何与既有评估框架互动,以及医疗之外的案例研究可能揭示需要模型细化的新张力或语境特异性差异。随着人工智能日益深度嵌入各类制度环境,仔细审查其如何构建影响和责任变得愈发重要。
研究人员在结论部分指出,将尊严视为社会技术关切点,促使人们更加密切关注设计选择如何在组织内部塑造生活体验。通过这种方式,该研究扩展了关于负责任人工智能的持续对话,涵盖的不仅是系统实现了什么,还有它们如何在实践中重新组织关系和决策环境,以及这对于在其中生活和工作的人意味着什么。