《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：RISE: Pragmatic Evaluation of Human-AI Reliance Calibration
现有AI评估仍以性能为中心的基准为主导，限制了对人类是否以校准方式使用AI的评估。本文提出智能系统评估中的依赖（RISE）框架，作为人-AI依赖校准的实用主义报告与解释标准。对27项相关研究进行的结构化范围综述将依赖指标整合为输入-中介-输出结构，包含五个族：适当性、原始依赖、验证/监控、涌现状态以及输入/输出。RISE以最低报告标准为核心，将核心校准面板与信任、自信、工作负荷及验证/监控的解释性叠加层相结合。其结果是一个拟议的报告模板，用于比较设计并支持以人为中心的AI测试与评估（T&E）。
随着人工智能（AI）被引入作战与操作环境，一项AI赋能能力的评判标准可能不再主要取决于算法准确性，而是取决于其对人类判断、协调以及更广泛工作系统安全性与效能的影响。操作人员对AI技术的使用（或弃用）方式屡屡令设计者感到意外（Helmer et al., 2024），然而安全关键领域仍缺乏成熟、标准化的基础来评估AI赋能能力是否在团队中按预期发挥作用（Knack et al., 2025; Wong et al., 2024）。开发以人为中心的测试与评估（T&E）方法以补充当前主导评估的技术中心基准（如Wang et al., 2019; Rauh et al., 2024），对于确保AI发展不仅带来技术卓越，还能在各领域实现安全、高效且有效的人-自主性团队协作（HAT）至关重要。
在数十年人-人及人-自动化团队研究的基础上（而非简单重复，见McNeese et al., 2023），研究人员已将针对自主技术的适当依赖列为HAT成功的关键障碍（He et al., 2023; 2025; Schemmer et al., 2023）。因此，将依赖校准至AI能力成为实用主义以人为中心AI T&E的关键焦点（Ferrario, 2025）。然而，人-AI关系应被概念化为信任还是仅仅为依赖，仍是一场长期哲学争论，鲜有解决迹象（Benk et al., 2025; Ryan, 2020）。主流观点认为信任是依赖"加一个额外因素"（Durán & Pozzi, 2025; Hawley, 2014, p.5），但对于该额外因素究竟是什么鲜有共识。
因此，实用主义方法有助于将依赖文献转化为面向实践者的评估方法，从而加强AI保障实践。实用主义认为概念的有用性在于其能否产生可检验的区分并指导行动（Hookway, 2008）。在此，这意味着优先考虑可操作化为可靠测量工具和决策相关诊断的构念，而非等待哲学共识（Ferrario, 2025）。据此，研究人员采用实用主义立场，在AI采用加速、组织日益要求HAT交付现实能力的背景下，将安全有效的人-AI伙伴关系置于首位（NATO, 2024）。
关于信任与依赖区分的实用主义立场
数十年研究将依赖（可观察行为）与信任（一种态度）区分开来（Hoff & Bashir, 2015; Lee & See, 2004）。两种主要的依赖失败模式——误用与弃用（Parasuraman & Riley, 1997）——通常被解释为信任失准，分别源于过度信任与不信任（Lee & See, 2004）。基础性工作揭示了人们普遍倾向于高估自动化辅助的可靠性（Dzindolet et al., 2003）。
然而，在T&E语境中，将依赖-信任区分视为进展的前提正日益变得无益。哲学争论似乎不太可能趋于一致，而关于AI信任的实证文献在方法上仍然碎片化（Benk et al., 2025; Kohn et al., 2021），同时最广泛使用的自我报告信任工具（Jian et al., 2000）已显示出反应偏差和不一致应用的证据（Gutzwiller et al., 2019），限制了信任作为主要测量目标的稳健性。Ferrario（2025）主张一种实用主义重构，其中依赖是可测量的可处理关系，而AI信任被视为依赖的派生属性。这涵盖了效率、减少监控努力、适当性以及相对于系统客观能力的校准，从而产生可在人-AI交互研究中操作化和检验的构念。
从自动化到自主性：格局转变对依赖分析的意义
人-自动化研究主要将操作者定位为"监控、验证并响应自动化反馈"的人（Wang et al., 2008, p.1）。然而，随着从工具到队友的转变（Lyons et al., 2021; O'Neill et al., 2020），依赖不再仅仅是一个工具性问题。AI赋能系统能以人类无法直接监督的速度和规模处理信息，且不同于在限定包络内执行固定映射的低层级自动化（Parasuraman et al., 2000），AI可能选择子目标、参与规划、定制沟通、适应反馈并在权限范围内行动（Bradshaw et al., 2003; Klein et al., 2004）。当代AI既具有操作性也具有认知性，在判断和执行的劳动中均承担任务，引发了关于人类将优先级排序、意义建构和战略思维外包的担忧（Dorton & Hall, 2021）。由于这些系统还跨语境自适应，校准在HAT中成为移动目标（Daronnat et al., 2021），增加了对支持预测、态势感知和校准依赖的透明度的需求（Chen et al., 2018; Van de Merwe, 2024）。
校准一词在历史上以信任为框架，即适当的人-机关系取决于态度性信任被校准至机器可信度（Lee & See, 2004）。在"信任校准至可信度"这一长期理念的基础上，研究人员采用实用主义立场，将目标从态度校准转向依赖校准（Ferrario, 2025, p. 14）。在本方法中，信任被视为依赖校准的属性而非主要评估目标。据此观点，当依赖受到对AI在当前任务和环境中能可靠做什么的误感知引导时，即发生失准。因此，研究人员开发了一个人-AI依赖校准的概念框架，并从中推导出最低报告与解释标准。依赖校准在此定义为：人类队友行为上的依赖程度和模式与AI系统在当前任务和环境中的能力之间持续的、情境敏感的对齐。
方法
目的
本调查旨在开发RISE作为组织依赖相关测量的概念结构，并提出人-AI依赖校准的最低报告标准。该方法优先考虑依赖如何被操作化和解释，以行为指标为核心焦点，同时兼顾塑造、解释或情境化依赖行为的主观和解释性构念。目标不是估计指标流行率或提供详尽的文献地图，而是推导一个分层结构以供后续实证检验和完善。
方法
研究人员对依赖文献进行了结构化范围综述，适用于概念框架开发而非正式证据聚合。纳入逻辑反映了以下观点：HAT研究必须建立在人-自动化传统之上而非简单重复。HAT继承了人-自动化研究中已处于核心地位的依赖问题，但该文献仍然碎片化，缺乏共同的报告和解释结构。因此，建立这一行为基线对于为HAT开发更连贯的评估框架是必要的。同时，自动化和自主性未被视作可互换的概念。目标是保留依赖研究的行为基础，同时为AI赋能团队协作的独特评估需求重新组织它们。据此，自动化和AI研究在贡献与依赖校准及人类与智能系统输出交互相关的操作化时被纳入。
检索策略
语料库分三阶段组装，用于框架构建而非流行率估计。首先，从先前作者主导的综述中提取7篇论文。其次，使用三个连续检索串进行定向Google Scholar搜索，筛选后获得15篇论文。第三，使用LLM辅助发现步骤仅用于识别候选线索供人工审查，从中保留5篇额外论文。最终形成27篇论文的语料库，作为实用主义起点而非穷尽性综述。纳入标准为：研究考察人与自动化或AI的交互，以行为方式而非仅通过信任等近端态度测量依赖，并报告足够的方法学细节以提取指标定义及适用时的公式。
数据提取
每篇论文被转化为结构化评估表，包含研究标题、作者、年份、领域、所述构念、标准化构念标签、所述指标、标准化指标标签、行为定义、公式、报告效应及备注。这将每项研究分解为可比较的测量单元，而非仅将其视为叙事来源。提取表在相关处保留作者特定措辞，同时对功能相似的构念或指标应用统一标签。
提取后，指标按依赖分析中的功能角色进行整合。输入-中介-输出（IMO）逻辑（O'Neill et al., 2020, 2023建议用于HAT研究）将其组织为输入、输出和三个中介类别。这些中介分组是概念性的，不依赖于变量是否在先前统计模型中被正式检验为中介变量。IMO结构将设计驱动因素和后果与有助于解释依赖模式的行为和心理成分区分开来。这一过程产生了RISE框架的初始结构。
智能系统评估中的依赖（RISE）框架
提取的指标被整合为智能系统评估中的依赖（RISE）框架（图1），按功能角色组织依赖分析。围绕IMO逻辑出现了五个概念族。团队过程族包括依赖行为（分为适当性和原始依赖，见Schemmer et al., 2023）以及验证与监控（误用/弃用研究的核心，Drnec et al., 2016）。IMO理论将这些定义为团队成员通过其朝着任务完成方向努力的相互依赖的行为活动（Marks et al., 2001）。这些不同于涌现状态，如信任、工作负荷和自信，后者是通过交互产生并中介输入-输出关系的动态认知或情感条件（Ilgen et al., 2005）。
图1. 用于人-AI团队协作的智能系统评估中的依赖（RISE）框架。注：依赖校准过程由依赖行为、涌现状态和验证/监控框表示。
核心诊断层：适当性与原始依赖的测量
依赖经常通过接受正确建议（Bhaskara et al., 2021; Dzindolet et al., 2003; Kim et al., 2024）和拒绝错误建议（Alami et al., 2025; Bu?inca et al., 2021; Mercado et al., 2015）的情境来操作化。虽然这种方法并非根本错误，但它无法充分区分源于正确辨别的适当依赖与独立人-AI判断的简单重叠（见Schemmer et al., 2023）。据此，RISE中的适当性指标被分类为分歧 contingent 使用、误用与弃用以及知觉敏感性。
相对AI依赖（RAIR）和相对自我依赖（RSR）索引人-AI分歧情境中的正确切换或抵制（Schemmer et al., 2023）。这些指标区分了让AI纠正初始错误人类判断的意愿与覆盖错误AI建议的意愿。它们需要法官-顾问系统（JAS）设计，其中人类判断在AI交互前被独立捕获。表1呈现了四种可能的分歧情境结果。
表1. 分歧情境结果。人类初始判断/AI建议/最终决策/结果类型：错误/正确/正确/正向AI依赖；错误/正确/错误/负向自我依赖；正确/错误/正确/正向自我依赖；正确/错误/错误/负向AI依赖。注：见Schemmer et al.（2023）。这些条件必须在计算RAIR和RSR之前满足。
适当性还应考虑分歧之外的部分决策空间。通常，RAIR/RSR计算所需的分歧机会会很少，因为（1）AI赋能能力高度准确，（2）参与者训练有素，（3）研究设计可能无法引发足够的初始分歧。当JAS式序贯设计不可行时，尤其在现实环境中，RISE也需要灵活性。
虽然RAIR/RSR捕获适当依赖，但Type-1误用和Type-2弃用捕获不适当依赖（Parasuraman & Riley, 1997）。这些指标将适当性分析扩展到更广泛的AI错误和AI正确决策机会集合，分别反映对客观错误建议的行动和未能使用正确建议（表2）。
表2. 依赖校准分析中Type-1和Type-2错误指标的公式。Type-1（误用）错误 = AI错误时接受AI / AI错误总数；Type-2（弃用）错误 = AI正确时拒绝AI / AI正确总数。
最后，研究人员纳入信号检测理论指标敏感性（d'）作为操作者跨决策机会区分正确与错误建议能力的索引，而非仅在分歧定义的子集内（Macmillan & Creelman, 2004）。敏感性计算为：d' = z（命中率）- z（虚报率），其中z为逆累积正态函数，命中率为跟随正确AI建议的案例比例，虚报率为跟随错误AI建议的案例比例。
该层告诉评估者核心适当性（RAIR/RSR）模式是否反映真实辨别能力（在此框架为适当性的一个组成部分），而非机会或一般接受倾向。这一区分也与以下工作一致：替代信号检测指标（如预测力统计或反应偏差指标）通常因与局部基率、收益结构或依赖策略相关的更特定目的而被选择，而d'在目标是保留更一般辨别能力索引时有用（Blaha et al., 2020; Wang et al., 2009）。反之，RAIR/RSR模式使评估者能够判断校准不良是源于未能切换到正确AI、未能抵制错误AI，还是两者兼有。因此，RAIR/RSR和敏感性是互补的而非可互换的。
总体而言，这一指标族捕获决策空间的主要角落并追问：RAIR/RSR = "在分歧中你是否跟随正确一方？"；Type-1/Type-2错误率 = "总体上你是否过度/不足使用AI？"；d' = "你究竟能否区分好AI与坏AI？"
两个人可能具有相同的"适当性"模式但AI使用量截然不同，这对解释前者至关重要。RISE中纳入的例子包括人类与AI建议的对齐（无论AI正确性），称为建议接受率（AAR; Cummings et al., 2019），以及最终决策相对于最大可能偏移向建议偏移的程度，称为建议权重（WoA; Küper & Kr?mer, 2024）。该族大致映射到Wang et al.（2008）概述的一致性指标。
附加诊断层1：验证与监控
验证与监控行为突出表明校准依赖的操作者行为。验证是警惕和怀疑的行为表现，是误用/弃用研究的核心（Drnec et al., 2016）。误用与"没有过度怀疑"和"缺乏监控"的自动化使用相关联（Drnec et al., 2016, p. 4; 见Parasuraman & Riley, 1997; Parasuraman & Manzey, 2010）。验证行为（如检查、探索替代方案或使用外部来源）默认往往较低，当设计制造摩擦或不确定性时上升（Alami et al., 2025; Cummings et al., 2019; Kim et al., 2024）。监控模式显示注意力如何在AI、环境和次要任务之间转移，有助于区分盲目接受、习惯性行动和刻意检查（Cao & Huang, 2022）。
附加诊断层2：涌现状态
依赖校准的最后一层捕获涌现状态，即团队协作中产生的动态心理构念（Ilgen et al., 2005）。涌现状态作为解释层，解释某些校准剖面为何出现。第一，信任定义为用户对AI有能力、可预测且以其利益行事的信念或期望。研究人员将信任作为输入/输出关系的解释性成分纳入，这与HAT研究总体一致（Bu?inca et al., 2021; Schemmer et al., 2023），而非作为结果。第二，自信指参与者对自己判断正确性的信念，是与信任分离的潜在预测因子。依赖文献一致强调自信作为涌现状态的独特机制作用（He et al., 2023）。操作者可能对自己有信心但不信任AI，产生高RSR和高Type-2错误（不足使用）；或者他们可能信任AI但缺乏自信，产生高RAIR但也增加对Type-1误用的易感性。最后，认知工作负荷反映使用AI执行任务所需的努力，可塑造监控、验证和依赖倾向（Cummings et al., 2019; Guyton et al., 2025）。其在RISE中的价值不是测量认知能力本身，而是解释依赖模式为何出现。
输入/输出
输入和输出捕获依赖校准的动态循环性质。先前经验、AI设计特征和情境因素塑造当前依赖行为，进而影响结果。未来依赖可在此定位为结果，而其他结果为基于绩效的，研究趋同于明确模式：失准依赖损害绩效（Küper & Kr?mer, 2024; Wang et al., 2009）。输入涵盖情境因素（如培训; Cummings et al., 2019）、AI设计元素（Guyton et al., 2025）和个体差异（如信任倾向; He et al., 2023）。范围检索对输入因素的综括揭示，依赖校准涉及系统特征、人类特质和先前经验之间的复杂交互。
应用指导：RISE人-AI依赖分析最低报告标准
人-AI依赖分析的标准化不必意味着单一综合评分。它可以意味着固定证据包、共同报告模板和共享解释。为支持跨研究的标准化报告，研究人员提出RISE应被用于构建最低报告标准而非作为单一综合评分（表3）。该标准包括作为描述符的输入（解释依赖发生的情境）和核心校准面板，以确保研究报告足够证据以区分AI被使用了多少、该使用是否适当（适当使用、不适当使用和辨别能力）以及最终产生了什么，其格式可跨条件和跨研究比较。该核心剖面应与信任、自信、工作负荷和验证或监控的解释性叠加层一起解释，以揭示剖面出现的路径。
表3. RISE最低报告模板及填写示例。输入：低可靠性建议（70%）、促进式设计助推。校准面板：AAR 75.7%（良好的AI采纳量）；RAIR 56.9%（较好的AI依赖）；RSR 91.6%（极好的自我依赖）；Type-1错误率44.7%（对错误AI的高误用）；Type-2错误率10.8%（对正确AI的低弃用）；敏感性（d'）1.41（中等的好AI与坏AI辨别）；绩效77.3%（较好的任务绩效）。解释性叠加层：信任4.39/7（中等偏高的态度性信任）；自信77.5%（高自我保证）；工作负荷3.86/7（剖面中等费力）；验证率11.1%（减少的检查）。依赖校准剖面解释：现场报告/剖面标签"良好校准、误用倾向"；一句话解释"强适当切换/抵制但伴随低验证的实质性误用"；设计启示"当AI不确定时引入选择性摩擦/面对式设计助推/提示"。注：这是依赖分析的固定报告模板和共享解释逻辑，而非引入全新指标。校准剖面标签是解释范例，非经实证验证的剖面类别。
该方法最直接适用于研究人员拥有四类记录信息的情况：（1）初始独立人类决策，（2）AI建议了什么，（3）该建议的客观正确性（地面真值），（4）最终人类决策及其是否跟随或拒绝了AI。这四个字段允许计算核心RISE校准剖面。通过校准面板和解释性叠加层的组合，该标准提供了可计算的行为剖面和解释性语境，允许跨研究比较，同时允许输入描述、涌现状态测量和验证/监控数据随任务、领域和可用测量工具而变化。
表3使用一项早期应用研究的数据说明该模板，该研究纳入了低可靠性建议（跨试验70%正确）和旨在促进或面对依赖行为的设计助推。乍看之下，AAR和绩效表明在促进条件下合理的采纳和结果。然而，更完整的剖面揭示，在低AI可靠性下，促进也允许对错误建议的实质性误用且验证有限。这支持了最终的设计启示：在AI自信高时应保留促进式助推，但当AI可靠性较低或建议不确定时应搭配选择性摩擦、不确定性线索或验证提示。
结论
本文论证从自动化到自主性的转变需要一种标准化的方式来报告和解释依赖校准。RISE被提出作为实现这一目标的实用主义模板。RISE不是将人-AI交互简化为信任评级、原始采纳或仅结果绩效，而是使原始依赖、适当性、验证/监控、解释性状态和结果在一个结构内可读。在此过程中，它为更早、更透明地开展以人为中心的AI T&E提供了实践基础。未来工作应在动态模拟实验中和跨领域及系统成熟度阶段检验和完善该标准。
利益冲突声明
作者声明对于本研究的research、 authorship和/或文章发表不存在潜在利益冲突。
资助
作者披露收到以下财务支持用于本研究的research、authorship和/或文章发表：本工作由EPSRC iCASE学生奖学金资助[资助号EP/Y528778/1]。
ORCID iD
Benjamin Bowers https://orcid.org/0009-0003-9980-4921
