综述：人在回路人工智能：概念、方法与应用的系统综述

《Entropy》：Human-in-the-Loop Artificial Intelligence: A Systematic Review of Concepts, Methods, and Applications Konstantinos Lazaros, Aristidis G. Vrahatis and Sotiris Kotsiantis

　　

将人类判断整合到人工智能（AI）系统中已成为一个关键研究方向，特别是在完全自动化仍然不足的高风险应用中。人在回路（HITL）人工智能代表了一个将机器学习能力与人类监督、反馈和决策相结合的研究领域，这些环节分布在AI流水线的各个阶段。本综述提供了对HITL方法的系统回顾，涵盖了理论基础、技术方法、伦理考虑和特定领域应用。研究人员提出了一个统一的分类法，根据回路位置、交互粒度和时间特征对HITL系统进行分类。本综述综合了来自医疗保健、自主系统、网络安全和其他高风险领域的研究发现，在这些领域人类监督至关重要。研究人员还考察了可扩展性、认知负荷和信任校准等挑战，这些挑战影响HITL系统的实际部署。最后一部分概述了开放的研究方向，并引入了一个用于设计有效人机协作系统的框架。

**2. 理论基础**
本节追溯了HITL智能的智力起源，涵盖控制论、认知科学、决策理论及人因工程。**2.1 锚表：方法与领域**提供了两类汇总表：表1按方法族比较所需人类输入、运营成本、核心风险和失败模式；表2按应用域比较监督点、监管压力、评估指标和常见陷阱。**2.2 历史演变**从20世纪40年代控制论中的人类-机器反馈机制，经20世纪60–70年代决策支持系统，到20世纪90年代主动学习算法的出现，再到深度学习中人类监督回归的必要性，描述了人类角色从接收者到学习过程参与者的转变。**2.3 哲学与认知视角**讨论了人类中心观点（强调道德与责任不可让渡）与有限理性理论（人类在信息与认知约束下追求满意解）对HITL设计的启示，指出认知负荷管理是有效HITL设计的核心。**2.4 混合智能与半人马智能**借用半人马隐喻，强调人机互补而非简单分工，认为HITL系统是动态伙伴关系，双方通过交互共同进化。**2.5 术语与回路配置**区分了人在回路（Human-in-the-Loop）、人在回路上（Human-on-the-Loop）、人超越回路（Human-over-the-Loop）、人在回路下（Human-under-the-Loop）和人沿回路（Human-along-the-Loop）等配置，并注明了其权威级别、交互频率和部署背景。**2.6 概念范围与术语边界**明确了HITL AI、人机协作、交互式机器学习（IML）、从人类反馈的强化学习（RLHF）和可解释人工智能（XAI）之间的层级关系：HITL AI是总框架，IML和RLHF是其方法族，XAI是支撑层。**2.7 交互粒度与时间特征**提出了三维分类的另外两维：交互粒度（粗粒度、中粒度、细粒度）和时间特征（同步/异步、连续/ episodic反馈），指出这三个维度共同决定了HITL设计的可行性与权衡。

**3. 技术方法**
本节综述了实现HITL的核心技术。**3.1 跨方法比较分析与适用边界**从用例、人类参与类型、交互成本、可扩展性、实时能力和鲁棒性六维度对比了主要方法族。**3.2 主动学习与人类标注**介绍了不确定性采样、查询委员会、预期模型变化等查询策略，并讨论了标注界面设计、众包质量控制、专家标注与主动学习结合、以及生成式AI辅助标注等进展。**3.3 人在回路强化学习**涵盖了人类奖励塑造、示范学习、导师模式以及基于偏好的强化学习（RLHF），并强调在线与离线RLHF的区别、安全考虑及在自动驾驶、工业控制、教育等域的应用。**3.4 生成式AI与人在回路反馈**聚焦于提示工程、迭代精炼、链式思考提示等交互范式，并指出幻觉、事实不一致等风险要求将生成与验证解耦，采用检索增强生成和分级审查机制。**3.5 可解释性、可理解性与信任**区分了解释性与可理解性，讨论了事实性与反事实性解释、信任校准（过度信任与信任不足）、解释与人类心智模型的对齐、以及情感维度对解释接受度的影响。**3.6 信任校准与人机交互失败**深入分析了过度信任（自动化偏见）和信任不足的成因与后果，讨论了信任动态、个体差异（如政治偏好）、透明度边界、失败恢复机制、以及责任归属（如替罪羊回路概念）对信任校准的影响。

**4. 公平性、偏见与价值对齐**
本节探讨了HITL在促进AI公平与减少偏见中的作用。**4.1 人在回路公平性**强调公平概念的多面性，介绍了参与式公平方法（让利益相关者参与系统开发全生命周期）和众包公平评估，并主张从被动审计转向主动公平设计。**4.2 偏见检测与缓解**指出算法偏见源于数据、模型假设或评估指标，人机协同检测可识别自动指标遗漏的偏见模式，涵盖招聘、内容审核等域，并强调人类监督并非天然减偏机制，其效果取决于决策标准、多样性审查团队和双重层面（个案与宏观）监控。**4.3 价值对齐与问责**讨论了HITL在价值对齐中的角色，分析了监管框架（如欧盟AI法案第14条）对人为监督的要求，以及责任归因争议，包括替罪羊回路现象，并介绍了儒家伦理等非西方传统对AI伦理设计的启示。

**5. 高风险领域应用**
本节展示了HITL在医疗、自主系统、网络安全等域的具体部署。**5.1 医疗与生命科学**涵盖医学影像解读（如PI-RADSAI）、神经学癫痫识别、临床决策支持系统等，强调了工作流兼容性对接受度的关键作用，以及资源受限环境中的监督挑战。**5.2 自主系统与机器人**讨论了自动驾驶中的训练时与部署时HITL范式、无人机操作员疲劳管理、护理机器人中的伦理设计，以及自驾驶实验室中人类科学家的假设生成与结果解释角色。**5.3 网络安全与关键基础设施**阐述了HITL在威胁检测、警报优先排序、人为因素分析中的应用，并指出对抗性攻击可利用人类认知偏见，要求双重安全设计。**5.4 金融、教育与工业**分别分析了这些域中HITL的不同优化目标：金融侧重法律可辩护性与公平，教育侧重教学合法性与公平，工业侧重通量与质量一致性；强调了监督如何被具体操作化（权限、时机、证据、反馈）而非名义上的存在。**5.5 跨场景共同挑战**总结了六个共性问题：分布式问责、信任校准、认知负荷、干预时机、反馈质量与制度约束，指出HITL系统应视为组织控制系统而非单纯模型-人接口。

**6. 人本设计与评估**
本节关注如何设计支持有效人类参与的界面、流程及评估指标。**6.1 交互设计原则**涵盖了任务分配清晰性、提示工程中的修辞策略、注意力管理（避免因AI高精度导致人类警觉性下降）、交互时序设计（避免死锁）、对话界面设计等，并强调用户学习与机器学习两种HITL路线的选择取决于任务类型。**6.2 人类状态监测与自适应界面**讨论了利用生理与行为指标检测疲劳、注意力下降，并设计自适应机制（如渐进式干预）以维持人类表现，但需注意过度自适应可能削弱人类能动性。**6.3 评估方法与指标**提出了五维评估框架：任务有效性、人因因素、交互过程质量、安全/公平/治理结果以及生命周期鲁棒性，主张采用多阶段评估（控制实验、现场研究、纵向审计）并报告维度向量而非单一分数，以避免掩盖权衡。

**7. 治理、监管与政策**
本节讨论了全球监管环境与组织治理框架。**7.1 人机回路与AI监管**分析了欧盟AI法案对高风险系统的监督要求、美国行政令与NIST风险管理框架、以及FDA和NHTSA的行业特定指南，指出不同框架间的对齐决定HITL系统监管的稳健性。**7.2 组织治理**强调有效监督需要组织能力与文化支持，包括胜任力培养、可扩展性机制（如主动学习与分层监督）、以及对抗社会工程攻击的人为漏洞防护。**7.3 未来治理方向**展望了新兴域（空间通信、社区健康等）的治理需求，并指出合规成本可能偏向大型组织，呼吁发展包容性治理框架。

**8. 开放挑战与未来方向**
本节总结了当前HITL系统面临的四大类挑战。**8.1 分层未来研究议程**建议沿技术层（不确定性估计、分歧学习）、认知层（信任校准、认知负荷管理）、组织层（治理能力、审计流程）和伦理制度层（公平、价值多元性）四个层次开展研究。**8.2 人类监督的可扩展性**指出随着AI决策量增长，人类监督成为瓶颈，未来需发展更精确的不确定性估计和资源分配策略。**8.3 人因与认知局限**强调疲劳、注意力分散、偏见等固有局限，需通过自适应系统、培训和工作制度设计来缓解。**8.4 冲突的人类反馈**讨论了标注者分歧问题，主张区分为歧源于模糊性/价值多元还是误差，并采用软标签或保留分歧信息的方法，而非强制一致。**8.5 对抗性操纵与安全**指出HITL系统中的人类组件易受社会工程攻击，需开发威胁模型、异常检测和韧性架构。**8.6 向自适应与自调控架构迈进**提议开发根据风险水平动态调节监督粒度的架构，但必须辅以非自适应硬约束（如高风险强制审查、随机审计、独立哨兵模型）和元监督机制，以防止自我削弱监督。