生成式人工智能在行为科学研究中的错误谱系:从开放任务遗漏到约束任务委任的认知风险评估

《Current Opinion in Psychology》:Risks of omission and commission errors when using generative AI in behavioral science research

【字体: 大 中 小 】 时间:2026年11月07日 来源:Current Opinion in Psychology 7.4

编辑推荐:

  生成式人工智能(GenAI)正快速渗透行为科学(behavioral science)研究全流程,重塑研究人员提出构想、设计研究、收集数据与分析结果的方式。尽管GenAI可提升研究效率、降低技术门槛并支持更复杂方法,但其引入亦伴随两类错误风险:在开放任务中相对

  
生成式人工智能(GenAI)正快速渗透行为科学(behavioral science)研究全流程,重塑研究人员提出构想、设计研究、收集数据与分析结果的方式。尽管GenAI可提升研究效率、降低技术门槛并支持更复杂方法,但其引入亦伴随两类错误风险:在开放任务中相对占优的遗漏错误(errors of omission,即相关内容未被生成),以及在约束任务中相对占优的委任错误(errors of commission,即不正确内容被生成)。研究人员提出以任务界定精度与错误可检测性(error detectability)为核心的分析框架:开放任务因解空间大、缺失内容无痕迹,遗漏错误更难被领域专家察觉;约束任务因输出可被基准与规范核对,委任错误原则上更易检测但随输出规模增大而验证成本上升。基于此,GenAI在开放任务中应定位于增强(augmentation)而非替代,在约束任务中可在明确标准与验证流程下委托(delegation)。该框架为行为科学中GenAI的负责任采用、方法多样性保持及出版披露规范提供理论依据。
研究背景与问题提出
生成式人工智能(GenAI,generative artificial intelligence)与大语言模型(LLMs,large language models)已被用于行为科学(behavioral science)的构想生成、文献梳理、实验刺激材料制作、定性编码与文稿撰写等环节。其价值在于提升生产力、扩展方法能力与降低技术壁垒,但工具并非无误。当前核心问题不是“是否使用GenAI”,而是“在何种任务结构下使用、哪类错误主导、能否被检测”。已有讨论常混淆两类风险:一类是内容被错误写出,一类是内容根本未被写出。研究人员指出,任务被界定的宽窄会转移这两类错误的相对威胁,并决定验证机制是否有效。
研究人员开展的研究与结论
本研究为概念性论述,未涉及新数据收集,而是建立以“任务规范性—错误类型—可检测性”为轴的分析框架。核心结论为:开放任务(如理论定位、假设提出、文献回顾)解空间大,GenAI倾向产生遗漏错误(errors of omission),即遗漏相关视角、文献或人群异质性,此类错误无输出痕迹,依赖研究人员的领域先验,难以察觉且易造成系统性收窄;约束任务(如按既定方案跑统计、按标准重写预测方向)解空间窄,倾向产生委任错误(errors of commission),即代码错、方向反、操纵不匹配,此类错误存在于输出中,可通过基准、测试与人工核查发现。研究人员主张以错误可检测性比较来评估GenAI应用:委任错误易检,遗漏错误难检,因此开放任务只可增强不可委托。
关键技术方法概述
研究采用概念框架建构与文献综合法,无实验操作、无试剂与培养步骤。作者依托行为科学及GenAI方法论文献中已发表证据进行论证,包括合成受访者(synthetic respondents)研究中3200名参与者与16类人口身份对应的异质性失真证据,以及对LLM创意多样性、审稿同质化等聚合层面现象的文献归纳。方法上关键不在于采样,而在于以任务规范度划分错误剖面,并以可验证性作为采用GenAI的判断准则。
研究结果
两类错误(Two types of errors)
研究人员将任务按解空间分为开放与约束两类。开放任务解空间大,主导风险为遗漏错误;约束任务解空间窄,主导风险为委任错误。遗漏错误检测依赖专业知识与先验意识,委任错误检测依赖验证努力与输出规模控制。
开放任务:遗漏风险(Open-ended tasks: the risk of omission)
在开放任务中,GenAI可能漏掉理论视角、文献分支或研究问题。遗漏错误常具系统性,会定向扭曲“哪些问题被提出、哪些模式被看见”。由于缺失内容不出现在输出里,研究人员若缺乏领域覆盖意识,会把模型输出误认为领域边界。因此开放任务应作增强使用:多模型、多提示策略,结合领域专家交流与独立反思。
约束任务:委任风险(Constrained tasks: the risk of commission)
在约束任务中,错误表现为错误代码、误用统计检验或刺激材料偏离操纵意图。委任错误内容可见,原则上可用测试数据、已知标准和逐行核查捕获;但输出规模越大,验证成本越高,且高流畅度输出会削弱警惕性。约束任务可在明确标准下委托,但必须实际执行验证。
GenAI的实践收益(GenAI’s benefits in practice)
GenAI在约束场景中价值最明确:降低研究搭建成本,使小团队也能做网络抓取、自然语言处理、计算建模与非结构化数据分析。同时GenAI可作交互对象或研究对象,提升生态效度。但能力扩展不豁免方法理解,研究人员仍须掌握分析的逻辑假设与出错条件。
实践中的遗漏错误(Omission errors in practice)
数据中的人类变异收窄(Narrowing human variation in data):合成受访者在赋予人口身份时趋平、趋一致,忽视组内异质性与分布尾部。合成数据只宜作校准工具,不可代替真实证据。
思想多样性收窄(Narrowing the diversity of ideas):GenAI提升个体创意产出,但降低集体创意多样性,使领域话题收敛。需以变式提示、独立头脑风暴与对抗性反馈维持议程多样性。
讨论与结论翻译
讨论部分指出,负责任采用不是二元“用或不用”,而要评估任务错误结构与研究者自身捕获错误的能力。期刊披露应不仅记录“是否用GenAI”,还应记录“对每项委托任务做了什么验证”。出现可检测错误时,GenAI净错误负担可能低于纯人工;但开放任务中若替代思考,将侵蚀累积科学所需的方法与议题多样性。
结论译文:
生成式人工智能已成为行为科学家工具集的常规部分。基于错误的视角提供一种负责任采用的结构化路径:先看任务如何被界定,再看哪类错误更突出,最后看该错误一旦发生能否被检测。实践中应以人类基线比较错误结构。GenAI在约束且界定清晰的任务中收益最大,因为委任错误可通过标准实践验证,但验证必须真正执行。在开放任务中,GenAI仍有价值,但只能用于增强而非替代研究人员自身思考。可检测性不是任务固有属性,而取决于领域专长与验证严谨度。负责任的采用既是个体责任,也是出版规范责任:应报告每类委托任务对应的验证步骤,使GenAI辅助研究的错误剖面在领域层面可见。
这篇解读已完成,接下来可以选择一个方向继续深化:
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号