《Frontiers in Psychology》:Borrowed or kept? How self-generation-first and direct-adoption AI workflows shape immediate unaided reasoning
编辑推荐:
摘要专业翻译
生成式人工智能是否会侵蚀其所辅助的技能,通常通过统计人们使用该工具的频率来研究,且测量发生在工具仍可用的情境下。这种设计既无法将因果效应与选择效应分离,也无法区分“使用AI”与“依赖AI”。本研究报告了一项三臂实验(900名随机参与者;主要分析样
摘要专业翻译
生成式人工智能是否会侵蚀其所辅助的技能,通常通过统计人们使用该工具的频率来研究,且测量发生在工具仍可用的情境下。这种设计既无法将因果效应与选择效应分离,也无法区分“使用AI”与“依赖AI”。本研究报告了一项三臂实验(900名随机参与者;主要分析样本659人),该实验操纵AI使用方式,并以不使用AI的条件作为锚点,在工具被移除后15–20分钟测量表现。参与者在以下三种条件下撰写议论文:自主生成优先工作流(先形成并提交自身立场,再质询AI)、直接采纳依赖型工作流,或无AI条件;随后在无AI可用的情况下撰写第二篇平行议论文。两名盲法评分者分别对推理质量、观点多样性和原创性进行评分。在无辅助任务中,依赖型使用者的推理表现显著差于从未使用过AI的参与者(调整后差异 = ?0.38,1–7分量表,小效应量,d = ?0.28,双侧p = 0.0002),而自主型使用者未低于该基线。该模式在符合方案分析、协变量调整、第一阶段时间调整及全随机样本多重插补检验中均保持一致。自主卸载的个体特质倾向与反思性思维和批判性思维倾向具有区分效度(HTMT ≤ 0.43),并对无辅助推理具有增量预测力。研究未检测到元认知通路,但该设计无法排除其存在。由于两种工作流在自主生成、精细化加工、修订和努力程度以及自主性方面均存在差异,该估计值属于整体工作流对比,而非任何单一成分:生成效应解释与该模式一致,但本设计无法在竞争性解释之间进行权衡,且未确立任何机制。本研究结果属于即时近迁移衰减,而非已证实的持久性技能退化。区分各实验条件的关键并非模型的可及性,而是交互流程要求使用者产出内容的先后顺序。
论文解读
一、研究背景与问题提出
随着生成式人工智能(Generative AI)从信息检索领域扩展至知识生产领域,一个关键问题日益凸显:当辅助工具被撤除后,使用者自身还保留了什么能力?以往关于AI是否导致“技能退化”(de-skilling)的研究存在两个根本性局限。其一,既有证据多为相关性研究,无法排除自我选择偏差——倾向于依赖AI的人可能在动机或能力上本就与其他人不同。其二,多数研究在AI工具仍然可用的情境下测量表现,所反映的是辅助条件下的绩效,而非使用者脱离工具后的真实保留能力。此外,经典认知卸载(cognitive offloading)实验传统虽已证明卸载行为具有策略性并会重塑任务表现,但将卸载视为单一行为,未能区分两种同样咨询外部辅助却以相反方式与之互动的人群:一种全盘采纳AI输出,另一种将其视为需要核查、比较和修订的材料。学习理论预测这一差异应影响学习效果的持久性——自发生成的材料比单纯阅读的材料记忆更牢,即时感受更困难的条件往往产生更持久的学习。由此产生两个研究缺口:尚无实验操纵卸载的方式(即如何使用AI而非是否使用AI),并在移除AI后测量后续任务表现;同时,个体在卸载方式上可能存在稳定差异,但该差异需与心理学已有测量的批判性思维和反思性思维特质进行区分。
二、研究设计与核心结论
研究人员开展了一项单因素三水平被试间实验(卸载方式:自主型 vs. 依赖型 vs. 无AI),并嵌套被试内迁移结构:先完成AI辅助任务(第一阶段),随后在15–20分钟后完成无辅助平行任务(第二阶段)。900名自报使用生成式AI进行认知任务的成年人通过在线平台招募,最终主要分析样本为659人(自主型222人、依赖型225人、无AI组212人;平均年龄24.6岁,54%为女性)。研究获得郑州大学生命科学伦理委员会批准(批准号:ZZUIRBSK2025-1932)。
核心结论为:在无辅助任务中,依赖型使用者的推理质量显著低于从未使用过AI的对照组(调整后差异 = ?0.38,d = ?0.28,p = 0.0002),而自主型使用者未低于该基线。该模式在符合方案分析、协变量调整、第一阶段时间调整及全随机样本多重插补检验中均保持稳定。研究还发现,自主认知卸载(Autonomous Cognitive Offloading, ACO)特质与反思性思维和批判性思维倾向具有区分效度(HTMT ≤ 0.43),并对无辅助推理具有增量预测力。研究的重要意义在于:首次以实验方法证明,决定后续无辅助表现的关键并非模型的可及性,而是交互流程要求使用者产出内容的先后顺序——自主生成优先的工作流优于直接采纳的工作流,而直接采纳甚至使使用者低于从未使用AI的基线水平。
三、关键技术与方法
研究采用三臂随机对照实验设计,核心方法包括:分层区组随机化(以基线写作能力三分位与学生/工作者身份交叉分层,区组大小为6);通过界面步骤锁(step-lock)强制执行两种AI工作流——自主型要求先提交自身立场和3–5点提纲(至少80字符)才能解锁AI面板,随后须在对比框中记录至少一处与AI观点的分歧并判断哪方更有依据,最终须以自身语言组织改写;依赖型则无提纲步骤,直接指示“采用AI输出,最小化修改”。AI内容统一通过研究平台调用单一商用大语言模型Qwen3.5(通义千问;阿里云)的官方API提供,固定模型版本和采样参数,系统提示词在两种AI条件中完全相同,全部差异由前端界面承载。行为过程日志记录提纲提交、AI调用次数、采纳比例和任务时间以验证操纵有效性。结果变量由两名对条件和阶段均不知情的评分者使用1–7分制评分量表(含推理质量、观点多样性、原创性三个维度)进行盲法评分,ICC(2,k) ≥ 0.75,分歧≥2分由第三名评分者裁决。统计方法包括协方差分析(ANCOVA,以无AI组为参照)、Benjamini–Hochberg错误发现率校正、符合方案分析、多重插补(m = 20)和敏感性分析。
四、研究结果
4.1 操纵有效性检验(保真度检查)
行为日志证实两种AI工作流在锁定步骤上显著分化:自主型组77.5%(172/222)在AI访问前提交了合格立场与提纲,依赖型组仅3.6%(8/225)自发输入了提纲;自主型组平均仅采纳32%的AI内容而不加改写,依赖型组为73%(d = ?2.02)。两组AI调用次数均在1–8次范围内(中位数3次),不存在模型访问不平等。
4.2 并发的AI辅助表现因工作流而异(H1)
在AI辅助的第一阶段任务中,自主型使用者在推理质量上显著优于依赖型使用者(调整后差异 = +0.78,95% CI [0.60, 0.96],d = 0.75),观点多样性同样更优(+0.61),原创性优势较小(+0.21,p = 0.048)。自主型组在第一阶段花费时间更长(14.24 vs. 13.11分钟,d = 0.45),报告更多努力(4.22 vs. 3.91)和更高的状态元认知监控(4.48 vs. 3.76)。
4.3 测量信度
焦点特质量表内部一致性可接受(ACO α = 0.77,反思性思维 α = 0.81,批判性思维倾向 α = 0.78),短机制量表信度较低(元认知监控 α = 0.65;内在动机兴趣 α = 0.62,努力 α = 0.58)。所有结果的盲评信度均较高(ICC(2,k):第一阶段推理0.85、多样性0.84、原创性0.73;第二阶段推理0.86、多样性0.81、原创性0.79)。
4.4 依赖型使用后无辅助表现下降,自主型使用则未下降(H2)
在无AI可用的第二阶段迁移任务中,依赖型使用者的推理质量显著低于从未使用过AI的参与者(调整后差异 = ?0.38,95% CI [?0.59, ?0.18],d = ?0.28,p = 0.0002,FDR q = 0.0006)。观点多样性呈现相同模式(?0.30,d = ?0.23,p = 0.004),原创性无差异(?0.07)。自主型使用者在推理质量上超过依赖型使用者+0.59(d = 0.45,p < 0.0001),相对无AI基线为+0.21(90% CI [0.04, 0.38]),整个90%置信区间位于零以上,排除任何衰减,但该保护结论因方向事后确定而被标记为探索性。
4.5 主要对比对分析规范的稳健性(H2,稳健性检验)
符合方案分析中效应为?0.41(95% CI [?0.62, ?0.20],p = 0.0002,n = 585)。协变量-条件交互不显著(斜率同质性F = 0.29,p = 0.75),残差方差齐性成立(Breusch–Pagan p = 0.26),异方差稳健标准误(HC3)下结果不变(?0.38,p = 0.0002)。加入第一阶段时长、总时长、自报努力或第一阶段表现作为协变量后,估计值介于?0.29至?0.39之间,均保持显著。
4.6 全样本、损耗与缺失数据分析
逐步放宽每条排除规则后,对比估计值介于?0.38至?0.41之间:保留注意力检查失败者得?0.41(n = 735);保留AI筛查标记的无AI组回应得?0.38(n = 713);保留长字符串应答者得?0.38(n = 667);分析所有产出第二阶段论文的随机参与者得?0.41(n = 805);对全部900名随机参与者进行多重插补得?0.39(95% CI [?0.57, ?0.21],p < 0.0001)。对抗性检验显示,即使以最不利于结论的方式假设未完成者的缺失值,对比在极端假设下才失去显著性。
4.7 分析者设定阈值的敏感性
符合方案采纳阈值从0.3扫描至0.7,估计值介于?0.41至?0.46之间,均p ≤ 0.0002,协议遵守越严格估计值越大。完成时间下限(4–8分钟)不改变结果(?0.38,p ≤ 0.0005)。
4.8 自主卸载与相邻特质的区分及增量预测(H3)
自主认知卸载与反思性思维的HTMT比率为0.43(bootstrap 95% CI [0.35, 0.51]),与批判性思维倾向为0.41([0.33, 0.49]),均远低于0.85判别阈值。在层级回归中,控制AI使用频率、反思性思维和批判性思维倾向后,ACO对推理质量(ΔR2 = 0.017,p = 0.0006)和观点多样性(ΔR2 = 0.010,p = 0.008)具有增量预测力。但本样本中ACO的平均方差提取值(AVE = 0.37)低于常规0.50基准,主要由一个弱负荷条目(λ = 0.37)驱动。
4.9 元认知与动机作为候选机制(探索性)
状态元认知监控预测推理质量(b路径 = +0.16,p < 0.001),但依赖型与无AI对比未显著影响元认知监控(a路径 = ?0.14,p = 0.30),间接效应与零无差异(?0.02,bootstrap 95% CI [?0.07, 0.02]),直接效应仍大(?0.36,p = 0.0004)。内在动机路径同样未检测到。该量表α = 0.65导致衰减明显,且a路径分辨率有限(90%功效下可检测最小效应约0.24 SD),因此只能排除足以承载该效应的大规模元认知通路,不能排除小规模通路存在。
4.10 过程日志指标与无辅助表现(探索性)
在两种AI条件内,采纳AI输出比例越高,无辅助第二阶段推理越差(标准化β = ?0.21,p < 0.001),先起草自身提纲的参与者无辅助推理更好(b = +0.43,p < 0.001)。这些指标是分配工作流的近确定性后果,被报告为收敛性描述而非机制检验。
五、讨论与结论
讨论部分明确指出,本研究所测为单次会话后15–20分钟的即时近迁移衰减,而非持久性技能退化;“依赖”是单次指令性工作方式,而非特质性依赖。两种AI工作流在自主生成、精细化加工、修订和努力程度以及自主性方面均存在系统性差异,因此效应属于整体工作流对比,而非任何单一成分。生成效应(generation effect)解释、努力或时间解释、自主性或能动性解释均能预测相同模式,本设计无法区分。认知能动性(cognitive agency)作为设计来源的概念未被测量,不进入任何模型,不承担解释功能。元认知通路未被检测到,但设计无法排除。研究还承认一个真正的替代解释:无AI组在第一阶段撰写了原创论文而依赖型组基本未写,因此无AI组以无AI组额外练习的优势进入第二阶段;但无AI组相对基线基本不变(?0.02),自主型组略增(+0.17),依赖型组大幅下降(?0.49),纯热身效应应使无AI组高于自主型组而未出现。研究结论翻译如下:在三臂实验中,直接采纳型AI工作流在15–20分钟后导致的无辅助推理表现低于从未使用AI的基线,而自主生成优先型工作流则未低于该基线。该估计在符合方案分析、时间调整、第一阶段调整、全样本和多重插补规范以及稳健标准误下均保持稳定;自主卸载特质对无辅助推理的预测力超越现有思维倾向测量,但效应量适中且所用工具仍在开发中。由于工作流在自主生成、精细化加工、修订和努力程度以及自主性方面均存在差异,该估计属于整体工作流对比而非任何成分;生成效应解释与数据一致,但努力和自主性解释同样成立,区分它们需要本研究未提供的匹配设计。该发现支持的是单次会话后即时无辅助表现的论断,而非持久性技能侵蚀,且涉及的是连续体两端的指令性极端而非典型使用。在这些边界内,研究对实践具有特定约束意义:给予人们AI访问权本身并不决定他们脱离AI后的能力,但交互所强加的序列可能决定这一点。