编辑推荐:
大型语言模型(Large Language Models, LLMs)是用于创造性构思的流行工具,但已被证明会使不同用户的输出同质化。研究人员检验,鼓励人们以高(相对于低)人类能动性(human agency)使用AI工具,能否通过增强而非卸载个体创造力来缓解
大型语言模型(Large Language Models, LLMs)是用于创造性构思的流行工具,但已被证明会使不同用户的输出同质化。研究人员检验,鼓励人们以高(相对于低)人类能动性(human agency)使用AI工具,能否通过增强而非卸载个体创造力来缓解这种同质化效应。参与者被实验分配至高能动性方法并可使用AI、低能动性方法并可使用AI或仅人类控制三种条件之一,并为日常物品生成创造性用途。与研究人员预期相反,总体而言,想法在个体层面感知创造力(由人类评价者主观评分)上并无差异。然而,一项符合方案(per-protocol)、预注册的相似度至质心(similarity-to-centroid)分析和一项探索性聚类分析提供了收敛证据,表明低能动性条件中存在AI诱导的同质化——这是对遵守AI使用指导的参与者的条件性关联。因此,尽管可随时获取的LLMs支持大规模快速想法生成,研究人员的研究表明,人们接近其AI工具时的能动性程度对集体创造力具有下游后果。
论文解读:感知人类能动性与AI辅助想法生成
创造性构思是人类认知与交流的基石之一,指生成、发展和传达新想法的过程。人们长期借助工具支持创造过程,而大型语言模型(Large Language Models, LLMs)是近年来用于创造性构思的流行工具。LLMs本质上是token预测器,能够根据提示和上下文输出可能词语,并可快速综合大量文本。已有研究表明,LLMs在常见创意构思基准上表现与人类相当甚至更好;但当人类使用AI进行创造时,存在同质化(homogenization)风险,即使用AI者比不使用AI者产出更相似输出。该现象被称为算法单一文化(algorithmic monoculture),在生成式AI情境中也称生成式单一文化(generative monoculture),指大规模依赖单一算法带来的脆弱性:个体可能因AI辅助而觉得自己更有创意,但群体层面想法可能趋同。研究问题在于,人类能动性(human agency,即个体对自身思想和行为施加控制的能力)是否会调节AI诱导的同质化。研究人员提出,高能动性方法可能让人将LLM视为支持自身创造力的工具,而非替代自身创造力,从而影响个体与集体层面的构思结果。研究假设H1为:高能动性条件参与者想法在个体层面被评价为比控制或低能动性条件更具a)创造力、b)原创性和c)有用性;H2为:高能动性条件想法比控制或低能动性条件更不同质。
在方法上,研究使用替代用途任务(Alternative Uses Task, AUT),要求提交者为bubble wrap、frisbee和brick三种日常物品各生成五个非标准用途。提交者为美国旧金山湾区社区大学生(N=150),评价者为CloudResearch Connect招募的美国成人(N=142)。参与者随机接受高能动性加AI访问、低能动性加AI访问或仅人类控制三种指导之一;AI条件使用嵌入Qualtrics调查的定制gpt-3.5聊天机器人。个体创造力由评价者随机评价想法子集;同质性采用句子嵌入模型all-MiniLM-L6-v2生成384维嵌入,计算想法与条件-对象质心的余弦相似度,并进行预注册符合方案(per-protocol)分析;同时用HDBSCAN聚类和t-SNE可视化进行探索性分析,并比较意图治疗(intent-to-treat)与符合方案分析。
结果部分保留原文小标题如下。
3.1 个体层面创造力。研究人员通过混合效应线性回归,以条件为固定效应,提交者、评价者和对象为随机效应,预测总体创造力、原创性和有用性评分。与H1相反,治疗条件相对于控制条件在个体层面感知创造力上无显著差异,ps > .20。评分者间信度较低:总体创造力ICC=0.33,原创性ICC=0.37,有用性ICC=0.41,可能遮蔽了潜在感知差异。
3.2 同质性。研究人员通过预注册的相似度至质心分析,以每个想法与同条件同对象其他想法质心的余弦相似度衡量同质性。线性混合效应模型显示条件对同质性有显著影响,F(2, 121.67)=3.15,p < .05,η
p2 = .07。Tukey HSD两两比较显示,高能动性条件想法较其条件-对象质心更不相似(M=0.394,SD=0.010),低于低能动性条件(M=0.421,SD=.009),t(125)=-2.45,p < .05。控制条件(M=0.417,SD=.008)与高能动性条件无显著差异,t(122)=1.87,p=.15;控制条件与低能动性条件也无显著差异,t(113)=-0.74,p=.74。5,000次Monte Carlo模拟显示,高能动性条件比低能动性条件持续产生与质心嵌入更不相似的想法,ΔM=?.027,95% Monte Carlo区间[?.053, ?.001];低能动性条件与控制条件无显著差异,ΔM=?.004,95% Monte Carlo区间[?.027, .020]。探索性HDBSCAN聚类分析显示,低能动性条件想法倾向于落入1至2个主导簇,噪声比低于仅人类控制条件;控制条件独特簇数量更多,p=.04,噪声比更高,p=.02;低能动性条件变异系数(coefficient of variation, CV)显著高于控制条件,p=.005。总体表明实验操纵导致的同质性结果不同于随机预期。
3.3 意图治疗与符合方案分析比较。研究人员观察到治疗条件中非合规率较高:高能动性条件20%参与者、低能动性条件28%参与者至少在一个对象任务中未使用AI。非合规者开放文本显示部分参与者对AI有反抗。意图治疗分析中,个体层面创造力仍无显著条件差异,ps > .10;预注册同质性相似度至质心模型无显著条件差异,F(2, 136.03)=0.08,p=.91,与符合方案分析不同;但探索性聚类分析在意图治疗与符合方案分析中模式相似,最常见条件排序为控制、高能动性、低能动性。这表明相似度至质心结果主要存在于遵守AI使用指导的参与者中。
讨论部分总结。研究人员认为,个体层面未观察到评价者主观评分的总体创造力、原创性和有用性显著差异,尽管低能动性条件想法在定性上更平庸或无意义。群体层面,低能动性参与者比高能动性参与者更同质,且该效应限于符合方案分析。探索性聚类分析显示低能动性想法落入较少主导簇,噪声更少。这与先前人-AI共同创造研究一致,即使用AI者产出更相似,LLMs可能压平人类变异性。研究还通过分析提示策略贡献于创造力研究:高能动性参与者更多使用探索性提示,即为物品指定可能使用情境,这与“创造性约束”概念一致。局限包括:聚焦发散思维且仅用AUT;依赖第三方主观评价且信度较低;未计算模型行为参数;时间效度受限;非合规率高使结果主要适用于愿意按指导使用AI者;可能涉及心理抗拒、AI过度依赖和感知胜任等未区分机制。未来研究方向包括考察信念一致性调节、长期追踪LLM辅助构思的心理结果,以及通过行为差异而非仅思维差异强化操纵。研究结论部分翻译:AI系统已降低许多创造性工作和表达形式的进入门槛。尽管这为可能感到需要创造力支持的人们民主化了想法生成,但研究人员的研究表明,若无能动性方法,使用大型语言模型的人可能无意中促成算法单一文化。对同一模型的大规模依赖,可能对依赖“想法仅距一个提示”的日常用户集体产生更隐蔽的影响。