《Frontiers in Psychology》：Establishing the behavioral feasibility of a structured story-generation paradigm for neurophysiological research
编辑推荐：
摘要翻译：
从历史上看，许多标准测量方法都在单一时间点评估创造力，并不适合捕捉自然主义创造认知背后连续的神经活动。本研究的目标是：（a）建立一种适用于利用神经生理学方法研究创造认知连续时间动态的行为范式的可行性；（b）评估使用大语言模型（LLMs）进行评分
摘要翻译：
从历史上看，许多标准测量方法都在单一时间点评估创造力，并不适合捕捉自然主义创造认知背后连续的神经活动。本研究的目标是：（a）建立一种适用于利用神经生理学方法研究创造认知连续时间动态的行为范式的可行性；（b）评估使用大语言模型（LLMs）进行评分的可行性。60名本科生（平均年龄=21.65岁；男女比例=50%）撰写了一篇将三幅不相关图像整合为单一叙事的简短故事。每篇故事由两个大语言模型评分。故事总分的ICC(2,1)为0.67（95% CI [0.51, 0.79]），表明模型之间具有中等程度的一致性，并将评分平均为复合分数。故事任务产生了广泛的分数分布（M=9.2，SD=2.1；范围=4.5–12.5），支持其生成多样性创造输出的能力。研究人员将故事总创造力得分与创造性活动与成就量表（ICAA）和发散联想任务（DAT）进行比较。与ICAA或DAT得分均无显著相关。由两名人类评分者对随机子集（n=30）故事进行评分，与LLM得分呈中等程度一致（ICC(3,1)=0.50，95% CI [0.18, 0.73]）。这些发现为一种结构化的、时间延展的自然主义叙事范式在行为上的可行性及特征描述提供了初步证据，该范式可与神经生理学方法整合。未来研究将考察相关的神经信号，并进一步探索LLM评分与人类评分者的比较。
论文解读文章：
研究背景与问题：创造力通常被定义为产生新颖且恰当想法或解决方案的能力，涉及记忆、注意、执行功能和情绪等多个认知过程的动态交互。传统创造力评估主要依赖自我报告问卷和表现型任务两大类。自我报告工具（如创造性活动与成就量表，ICAA）能反映现实世界中的创造性行为，但本质上具有主观性，受自我认知和记忆影响，且反映的是过去而非当前的创造投入。表现型任务虽然能在受控条件下评估创造能力，但往往强调简短、脱离情境的反应。因此，这些方法通常只能捕捉创造潜能，而非创造产生的过程，且难以与旨在测量认知动态变化的神经生理学方法整合。现有理论框架区分发散思维与聚合思维，但大多数任务将二者隔离并在短时间内评估，限制了对脑网络动态交互作用的理解。脑电图（EEG）研究已发现创造想法与额顶区alpha频段（8–12 Hz）同步化增强相关，但此类研究多依赖简短的单次试验范式（如另类用途任务AUT、远距离联想测验等），无法捕捉真实世界创造性工作中持续多阶段过程的神经动态。故事生成任务有望弥补这一缺口，它同时要求产生新想法、角色和事件（发散思维）并将其组织为连贯叙事（聚合思维），时间延展且符合神经生理学研究需求。然而，开放式叙事任务的评分依赖人类评分者，耗时且难以扩展。大语言模型（LLMs）的进展为自动化、可扩展的创造性输出评估提供了新可能。研究人员据此开展本研究，目的为：（a）建立适用于神经生理学方法研究创造力连续时间动态的行为范式；（b）评估使用LLMs进行评分的可行性。
研究内容与方法：研究人员招募了60名本科生（平均年龄21.65岁，男女各50%），要求他们在1分钟规划阶段和5分钟写作阶段内，将三幅按指定顺序呈现的不相关图像（象形文字、宇宙飞船、迷宫）整合为一篇简短故事，以回应一个熟悉的场景提示（因故无法按时提交大作业而写信向教授解释）。行为可行性通过任务完成率、对任务约束的遵守程度以及输出反应的变异性来评估。评分方面，两个开放获取的LLM（OpenAI ChatGPT 5.2和Anthropic Claude 3.5 Sonnet）基于原创性、连贯性和阐述性三个维度（各5分制）独立对所有故事评分，维度分取模型间平均值，三个维度之和为复合总分（范围3–15分）。另有两名经过训练的人类评分者对随机抽取的30篇故事（50%）进行探索性基准评分。统计方法包括描述性统计、组内相关系数（ICC）和Pearson相关分析。
主要结果：
故事生成任务：所有60名参与者均成功完成任务，并按要求顺序整合了三幅图像。故事总分均值9.20（SD=2.10），范围4.50–12.50，无天花板或地板效应，表明任务能在结构化格式内有效引发多样化的叙事输出。
LLM评分：两个LLM之间的故事总分ICC(2,1)为0.67（95% CI [0.51, 0.79]），显示中等程度一致性，随后将两个模型分数平均为复合得分用于分析。
人类评分基准（探索性）：LLM得分与人类评分者的复合总分ICC(3,1)为0.50（95% CI [0.18, 0.73]），各维度一致性介于0.41（连贯性）到0.56（阐述性）之间，原创性为0.49，显示中等程度一致性。
探索性相关分析：故事创造力得分与自我报告创造力（r=0.25，p=0.050）、ICAA总分（r=?0.03，p=0.822）及DAT得分（r=0.17，p=0.202）均无显著相关（多重比较校正后）。
讨论与结论：研究证实故事生成任务能够在受控条件下产生可评分的、具有变异性的叙事输出，且参与度高。该任务在单一活动中同时涉及想法生成与组织过程，可变性结合无地板/天花板效应表明其对个体差异敏感，同时保持足够的实验结构。但研究人员明确指出，本研究并非旨在验证新的心理测量工具，因此与ICAA和DAT缺乏显著相关不被视为任务价值的反证，而是反映了与已有测量工具的聚合效度不在当前研究范围内。LLM评分的模型间一致性为ICC=0.67，表明LLM评分作为可扩展评估手段具有潜在价值，但模型结果不可完全互换。与人类评分者的中等一致性（ICC=0.50）提示自动化评分仍需进一步验证。探索性相关分析未发现显著关联，可能受限于统计功效、任务格式差异或构念部分重叠。局限性包括单校本科生样本、样本量较小（N=60）、LLM评分验证仅基于30篇子样本以及任务依赖语言和叙事能力。未来方向是将该范式与EEG整合，分析任务定义时段（基线、规划阶段、写作阶段并细分为早中晚三段）内的图论连接指标，建立连接默认模式网络和执行控制网络参与的神经指标与行为评分之间的关系，从而在真实时间尺度上揭示创造力认知的组织动态。研究结论为：本研究建立了一种可行的行为范式，可产生持续的、变异性高的叙事输出，适合未来与神经生理学方法整合。该任务并非作为已验证的心理测量工具，其主要贡献在于支持在更整体的实验情境中整合行为与神经生理数据。基于LLM的评分提供了一种实用且一致的量化复杂叙事输出的手段，但中等一致性表明该方法在广泛采用前需进一步验证。总体而言，结构化叙事生成是捕捉创造力展开动态的有前景方法，为在神经层面解析创造力认知随时间与情境的组织方式开辟了途径。
