《Journal of Intelligence》：Hidden Generative AI Use in Consulting: Social-Cognitive and Organizational Factors in AI Disclosure and Concealment
编辑推荐：
协作问题解决（collaborative problem solving，CPS）是21世纪不可或缺的核心素养，然而，由于评估框架不一致、任务设计与理论对齐不足，以及评分过度依赖行为频率计数，其有效且具备生态效度的评估仍面临挑战。本研究开发了一套嵌入即时战略游
协作问题解决（collaborative problem solving，CPS）是21世纪不可或缺的核心素养，然而，由于评估框架不一致、任务设计与理论对齐不足，以及评分过度依赖行为频率计数，其有效且具备生态效度的评估仍面临挑战。本研究开发了一套嵌入即时战略游戏、以理论驱动的游戏化CPS评估工具，并为其提供了实证支持。该工具采用定制化的协作围攻任务（Collaborative Siege Task），包含非对称角色与劣构问题，旨在诱发更真实的协作互动。基于在中国文化背景下经德尔菲法验证的三维度CPS评估框架，该任务通过五个递进阶段系统性地触发协作中的社会与认知过程。研究从中国东部省份取样，先导研究（N=36）确认了任务可行性与指标有效性，正式研究（N=298）则运用项目反应理论（item response theory，IRT）与验证性因子分析（confirmatory factor analysis，CFA）检验心理计量学属性。研究结果支持层级高阶因子结构，项目难度、区分度、信度以及以同伴评估、推理能力与人格为效标的内容关联效度均达到满意水平。该评估工具在性别、专业及角色上均未表现出测量偏差。本研究提供了一种可靠的CPS测量游戏化评估工具，并展现出在自动化评分程序进一步开发后的规模化应用潜力，对大规模评估与能力本位教学具有启示意义。
**《协作围攻任务》游戏化CPS评估：从理论框架到实证验证的完整通路**
**一、研究背景与研究问题**
协作问题解决（collaborative problem solving，CPS）已被国际经济合作与发展组织（OECD）、21世纪技能评估与教学项目（ATC21S）等国际权威机构认定为21世纪核心素养。在教育与职业场景中，CPS能力不仅关乎学业成就，更影响个体的人际适应与职业竞争力。然而,尽管CPS的教育价值与游戏化评估潜力已获广泛认可，该领域仍存在三个根本性挑战。
其一，现有CPS评估框架缺乏普遍共识与充分实证支持。ATC21S框架将CPS划分为独立的社会与认知两个维度，未能反映真实协作中二者不可分割的整合特性；PISA 2015框架虽采用过程导向的整合设计，但面向15岁学生的人机互动情境，对成人间无结构化的真人协作适用性有限。其二，评估任务与理论框架之间缺乏紧密对齐，尤其在行为指标层面。多数任务设计仅停留在“能否诱发一般性协作”的粗略判断，未系统检验任务元素与框架所规定的具体认知与社会过程的对应关系。其三，评分方法重行为数量而轻行为质量。传统频率计数方法容易导致高分行为掩盖低频高价值行为，使分数反映行为频次而非协作质量，扭曲构念解释。
针对上述问题，本研究基于Guo和Yang（2025）经德尔菲法验证、契合中国文化情境的CPS评估框架，构建了一条从理论框架到测量工具再到实证验证的完整通路，系统解决框架—任务—评分三者的错位问题，检验理论驱动的游戏化评估在CPS测量中的有效性。
**二、研究设计与技术方法**
研究在Guo和Yang（2025）的理论框架上展开，该框架包含3个主维度（达成团队共识RTC、组织团队行动OTA、维持团队功能MTF）、6个子维度及17个可观测要素。研究以《帝国时代II：征服者》为开发平台，通过高级地图编辑器等工具定制了协作围攻任务，包含资源准备、路径探索、外门突破、炮塔摧毁、城镇中心攻占五个难度递进的子任务。先导研究招募36名大学生通过认知任务分析检验可行性与指标有效性；正式研究采样自中国东部某高校的298名有效被试，运用贝叶斯两水平多维分部评分模型、项目反应理论（IRT）分析项目质量，用验证性因子分析（CFA）检验结构效度，以同伴评估、瑞文推理测验、大五人格问卷等为效标检验效标关联效度。
**三、研究结果**
**3.1 先导研究：任务可行性与指标有效性的初步证据**
通过认知访谈文本的主题编码分析，研究发现参与者任务中的认知与行为表现与任务设计预期总体一致。以炮塔摧毁任务为例，多数参与者初期倾向正面强攻，在失败后尝试绕行但受设计约束被迫再次进攻，少数参与者能利用骑兵高机动性吸引火力、派出攻城车协同摧毁。任务难度逐级递进，约七分之一参与者完成全部阶段，整体难度适合目标群体。认知任务评定结果显示预设指标与理论框架一致性良好，但暴露出若干可观测性问题：不同指标在对话依赖性和出现频率上差异大、示例不足以支撑等级判断、部分指标依赖特定触发条件等。基于经典测量理论（CTT）的分析显示，85个观测指标平均难度适中（M=0.53）、区分度较好（r=0.45），子维度内部一致性系数多在0.81-0.88之间。
**3.2 项目与要素质量分析**
IRT分析结果显示85个指标区分度良好（范围0.20-0.82，均值0.59），模型拟合度指标infit和outfit均值平方在0.52-1.24之间。项目难度总体适中（均值0.04），步骤阈值多为负值（均值-1.48），说明参与者普遍能达到中等水平，但获得高水平分数需要较高的能力。在17个要素层面，观点采择、问题解构与资源管理难度较高，行为规范、结果评价、观点表达与团队支持难度较低。要素间难度方差差异明显，反映不同要素受任务情境影响的程度不同。
**3.3 信度与结构效度**
基于Fisher信息量的分析显示，六个子维度的经验信度介于0.76-0.88之间，除团队支持因项目数较少略低外均高于0.80，总量表信度超0.90，克伦巴赫α系数为0.933。测试信息量表明该任务最适合测量能力水平在-2至+2之间的参与者。结构效度方面，研究者比较了四种竞争模型，一因子模型拟合最差，三因子模型与高阶因子模型拟合良好且自由度相同，出于解释性考虑保留高阶因子结构。该结果实证支持了理论框架中"总体CPS能力→三个主维度→六个子维度"的层级结构，即参与者行为反应的数据结构与理论预设高度一致。
**3.4 能力与难度匹配分析**
参与者能力近似正态分布，项目难度覆盖不同能力水平，总体匹配度良好。其中，达成团队共识的相关项目均匀分布于整个难度谱系，组织团队行动的项目普遍偏难，维持团队功能的项目相对容易。这一模式表明达成团队共识是协作问题解决的基础，组织团队行动是区分个体能力水平的关键指标，维持团队功能在协作过程中起基础性支撑作用。
**3.5 效标关联效度与群体公平性**
CPS能力与同伴评估的协作能力（r=0.41）和问题解决能力（r=0.38）呈中等显著正相关，与瑞文推理、宜人性、游戏心流体验及RTS游戏经验呈弱正相关。控制游戏经验与心流体验后的偏相关分析显示，与同伴评估的显著相关保持稳健。多元回归分析中，同伴评估的协作能力（β=0.362）与问题解决（β=0.204）是最强预测因子，宜人性（β=0.137）与尽责性（β=0.122）也有显著正向作用；游戏经验、瑞文推理及人口学变量（性别、年级、专业）均不显著。三因素方差分析进一步确认性别、专业、游戏角色及其交互效应均无显著差异，证明该评估工具在大学生群体中具有良好的公平性与普适性。
**四、讨论与结论**
本研究的主要贡献在于证明了当理论框架、任务设计、指标提取与心理计量建模协调一致时，CPS的结构能够在经验层面被清晰识别。这一发现回应了CPS测量中长期存在的"结构效度悖论"——先前研究中不稳定或矛盾的因子结构并非源于CPS构念本身的不稳定性，而是框架、任务与证据提取之间错位的结果。在评分范式上，基于质量导向的三级水平评分法避免了频率计数对低频率高价值行为的掩盖，提高了分数的可解释性，为诊断性CPS评估奠定了理论基础。
教育实践层面，该研究证明利用成熟的商业游戏引擎可以实现兼具生态效度与实施可行性的游戏化评估，大幅降低了技术门槛。任务的非对称角色设计保证了参与者无法依靠个人能力独立成功，强化了协作的必要性与真实性。维度难度差异也提供了明确的教学启示：教育者应将目标设定、问题分解与协调执行作为优先训练内容，同时将团队凝聚力与沟通视为基础性支撑技能。未来研究可向更大规模团队拓展、开发基于机器学习与自然语言处理的自动化评分系统、将评估与干预整合为"评育一体"体系，并开展跨文化与纵向追踪研究。
