通过模拟游戏评估信息问题解决能力：来自市政执法官员实践的验证证据

《COMPUTERS and EDUCATION》：Assessing Information Problem Solving Through a Simulation Game: Validation Evidence from a Municipal Enforcement Official Context

本研究通过开发模拟游戏Crossroads，验证其在 summative 评估信息问题解决技能中的有效性。采用确认因子分析发现游戏能有效捕捉单一潜变量，即信息问题解决能力。方差分析表明，在职官员和应届毕业生的表现显著优于一年级学生。用户反馈显示游戏具有良好可用性和效度，但需进一步平衡自主性与评估结构。研究结果为模拟游戏在职业教育评估中的应用提供了实证支持。

　　
本研究聚焦于验证模拟游戏在职业培训中的有效性，以荷兰市政执法人员的 surveillance 路径规划任务为例，通过信息问题解决模型（Information Problem Solving Model）评估学员的技能水平。研究采用分层抽样法，选取162名一年级学生、100名应届毕业生和65名在职执法人员作为实验组，通过模拟游戏 Crossroads 考察其信息处理能力差异。

### 一、研究背景与问题提出
随着数字化转型的推进，职业教育的评估体系面临双重挑战：既要保证标准化测试的可靠性，又需维持任务的真实性。传统评估方式（如选择题）存在效度不足问题，而工作场所评估又受限于评价者主观性和环境不可控性。基于此，研究团队开发了 Crossroads 模拟游戏，旨在通过游戏化环境平衡评估的真实性与标准化。

研究基于信息问题解决五阶段模型（定义问题-搜索信息-筛选信息-处理信息-组织呈现），特别强调中间三个可观测阶段。通过设计包含实时反馈、多源信息整合和任务优先级排序的虚拟执法场景，模拟真实工作环境中的复杂决策过程。

### 二、研究方法设计
1. **实验组构成**：
- 一年级学生（平均16岁）：未接触过职业实践
- 最终学年学生（18-19岁）：完成企业实习
- 在职执法人员（平均5.58年经验）：作为对照组

2. **评估工具**：
- 开发专用评估矩阵（Appendix C），包含四个可观测技能：
* 信息筛选（Choice）：正确识别有效线索占比
* 信息处理（Description）：制定可执行方案的清晰度
* 时间管理（Duration）：任务节点的时间控制准确率
* 优先级排序（Priority）：突发事件处理优先级合理性

3. **数据收集**：
- 采用混合评估方式：记录操作日志（包括32个交互节点）和完成度评分
- 配套问卷评估用户体验（包含6个维度）和效度感知（2个核心指标）

### 三、关键研究发现
1. **结构效度验证**：
- CFA 检验显示单因子模型适配度最佳（CFI=0.988, RMSEA=0.022）
- 核心预测因子集中在信息筛选（因子载荷0.73）和方案呈现（因子载荷0.56）
- 特殊维度（任务中断/完成时间）因样本偏差未达显著水平

2. **组间差异分析**：
- **信息筛选**（Choice）：在职人员（M=73.18）显著高于应届生（M=66.64），效应量d=0.44
- **方案呈现**（Description）：在职人员（M=65.44）显著优于一年级学生（M=51.79），效应量d=0.55
- **时间管理**（Duration）：应届生（Mdn=73.82）与在职人员（Mdn=82.85）存在差异但未达显著水平
- **优先级排序**（Priority）：三组无显著差异（p=0.052）

3. **中介效应检验**：
- 数字设备使用经验在一年级学生与应届生差异中起部分中介作用（β=0.56）
- 但在职人员与应届生的差异未通过计算机使用经验的中介路径

4. **用户体验评估**：
- 交互流畅性：应届生（3.24）显著高于一年级学生（2.58），p<0.001
- 任务真实性感知：所有组别在3.5-4.0区间（5分制）
- 游戏化体验：应届生（3.36）显著高于一年级学生（3.02），p=0.047

### 四、理论贡献与实践启示
1. **方法论创新**：
- 首次将信息问题解决模型完整嵌入游戏化评估体系
- 开发双维度评估框架：过程导向（4个技能维度）+结果导向（任务完成度）
- 验证了"中等自由度"设计原则（开放环境+结构化评分）的有效性

2. **职业能力评估模型**：
- 构建"信息筛选-方案编制-时间管理"能力三角
- 揭示数字设备使用频率与信息处理效率存在弱相关性（r=0.08）
- 发现职业经验对信息优先级判断具有显著影响（d=0.67）

3. **教育技术应用建议**：
- 开发辅助工具：自动记录关键决策节点的系统日志
- 优化任务设计：增加30%强制完成节点（如信息检索步骤）
- 建立动态难度调节机制：根据计算机使用经验调整任务复杂度

### 五、研究局限性及改进方向
1. **样本结构问题**：
- 在职人员样本量仅为65人，显著低于学生组（n=162）
- 需要建立职业资格等级匹配机制，解决样本量不足问题

2. **评估效度局限**：
- 缺乏外部效标验证（如实际执法任务考核数据）
- 建议增加多任务情境测试（涵盖交通管理、噪音控制等6类市政任务）

3. **技术实现瓶颈**：
- 开发专用算法处理非结构化数据（如对话记录、路径规划图）
- 需要建立包含200+评估指标的行为编码系统

4. **理论模型扩展**：
- 当前仅验证了筛选、处理、呈现三个环节
- 建议后续研究补充"问题定义"和"信息检索"环节的评估

### 六、教育实践指导
1. **课程设置建议**：
- 在第三学期增设模拟执法模块（建议学时占比15%）
- 开发配套的"技能成长树"系统，可视化追踪学员能力发展

2. **评估体系优化**：
- 建立"过程-结果"双维度评分标准
- 引入动态平衡系数（DBA）：根据学员操作路径调整难度权重

3. **技术工具开发**：
- 创建行为分析仪表盘（含任务完成度、决策树深度、信息整合广度等12项指标）
- 开发智能辅导系统（ITS），实时提供个性化反馈

本研究为职业教育评估提供了新的方法论范式，证实了经过严格验证的模拟游戏系统（如 Crossroads）在评估复杂职业能力方面的有效性。建议后续研究可结合眼动追踪（每秒60帧采样）和生理指标监测（如皮肤电反应），建立多模态评估体系，进一步提升评估效度。