职业本科数学中统计建模的课程嵌入式量规：学生表现、评分质量与教学启示

《Sage Open》：A Course-Embedded Rubric for Statistical Modeling in Vocational Undergraduate Mathematics: Student Performance, Scoring Quality, and Instructional Implications

　　

职业本科专业日益期望学生运用概率论与统计学在类工作场所情境中做出决策，然而教师往往缺乏能够一致且具有教学意义地评价开放式建模工作的实用工具。本研究开发并应用了一种课程嵌入式分析性量规（course-embedded analytic rubric），用于一门必修数学课程中的统计与概率建模评价。该量规涵盖六个维度：情境问题理解、假设与数据质量、模型构建、定量推理、验证与不确定性，以及职业沟通。研究实施了两项真实性任务（authentic tasks）：制造质量抽样决策与服务等待时间评估，并对203份匿名学生作业进行评分。两名经培训的评分者对所有作业评分，第三名评分者对子样本评分以检验评分者效应。来自评分者间一致性（inter-rater agreement）、多面Rasch测量（many-facet Rasch measurement, MFRM）以及与独立迁移导向评估（transfer-oriented assessment）的相关性证据，评价了评分质量与教育实用性。结果表明，整体评分一致性良好，类别功能有序，评分者严厉度差异较小，量规分数与迁移导向表现之间存在中等到较强的相关。学生在问题理解、模型构建和定量推理方面的表现优于验证、不确定性和职业沟通方面。除了在职业情境中证明评分质量外，本研究还将统计建模能力概念化为一种课程嵌入的、多维的、形成性的表现构念（formative performance construct）。这表明，基于量规的评估不仅能将建模操作化为技术执行，还能将其视为问题框架、定量推理、验证和职业沟通的协调整合。研究结果表明，课程嵌入式量规既可以作为评分工具，也可以作为职业本科数学中反馈、教学调整和课程改进的实用框架。

职业本科数学中统计建模的课程嵌入式量规：研究解读

职业本科数学教育中，概率与统计的教学目标已超越常规计算，要求学生能够解释不完美数据、处理不确定性，并基于分析提出适用于生产控制、服务运营等情境的决策建议。然而，开放式建模任务虽然能更好地反映真实工作所需判断，却难以像简答题或程序性题目那样保持评分一致性。教师缺乏既能支持评分又能指导反馈的实用工具。理论综述表明，真实评估的价值依赖于明确的标准、连贯的设计和可行的实施条件，而现有量规研究多聚焦于信度报告，较少将统计建模能力概念化为课程嵌入的、多维的、形成性的表现构念。为此，本研究开发并应用了一种课程嵌入式分析性量规，旨在解答三个问题：如何操作化统计建模能力？评分质量与可解释性有何证据？学生表现模式对教学有何启示？该论文发表在《Sage Open》。

研究人员在职业本科必修概率统计课程中，基于文献和专家评审开发了六维分析性量规，包括情境问题理解与目标界定（D1）、假设与数据质量（D2）、模型构建（D3）、定量推理（D4）、验证与不确定性（D5）、职业沟通（D6），每个维度0-3分。研究在两个职业方向实施了两项真实任务：制造质量抽样决策（Task A）和服务等待时间评估（Task B），共收集203份匿名学生作业。两名培训后的评分者评分全部作业，第三名评分者评分随机抽取的41份子样本。此外，学生还需完成一项独立的库存管理情境迁移评估，以检验量规分数的外部关联。

在方法上，研究人员主要采用了三种关键分析技术：一是评分者间一致性分析，计算组内相关系数（ICC）和加权Kappa系数，以评估不同评分者运用量规的稳定性；二是多面Rasch测量（MFRM），这是一种用于分离学生能力、评分者严厉度、任务难度和评分类别功能的测量模型，适用于评分者中介的表现评估；三是相关分析，考察量规总分及各维度分数与独立迁移评估（由两位未参与课程任务评分的教师独立评分取平均）之间的皮尔逊相关。样本来自某职业本科院校的机电一体化、工业质量控制、连锁运营管理和物流服务等专业方向。

结果部分：

数据概览与表现剖面：203份作业的总分均值为10.23（标准差3.18）。六个维度中，定量推理均值最高（1.93），其次为问题理解（1.87），验证与不确定性（1.58）和职业沟通（1.48）最低。这一剖面表明学生相对擅长进入建模过程，但在评价结果、处理不确定性和传达决策建议方面较弱。

评分质量：评分者间一致性方面，总分ICC(2,2)为0.82，维度ICC介于0.73至0.85，加权Kappa介于0.69至0.83，表明一致性良好。定量推理的评分一致性最高（ICC=0.85），验证与不确定性的最低（ICC=0.73），说明评价性维度对评分者而言更难达成一致。评分者严厉度与任务难度方面，多面Rasch分析显示，三位评分者的严厉度参数仅相差0.20 logits（评分者1为-0.12，评分者2为0.08，评分者3为0.04），评分量表类别阈值有序，功能正常。任务A比任务B略难（0.15 vs -0.15 logits）。

基于模型的敏感性分析：全样本的多面Rasch模型解释了78%的观测分数方差，任务难度模式与子样本一致。模型估计的潜在能力与量规总分相关达0.94，表明总分保留了大部分总体信息，同时仍保留维度级细节以支持反馈。

与迁移导向表现的关系：量规总分与独立迁移评估的皮尔逊相关为0.67，呈中等到较强正相关。最高四分位（≥13分）学生比最低四分位（≤7分）学生在迁移评估上平均高2.8分（满分10分），效应量为1.42。维度相关从0.53（职业沟通）到0.71（模型构建）不等，表明核心建模维度与迁移表现关联更强。

主要发现总结：量规能产生具有良好一致性的分数，评分者差异小，类别功能有序，且与迁移表现正相关。最重要的教学发现是学生在验证、不确定性和职业沟通方面存在明显弱点。

讨论部分总结：研究人员认为，学生表现的不均衡支持将六维度视为分层能力结构：问题框架与证据、模型构建与执行、评价与沟通。学生能识别问题并执行计算，但不善于判断结果可信度并转化为行动建议。这种现象与真实评估的文献一致，即真实任务本身不会自动产生高阶评价判断，需要明确设计和教学支持。评分证据同时表明，与可见程序相关的维度更容易取得高评分者一致性，而评价性维度需要更详细的评分者训练、范例和描述语。量规分数与迁移表现的正相关提供了教育相关性的支持，但不能被解释为预测效度。教学启示包括：课堂任务应明确要求学生证明假设、比较替代模型、解释局限，并撰写面向非专业受众的建议；反馈应基于维度级信息，而不是笼统的评语；课程设计应在多个任务中反复练习验证、不确定性和沟通。研究局限包括单一机构样本、任务与专业方向