摘要
大型语言模型越来越多地被用于自动评分，但最终分数的一致性并不能说明评分变化是否影响到了评分标准中的某些具体要素。本研究提出了CreditTrace-LLM这一框架，用于审计评分过程中回答内容的方向性、评分的针对性、释义的稳定性以及与专家评估结果之间的匹配度。评估使用了500组回答样本，涉及十个问题，这些问题均匀分配在技术类和论证类任务中。每组样本包括一个基准回答（C0）、一个通过添加评分相关证据来改进的积极干预措施（C+）、一个通过删除或削弱相关证据来降低评价的消极干预措施（C?），以及一个通过词汇或句法重构来保持评分相关意义的“安慰剂”释义（CP）。八个经过训练的本地化语言模型评分器共生成了15,999个符合格式要求的黄金等级（Gold-point）评分结果，而预期需要生成16,000个评分结果。在C+组的比较中，75.7%的评分符合预期方向；在C?组的比较中，这一比例为50.2%。在C+和C?组中，局部方向性评价的成功率较低，分别为31.5%和21.3%，表明评分经常发生非预期的变化。在CP组中，总分的稳定性为75.4%，而完整评分内容的稳定性为73.6%。与专家平均评分变化的方向一致性分别为：C+组为69.8%，C?组为47.4%，CP组为18.2%。此外，CP组在专家评分上也表现出较大的变异性，尤其是在论证类回答中，这表明即使意图保留评分相关的意义，也不能保证评分的恒定不变。仅凭最终评分结果不足以验证基于评分标准的自动化评分系统的有效性。因此，CreditTrace-LLM通过评估回答内容的方向性、评分的针对性、释义的稳定性以及可追溯的黄金等级评分结果，作为补充性诊断维度，而非预设的可接受评分标准。
