Diff-SCR：面向煤炭行业图像理解的难度加权蒸馏与语义质心正则化框架

《Algorithms》：Difficulty Weighting and Semantic Centroid Regularization (SCR) for Raising the Performance Floor and Concentrating the Score Distribution of Small Models

　　

摘要

煤炭行业的智能应用需要模型能够阅读安全图表和工程图纸等专业图像。小型多模态模型缺乏足够的领域特定知识，而大型多模态模型的部署成本高昂。使用商业API作为教师进行黑盒蒸馏，为将大型模型的图像-文本理解能力迁移到本地可部署的小型模型提供了一种可行途径。然而，常规蒸馏通常只优化平均性能，难以满足高风险煤矿开采场景在性能下限和分数分布集中度方面的要求。因此，本文提出了两项仅在训练期间生效的改进。第一项是难度加权蒸馏（Diff），它使用基础学生在教师生成的答案上的交叉熵损失作为样本难度的可计算代理，并对困难样本进行过采样，从而将有限的梯度预算优先分配给薄弱样本。第二项是语义质心正则化（SCR），它将学生的最后标记表示向其类别的语义质心对齐。这两个组件结合形成Diff-SCR训练框架。权重和质心在训练前一次性计算并固定，因此模型结构不变，也不会增加推理开销。我们使用1800张行业特定图像蒸馏Qwen3.5-0.8B模型。随后由三名人类评分员独立评估223张测试图像，每张图像取他们评分的平均值作为最终得分。与常规蒸馏相比，Diff-SCR将平均分从73.37提升至80.82，得分最低的25%样本的平均分从29.7提升至42.2，并将完全失败的比例从2.2%降至0.4%。一项消融实验表明，这两项改进是互补的：仅使用SCR就能将完全失败的比例降至0.9%，并将得分最低的5%样本的平均分从7.8提升至9.1。结果表明，在不增加推理成本的情况下，重新分配训练梯度资源能够提高平均性能，同时显著提升性能下限并压缩分数分布的离散程度。