基于知识锚定度量与过程级强化的幼儿图像描述统一框架

《Engineering Applications of Artificial Intelligence》：A unified framework for early childhood image captioning via knowledge-grounded metrics and process-level reinforcement

　　

# 摘要

多模态大语言模型（MLLMs）为幼儿教育（ECE）中的图像自动描述提供了有前景的解决方案——幼儿园每天需要为大量活动照片撰写描述，用于成长档案和家长沟通，而这一任务目前仍依赖人工完成。将多模态大语言模型应用于该领域面临三个关键挑战。首先，现有的评价指标缺乏教育学领域知识，无法检测术语错误或材料层面的幻觉。其次，缺乏结构化知识约束时，模型经常幻觉出不存在的教育材料，而儿童隐私法规则限制了部署方式，要求采用本地可执行的架构。第三，该领域不存在带有推理标注的训练数据，导致无法使用在其他领域已被证明有效的思维链监督方法。我们开发了一种基于知识图谱约束的评价指标，利用标准幼儿园材料库验证描述内容；提出了一种三阶段训练流程，整合知识注入、结构化思维链推理和过程级强化学习；并构建了一个推理标注与国家标准对齐的领域专用数据集。实验表明，我们的70亿参数（7B）模型在所有评价维度上均达到了与720亿参数（72B）规模模型及商业API相当的性能，同时支持完全本地部署以保护儿童隐私；且我们的评价指标与传统指标相比，与专家评分的相关性提升了一倍以上（Spearman ρ = 0.701 vs. 0.308）。

# 引言

多模态大语言模型（MLLMs）在大型语言模型的基础上扩展了视觉感知能力，使其能够联合理解图像与文本（Liu et al., 2023, Wang et al., 2024）。研究人员通过领域专用数据整理和面向任务的微调，已成功将多模态大语言模型适配到垂直领域，包括用于生物医学诊断描述的LLaVA-Med（Li et al., 2023c）、用于工业缺陷检测的AnomalyGPT（Gu et al., 2024），以及在遥感（Kuckreja et al., 2024）、数据可视化（Han et al., 2023）和平面设计（Tang et al., 2024）领域的类似工作。幼儿教育（ECE）呈现了一个极具吸引力的应用场景：幼儿园每天会生成大量活动照片，用于儿童成长档案和家长沟通，但准确地为这些图像撰写描述仍由教师手动完成。

尽管多模态大语言模型为自动化的幼儿教育图像描述提供了有前景的路径，但将其应用于该领域面临三个关键挑战。（1）现有的描述评价指标缺乏教育学领域知识，无法检测术语错误或材料层面的幻觉。BLEU（Papineni et al., 2002）和CIDEr（Vedantam et al., 2015）等词汇重叠指标不验证提到的物体是否确实出现在图像中；SPICE（Anderson et al., 2016）等语义指标对所有组件等同对待，不优先考虑教育材料；CHAIR（Rohrbach et al., 2018）和POPE（Li et al., 2023a）等幻觉检测器依赖固定词表，排除了领域专用实体。（2）缺乏结构化知识约束时，模型在生成应使用国家标准教育术语的描述时，经常幻觉出不存在的教育材料。此外，儿童图像在隐私法规下被归类为敏感数据，要求模型足够紧凑以支持完全本地部署。（3）该领域不存在带有推理标注的训练数据，无法使用在其他领域已被证明对减少幻觉有效的思维链监督方法（DeepSeek-AI, 2025, Shao et al., 2024a）。COCO（Lin et al., 2014）和Flickr30k（Young et al., 2014）等通用描述数据集不包含教育推理过程，留下了训练资源方面的关键缺口。

为解决这些挑战，我们提出了一个统一框架，其评价、训练和数据组件共享相同的知识图谱骨干，确保各阶段的术语一致性。具体而言，首先，我们开发了一种基于知识图谱约束的评价指标，将描述分解为结构化三元组，并利用包含1279种标准化幼儿园材料的层次化知识图谱，以非对称权重对每个材料术语进行验证，同时辅以基于图像的图像锚定质量指标，该指标使用与生成模型架构不同的推理能力多模态大语言模型。其次，我们提出了一种三阶段训练流程，结合知识注入、结构化思维链监督以及带有多粒度奖励的过程级强化学习，产出一个70亿参数（7B）模型，支持完全本地推理以保护儿童隐私。第三，我们在ECAC数据集（Li et al., 2026b）的基础上构建了一个领域专用多模态数据集，其思维链标注与国家标准对齐。

我们的主要贡献如下：

- 我们提出了一种基于知识图谱约束的评价指标，将描述分解为结构化三元组，并利用领域专用知识图谱以非对称权重验证材料术语，与所有现有指标相比，与专家评分的相关性大幅提升。
- 我们设计了一种三阶段训练流程，整合知识注入、结构化思维链推理和过程级强化学习，使70亿参数模型能够达到720亿参数规模模型和商业API的性能水平，同时支持完全本地部署。
- 我们构建了一个领域专用多模态数据集，采用基于知识图谱的思维链标注，据我们所知，提供了幼儿教育图像描述的首个推理标注训练资源。

## 多模态大语言模型与垂直领域适配

LLaVA（Liu et al., 2023）、Qwen2.5-VL（Bai et al., 2025）和GPT-4o（OpenAI, 2024）等多模态大语言模型目前在通用视觉理解基准测试上已与人类标注者不相上下，促使研究人员通过领域专用预训练和指令微调将它们适配到专用领域。成功的适配案例包括用于生物医学诊断描述的LLaVA-Med（Li et al., 2023c）、用于工业缺陷检测的AnomalyGPT（Gu et al., 2024），以及在遥感（Metrics）领域的类似工作。

如第一节所述，现有描述指标无法捕捉幼儿教育特有的质量维度：n-gram指标忽略术语准确性，语义指标对所有组件等权处理，幻觉检测器排除了教育材料词汇。为弥补这一差距，我们开发了两项互补指标，基于包含1279种标准化幼儿园材料的知识图谱G。

### KG-TRICE（基于知识图谱的三元组关系图像描述评价）

### 框架概览

我们提出了KTV-GRPO（知识-文本-视觉组相对策略优化），一个三阶段框架。图1展示了我们的完整流程。第一阶段（知识注入）通过双阶段注入内化1279种材料分类体系：首先在3K纯文本样本上进行图谱问答预训练以建立领域术语，随后在20K图像-材料问答对上进行视觉-语言对齐，将语义知识锚定到视觉特征上。第二阶段（CoT-SFT）建立思维链——

### 数据集概览与设计原理

为支持KTV-GRPO框架，我们构建了ECAC-CoT（带思维链的幼儿活动描述）——在ECAC数据集（Li et al., 2026b）基础上，基于包含10个场景中1279种材料的幼儿教育知识图谱G构建的多模态数据集。表1总结了数据集组成。

所有标注均使用知识图谱中的标准化术语，将生成过程分解为可验证的推理步骤，并且可追溯至显式的视觉或知识依据。

### 实验设置

**基础模型**：我们在Qwen2.5-VL-7B-Instruct（Bai et al., 2025）基础上构建KTV-GRPO，使用8块NVIDIA V100 GPU（每块32GB）进行训练，采用混合精度（FP16）以提高计算效率。

**评价数据**：我们在包含2000张幼儿园活动图像的ECAC-CoT测试集上进行所有实验。三位经验丰富的幼儿教育工作者根据中国国家标准幼儿园标准，为每张图像撰写参考描述并验证材料识别。

每张图像均配对了参考描述。

## 结论

我们提出了一个统一框架，用于在术语标准化和儿童隐私的双重约束下将多模态大语言模型适配到教育图像描述任务。该框架包含三个组件：KG-TRICE，一种基于知识图谱约束的评价指标，将描述分解为（主体、材料、动作）三元组并采用非对称权重；KTV-GRPO，一种三阶段训练流程，整合知识注入、结构化推理和过程级强化学习。

## CRediT作者贡献声明

**王震东**：原创草稿撰写、可视化、验证、方法论、调查、形式化分析、数据整理、概念构思。

**顾志斌**：审阅与编辑、验证、方法论、形式化分析、概念构思。

**张子琪**：审阅与编辑、方法论、调查、概念构思。

**马宗阳**：审阅与编辑、方法论、调查、概念构思。

**李兵**：审阅与编辑、指导、资源支持、项目管理。

## 生成式AI及AI辅助技术在稿件准备过程中的声明

在本工作的准备过程中，作者使用了Doubao-vision-pro-32k来生成ECAC-CoT数据集构建流程的初始标注提案。在使用该工具/服务后，作者对内容进行了审阅和必要的编辑，并对已发表文章的内容承担全部责任。

## 利益冲突声明

作者声明不存在任何已知的可能影响本文所述工作的竞争性经济利益或个人关系。

## 致谢

作者感谢参与数据收集和标注的幼儿园以及支持工作的幼儿教育专家。本工作得到国家自然科学基金委（项目编号：U24A20331）的资助。

**作者**：王震东 | 顾志斌 | 张子琪 | 马宗阳 | 李兵 | 徐诚 | 戴松银 | 王颖 | 刘宏哲

**单位**：北京联合大学机器人学院，中国北京