《Computer Speech & Language》：Speech-driven dialogic question generation for preschool picture book reading: a cognitive-level-aware spoken interaction system using pre-trained language models
编辑推荐：
•提出了一种针对学龄前图画书的认知层次感知问题生成系统。•T5前缀控制手段实现了0.831的CL准确率，优于所有基线方法。•经过语言模型后处理后，Whisper ASR的WER达到了19.8%。•生成的问题与真实的亲子对话中的CHILDES基线分布相匹配。•端到端的口语交互循环达
- •
提出了一种针对学龄前图画书的认知层次感知问题生成系统。
- •
T5前缀控制手段实现了0.831的CL准确率，优于所有基线方法。
- •
经过语言模型后处理后，Whisper ASR的WER达到了19.8%。
- •
生成的问题与真实的亲子对话中的CHILDES基线分布相匹配。
- •
端到端的口语交互循环达到了94.0%的会话完成率。
引言
学龄前阶段（3-6岁）是语言习得的关键时期，在此期间，口语能力、词汇量以及叙事框架对儿童的长期学业发展有着持久的影响。研究表明，共享阅读的频率与之后的阅读成就之间存在正向关联（Bus et al., 1995），早期读写能力研究也确认了口语能力是读写能力发展的基础（Whitehurst and Lonigan, 1998; Shanahan and Lonigan, 2010）。然而，许多学龄前儿童在获得高质量互动阅读的机会上存在结构性缺陷：虽然共享阅读干预可以显著促进表达性语言的发展，但实现这些益处很大程度上依赖于成人的时间投入和专业指导（Dowdall et al., 2020），这导致了语言发展公平性的差距不断扩大。
在解决这一差距的干预措施中，对话式阅读模式借鉴了维果茨基的最近发展区理论，通过结构化提问将共享阅读重新构建为以儿童为中心的认知对话（Whitehurst et al., 1988）。元分析证据表明，对话式阅读对表达性词汇的发展有显著的促进作用（Mol et al., 2008），而引导者对问题认知层次的掌控——平衡低需求的记忆检索问题和高需求的推理及预测问题——是决定干预效果的核心调节变量（Pillinger and Vardy, 2022）。固定脚本提问的固有认知刚性从根本上限制了对话式阅读激发儿童深度叙事理解的能力。
人工智能为克服这些限制提供了技术途径。对话式代理在提供一致的交互反馈方面具有可扩展的优势（Belpaeme et al., 2018），其功能范围已从执行指令扩展到基于认知的语言互动（Zhang et al., 2022），随机对照试验也证实，配置了对话式阅读策略的代理在故事理解方面的效果与人类阅读伙伴相当（Xu et al., 2022）。然而，针对人机协作阅读系统的研究（如StoryBuddy）表明，固定问题脚本无法动态适应叙事结构或儿童的实时认知状态，导致长时间互动中的参与度系统性地下降（Zhang et al., 2022）。在语音交互层面，神经文本到语音（TTS）合成的快速进步为自然儿童对话界面奠定了基础，基于变分自编码器对抗学习框架的端到端TTS模型在韵律自然度和可理解性上已接近人类录音的水平（Kim et al., 2021）。然而，针对学龄前教育环境的TTS系统——特别是结合了认知自适应问题生成的语音输出流程——尚未接受系统的评估。
最近的一项关于自动问题生成的研究指出，将认知适应性纳入生成质量评估是教育应用的基本前提，但在现有研究中这一维度仍然严重不足（Guo et al., 2024）。一个专门为儿童叙事理解设计的基准数据集涵盖了七个叙事元素类别，并区分了显性和隐性问题，为该领域的系统研究奠定了数据基础（Xu et al., 2022）。基于此数据集构建的两阶段的自动问答对生成系统在基准性能上取得了显著进步，但仍缺乏对认知需求水平的显式建模（Yao et al., 2022）。随后采用的三阶段方法结合了问题类型分布学习和以事件为中心的总结，提高了高需求问题的生成频率，但仍受固定类型模板的限制，未能实现基于叙事context的动态认知层次控制（Zhao et al., 2022）。在技术方面，基于布鲁姆分类法的问题分类研究为将认知需求纳入自然语言处理（NLP）建立了方法论框架，并验证了文本特征在认知层次判断方面的区分能力（Mohammed and Omar, 2020）。预训练的语言模型在大规模自动分类学习目标方面表现出接近人类的准确率，证实了编码器架构在认知层次识别方面的有效性（Li et al., 2022）。进一步将认知层次分类与深度学习问题生成流程相结合的端到端工作验证了它们在项目库构建中的组合工程可行性（Sharma et al., 2023）。尽管如此，对大型语言模型生成教育问题在认知层次上的系统评估显示，高阶推理和预测问题的生成质量明显低于低阶记忆问题——在儿童导向的叙事理解场景中，这一差距因语言简洁性的限制而更加明显（Scaria et al., 2024）。
综合上述内容，该领域仍有四个相互关联的空白：尚不存在专门针对学龄前图画书阅读的自动化认知层次感知问题生成系统；现有的对话式阅读代理缺乏对叙事结构和认知需求的集成建模；语音接口（TTS和ASR）与认知自适应问题生成的技术整合尚未得到系统探索；以及缺乏对学龄前环境中TTS输出质量和儿童听觉偏好的定量评估。为解决这些空白，本研究构建了一个以预训练语言模型为中心的语音驱动对话式问题生成系统。该系统将布鲁姆分类法映射到记忆、推理和预测的三层认知层次结构上；利用FairytaleQA数据集和CHILDES语料库构建多源训练和评估基准；采用认知层次前缀控制策略通过T5模型实现可控的生成；整合VITS神经TTS和Whisper ASR模块形成完整的语音交互循环；并通过客观的语音质量评估和儿童的主观偏好实验来验证TTS流程。
章节片段
整体系统架构
该系统采用四层级联架构，各层在功能上独立，但在数据流上依次耦合，实现了从原始图画书文本输入到认知层次感知口语问题的完整处理流程。数据层整合了多源语料库并标准化了注释格式。预处理层负责文本清洗、认知层次映射和上下文窗口构建。模型层包含两个核心模块，
数据统计和预处理结果
数据预处理后，FairytaleQA语料库按故事ID分为三部分，得到包含222个故事和8463对问题-答案的训练集、28个故事和1058对问题-答案的验证集，以及28个故事和1059对问题-答案的测试集。这三部分的样本在认知层次上的分布保持一致，确保了模型训练和评估的公平性。注释映射后各部分样本在认知层次上的分布如下所示
讨论
核心实验结果在多个维度上提供了有力证据，支持认知层次感知问题生成作为智能对话式阅读系统核心组件的可行性。整个模型的CL准确率为0.831，相对于没有认知层次前缀的变体下降了28.5%，清楚地表明了前缀控制策略对预训练语言生成方向的显著约束作用
结论
本研究构建了一个用于学龄前图画书阅读场景的语音驱动、认知层次感知的对话式问题生成系统。该系统将布鲁姆分类法映射到三层认知层次结构，使用带有前缀控制策略的T5预训练语言模型实现可控的问题生成，并整合了VITS神经语音合成和Whisper ASR模块形成完整的语音交互循环。实验结果部分验证了
资金
本研究未获得来自公共部门、商业部门或非营利组织的任何特定资助。
知情同意声明
已获得所有参与研究的受试者的知情同意。
CRediT作者贡献声明
Lei Wu:写作 – 审稿与编辑、初稿撰写、软件开发、方法论设计、数据分析。Kamariah Abu Bakar:写作 – 审稿与编辑、初稿撰写、方法论设计、数据分析。Khairul Farhah Khairuddin:写作 – 初稿撰写、软件开发、方法论设计、数据分析。
Lei Wu|Kamariah Abu Bakar|Khairul Farhah Khairuddin
