编辑推荐：
语法纠错（GEC）与反馈在支持第二语言（L2）学习者、教育者和考官方面发挥重要作用。书面GEC已较为成熟，而口语GEC（SGEC）旨在基于学习者语音提供反馈，因不流畅现象、转写错误和缺乏结构化输入而面临额外挑战。SGEC系统通常遵循由自动语音识别（ASR）、不
语法纠错（GEC）与反馈在支持第二语言（L2）学习者、教育者和考官方面发挥重要作用。书面GEC已较为成熟，而口语GEC（SGEC）旨在基于学习者语音提供反馈，因不流畅现象、转写错误和缺乏结构化输入而面临额外挑战。SGEC系统通常遵循由自动语音识别（ASR）、不流畅检测和GEC组成的级联流水线，使其易受跨模块错误传播影响。本工作考察用于SGEC和反馈生成的端到端（E2E）框架，强调开发这些系统时的挑战与可能解决方案。研究比较了级联、部分级联和E2E架构，均构建于Whisper基础模型之上。E2E系统的一个挑战是缺乏带GEC标注的口语数据。为解决该问题，研究考察了一种自动伪标注框架，将训练数据从77小时增加到超过2500小时。为提高SGEC系统准确性，研究利用ASR输出中的额外上下文信息。针对学习者错误的候选反馈是提升性能的关键步骤。在E2E系统中，必须将SGEC输出与流利转写的估计进行比较以获取反馈。为提高该反馈的精确率，研究提出一种新颖的参考对齐过程，旨在去除由流利转写错误导致的假设编辑。最后，这些方法与编辑置信度估计方法相结合，以排除低置信度编辑。在内部Linguaskill（LNG）语料库和公开可用的Speak & Improve（S&I）语料库上的实验表明，所提方法显著提升了端到端SGEC性能。
一、研究背景与问题。书面语法纠错（GEC）已有较成熟的研究基础和共享任务支撑，但书面输入结构较完整、含标点与完整句，错误更易检测。口语语法纠错（SGEC）面向学习者语音反馈，输入本身含不流畅现象（犹豫、重复、错误起句）、碎片句、口音，且缺乏标点和大小写，检测与纠正更困难。传统SGEC多采用自动语音识别（ASR）→不流畅检测（DD）→GEC的级联流水线，虽可利用任务专用资源，但存在跨模块错误传播，且DD与GEC仅接收文本而丢失声学信息。端到端（E2E）框架可简化架构并减少复合错误，但受限于高质量带标注口语数据稀缺，反馈质量亦不足。大语言模型（LLM）及多模态LLM虽有潜力，但存在过度纠正、对不流畅和ASR错误不鲁棒、编辑透明度不足等问题；Whisper因主要面向语音到文本转写，与SGEC目标更匹配，故该工作聚焦Whisper基E2E模型。
二、研究开展、结论与意义。Mengjie Qian等扩展既有E2E SGEC研究，比较级联、部分级联和E2E架构，提出并整合大规模自动伪标注、提示条件训练与推理、GEC参考对齐以及编辑置信度估计与过滤，在内部Linguaskill（LNG）和公开Speak & Improve（S&I）语料上开展面向转写与反馈的综合评估。研究结论表明，所提方法显著提升端到端SGEC性能，提示条件改善转写质量与反馈精确率，参考对齐通过减少ASR诱导的虚假编辑提高F
0.5，并使E2E模型首次在反馈生成总体质量上超过部分级联基线；编辑置信度过滤进一步去除不可靠编辑。其意义在于为计算机辅助语言学习（Computer-Assisted Language Learning, CALL）中的口语反馈提供更可靠框架，且相关技术可推广至ASR输出后由文本模型精化的级联口语处理系统，如不流畅去除、ASR后编辑和逆文本规范化。
三、关键技术方法（≤250字）。该工作以Whisper small.en和large-v2为骨干，训练Whisperflt（流利转写）与Whispergec（语法纠错转写）；级联与部分级联基线含BERT不流畅检测和BART文本GEC。自动伪标注流水线依次执行ASR、分段、流利转写和GEC注释，构建LNGunl V1/V2。提示条件将Whisperflt输出作为训练和推理提示；参考对齐在flt-hyp、flt-ref和gec-ref间做词级对齐，分Mild与Strong；编辑置信度由FLT与GEC词级分数聚合为avg/min并过滤。数据来源：内部Linguaskill（LNGlbl、LNGunl V1/V2）、公开S&I Dev/Eval；Switchboard Reannotated Dataset用于DD；BEA-2019与EFCAMDAT用于文本GEC。
四、研究结果。5.1 基线比较（Baseline comparison）：通过LNGlbl训练并在LNG与S&I上评估三种架构，small.en的E2E模型欠佳，large-v2的E2E模型WER优于部分级联与级联；与多模态LLM比较，Qwen2-Audio零样本较差、LoRA微调后仍低于Whispergec，Voxtral零样本WER仍较高且反馈F
0.5明显低于部分级联，故后续聚焦Whisper。5.2 伪标注效果（Effect of pseudo-labeling）：通过LNGunl V1/V2预训练后再以LNGlbl微调，伪标注对small.en有效，对large-v2在人工标注微调后收益有限，后续采用large-v2。5.3 提示条件SGEC影响（Impact of prompt-conditioned SGEC）：比较Whispergec+pt、Whispergec与部分级联，提示略改善WER并明显提高反馈Precision与F
0.5，达到部分级联水平。5.4 对齐GEC参考的改进（Improvements from aligned GEC references）：以Orig、Mild、Strong参考训练Whispergec+pt，Mild保持WER并提高F
0.5，Strong获最高F
0.5但WER略升；首次使E2E反馈总体质量超过部分级联。5.5 带置信度的反馈（Feedback with confidence）：通过阈值扫描和跨数据集验证，编辑置信度过滤提高Precision、略降Recall并提高F
0.5，最佳配置Strong+editavg在LNG与S&I分别达44.73与46.94，阈值转移变化至多0.16。5.6 案例研究（Case study）：通过S&I Dev样例比较，Whispergec更能从语音恢复ASR错误并降低WER，Whispergec+pt（Strong）更贴近流利转写、减少虚假编辑，体现转录准确性与反馈精度权衡。5.7 S&I Eval集结果（Results on S&I Eval set）：在2025年3月发布的Eval集评估最佳模型，Mild获最低WER 13.44%且显著优于部分级联14.37%，F
0.5为42.69；Strong的F
0.5为44.39，结合editmin达45.22。
五、讨论总结与研究结论翻译。讨论表明四项技术具有互补性：伪标注缓解数据稀缺，提示条件提供上下文，参考对齐减少ASR诱导的虚假编辑，编辑置信度过滤去除不可靠编辑；E2E模型在关键指标上优于级联和部分级联基线，但在ASR错误存在时生成可靠学习者反馈仍有挑战，转录准确性与反馈精度存在权衡，尤其在使用更激进的参考对齐策略时。研究结论（Conclusions）翻译：本工作针对端到端设置下的SGEC挑战，尤其关注改进学习者反馈。研究人员提出四项互补技术：（1）大规模自动伪标注流水线，生成超过2500小时SGEC训练数据；（2）使用流利转写的提示条件SGEC训练与推理，以增强反馈相关性；（3）GEC参考对齐方法，减少反馈生成中由ASR引起的不一致；（4）编辑置信度估计框架，过滤不可靠反馈编辑。在内部Linguaskill数据集和公开S&I语料库上的实验表明端到端SGEC性能持续提升。使用流利参考进行提示可改善转写质量和反馈精确率。参考对齐通过减少训练样本不匹配进一步提高F
0.5，首次在反馈生成中持续超过部分级联系统。编辑置信度过滤进一步去除不可靠编辑，带来更稳健的反馈评估。这些方法使E2E模型在关键指标上优于级联和部分级联基线。尽管取得这些增益，在ASR错误存在时生成可靠学习者反馈仍具挑战，且转录准确性与反馈精确率之间仍存在权衡，尤其在使用更激进的参考对齐策略时。未来工作将聚焦进一步改进SGEC反馈，并探索更新的多模态LLM用于SGEC。特别是，研究人员将研究单一模型能否联合生成流利转写、语法纠错转写和学习者反馈，从而无需单独的流利转写与SGEC模型来生成反馈，并进一步简化整体框架。
