摘要
随着大型语言模型(LLMs)的出现,机器翻译(MT)的流畅性得到了显著提升。然而,翻译结果中的“幻觉现象”(即错误或误导性的表达)仍然对翻译准确性构成挑战,这使得关键错误检测(CED)变得越来越重要。在本文中,我们提出了一种简单而有效的方法——外部知识引导的调优(external knowledge-guided tuning)来处理关键错误检测任务。我们专注于句子级别的关键错误检测,将其定义为一种二元分类任务,用于判断机器翻译的输出是否包含关键错误。尽管该任务是二元的,但数据包含了多种类型的错误,包括与毒性、安全性、命名实体、情感和数值信息相关的问题,这些错误可能表现为幻觉现象、误译或信息遗漏。我们的方法将模型输入重新组织为填空题格式,并结合了辅助描述,将关键错误检测纳入到掩码语言建模框架中。通过整合额外的上下文信息(如示例和商业系统的输出),我们的方法引导模型获取特定于任务的知识,并比较不同的机器翻译结果。实验结果表明,我们的方法在英-捷克语对上达到了最先进(SOTA)的性能,在英-德语对上获得了第二名的成绩。我们还全面分析了外部知识的综合效果,并研究了所提出框架中每个组成部分的贡献。我们提出的方法使模型能够通过基于提示的参数更新来内化与任务相关的知识,为将外部知识融入关键错误检测提供了一种原理性的方法,从而提高了模型在实际应用中识别关键错误的能力。


