英语习语–马拉地语神经机器翻译：基于习语保留准确度指标的对比研究

《Scientific Reports》：Idiomatic english–marathi neural machine translation: a comparative study with an idiom preservation accuracy metric

　　

摘要

习语表达对神经机器翻译而言仍然是个难题，因为其含义往往不具备组合性，且与特定文化相关。本研究利用3,351对匹配的句子对以及一小部分人工筛选出的习语集中，对英语到马拉地语的神经机器翻译系统进行了以习语为重点的诊断性评估。研究共分析了五种翻译系统，包括Bahdanau Seq2Seq、Luong Seq2Seq、一种Transformer基线模型、Helsinki-NLP opus-mt-en-mr，以及经过微调的多语言M2M-100模型。除了BLEU、METEOR和chrF这类表面级指标外，该研究还使用了习语保留准确率（IPA）这一由人工标注的指标，用以评估马拉地语译文是否保留了原文的比喻意义。现有结果表明，在针对英语到马拉地语的诊断性评估子集中，微调有助于提升习语的保留效果。但由于用于评估的习语集规模较小，且并非所有指标都有完整的统计结果，因此这些发现只能作为参考，而非具有统计学意义的定论。总体而言，该研究表明IPA可以作为一种有用的补充评估指标，帮助判断译文是否在表面相似度之外也保留了原文的比喻意义。