基于变压器的机器翻译的全面研究：识别大型语言模型中的研究空白及解决方案

《ACM Computing Surveys》：A Comprehensive Survey on Transformer-Based Machine Translation: Identifying Research Gaps and Solutions for Large Language Models

研究提出解决Transformer架构在机器翻译中的关键挑战方案，通过统计测试验证BERT模型在英语、德语、法语翻译中的优势，并对比Google Translate、LLAMA-3、ChatGPT等工具在低资源语言及技术文本翻译中的表现差异。

　　

摘要

本文探讨了基于变压器的机器翻译架构中面临的关键挑战，提出了解决特定问题的方法，并指出了研究人员可以重点关注的领域，以缩小现有差距，从而减少寻找研究机会所需的工作量。值得注意的是，我们的研究结果表明，基于BERT的模型在准确性方面表现优于基于Transformer的模型。此外，我们还讨论了大规模语言模型（LLMs）的各种应用。在对WMT14数据集（包含英语、德语和法语翻译）进行统计测试（t值、p值、Mann-Whitney U检验和Cliff’s Delta检验）后，我们发现基于BERT的模型在机器翻译任务中始终表现出更好的性能。据我们所知，这种类型的分析尚未在任何机器翻译研究论文中出现过。使用Google Translator、LLAMA-3和ChatGPT在Umcorpus和EnIndic数据集上进行的模拟显示，Google Translator在翻译资源匮乏的语言时表现优于ChatGPT，尤其是在这种语言中ChatGPT的性能明显下降。我们还观察到，Gemini、LLAMA-3和ChatGPT在翻译技术性较强、内容较为密集的句子时需要提高翻译质量。