一种基于预训练大型语言模型的双向中文-盲文翻译方法

《Displays》：A pre-trained large language model-based method for bidirectional Chinese-Braille translation

　　

• •
  开发了一个用于大规模中文-盲文语料库的自动转换工具。
• •
  构建了一个包含100万句的平行语料库和一个黄金标准语料库。
• •
  利用大型语言模型（LLM）构建了一个双向翻译系统，其性能优于以往的方法。

引言

盲文是盲人获取信息的重要媒介。然而，特殊教育实践面临着许多挑战：一些教师对盲文的掌握不够熟练，批改盲文作业耗时较长；大多数视障儿童的家长无法理解盲文，因此难以参与教育过程；不同地区和个体之间的盲文标准也并不统一。这些因素共同阻碍了信息的获取和社会交流，进而影响了特殊教育的发展。中文盲文的标准化问题长期以来一直未得到解决，实际使用中同时存在两种盲文形式：普通拼音盲文和双音节拼音盲文。为建立统一的标准，中国政府于2018年发布了《中文通用盲文方案》[1]。该方案规定每个音节应依次由声母、韵母和声调符号表示，明确了所有音节的语调标注规则，并引入了缩写规则，使得大多数中文字符只需用两个盲文单元来表示，从而减少了文本长度。该方案不仅消除了盲文阅读中的发音歧义，还为盲文教育和信息信息化奠定了基础。

传统的中文-盲文翻译技术主要依赖于基于规则的多步骤转换方法，通常结合拼音作为中间媒介，并使用盲文或中文的分割和拼接规则[2][3][4]。然而，这些方法的准确性有限，尤其是在处理多音节字符时。随着统计方法的出现，研究人员开始将中文-盲文翻译视为统计机器翻译（SMT）任务，探索了隐马尔可夫模型（HMM）[2]等模型。近年来，循环神经网络（RNN）[5]和长短期记忆网络（LSTM）[6]的出现推动了端到端翻译技术的发展，实现了中文和盲文之间的直接转换。尽管如此，这些方法在上下文理解方面仍存在不足，并且受到缺乏标准化盲文数据和高质量中文-盲文平行语料库的制约，阻碍了进一步进步。

近年来，基于Transformer架构的预训练大型语言模型（如BERT[8]、GPT[9]、XLNet[10]、RoBERTa[11]、ERNIE[12]、T5[13]和BART[14]）的兴起显著提高了包括机器翻译、情感分析和问答在内的各种下游任务的性能。通过大规模的自监督学习，这些模型获得了丰富的语义表示和语言知识，增强了上下文理解能力，并促进了跨语言知识转移，从而有效支持了中文-盲文翻译任务。基于此，本研究提出了一种双向中文-盲文翻译框架，该框架结合了基于规则的自动化处理和预训练大型语言模型的微调。通过将语法规则的自动化处理与多源语料库的构建相结合，该框架实现了高效、准确的中文-盲文双向翻译，中文到盲文的BLEU分数优于传统基于规则的方法。与传统的基于规则的方法相比，所提出的方法不仅依赖于固定的拼音到盲文映射，还在规则约束的基础上引入了预训练模型的上下文语义建模能力。规则约束确保了盲文输出符合《中文通用盲文方案》的规定（声母、韵母、声调、缩写规则等），而预训练模型则学习了复杂上下文中的词汇意义、语法和消歧信息。与传统的端到端深度学习方法相比，所提出的方法避免了模型完全自主学习盲文规则导致的不稳定性，保持了盲文输出的标准合规性，同时提升了复杂句子结构和多义单词的翻译质量。总之，该框架体现了规则可解释性和模型语义建模能力的结合。

本研究的主要贡献如下：

1. 我们实现了《中文通用盲文方案》中定义的语法规则的标准化自动化处理，并基于Jieba和BERT-CRF开发了一个自动中文-盲文转换工具，为构建中文-盲文平行语料库提供了技术基础。

2. 我们按照《中文通用盲文方案》构建了中文-盲文平行语料库和黄金标准语料库，为预训练大型语言模型的双向中文-盲文翻译的微调和测试提供了可靠的数据支持。

3. 我们对mT5-large[15]进行了中文-盲文翻译的微调，对mBART-large-50[16]进行了盲文-中文翻译的微调。这两种模型在各自的任务中均取得了优异的翻译性能。

章节片段

用于机器翻译的预训练大型语言模型

近年来，预训练语言模型在机器翻译领域取得了显著进展。Clinchant等人使用BERT模型初始化了神经机器翻译（NMT）模型的编码器，从而增强了从源语言中提取信息的能力[17]。Conneau等人提出了XLM-R模型，通过跨100种语言的大规模预训练增强了低资源语言的迁移学习效果[18]。Ma等人设计了DeltaLM

盲文语法规则的自动化

我们对《中文通用盲文方案》中定义的语法规则进行了系统分析，涵盖了盲文编码、拼写和声调标注规则以及缩写规则等方面。我们整理了所有基本组成部分（包括声母、韵母、声调、英文字母、数字和标点符号），分别构建了声母-盲文映射表、韵母-盲文映射表、声调-盲文映射表和英文字母-盲文映射表。

中文-盲文翻译任务数据集

双向中文-盲文翻译任务使用了一个训练数据集（Data1）和三个外部测试数据集（Data2、Data3和Data4）。其中，Data1用于模型训练、验证和内部测试，而Data2、Data3和Data4仅用于外部测试，不参与模型训练或参数调整。

语料库质量评估

为了评估语料库的构建质量，本研究分别对黄金标准中文-盲文平行语料库（Data4）和中文-盲文平行语料库（Data1）进行了质量验证，结果如表8所示。

结论

本研究基于预训练的大型语言模型mT5和mBART，结合了《中文通用盲文方案》的语法规则的自动化处理，实现了高效准确的中文-盲文双向翻译。通过构建高质量的中文-盲文平行语料库和黄金标准中文-盲文平行语料库，为模型的微调和评估提供了坚实的数据基础。实验结果显示，mT5-C2B取得了

CRediT作者贡献声明

郑永祥：概念化、数据整理、形式分析、调查、方法论、软件开发、验证、可视化、写作——初稿。 王志鹏：数据整理、资金获取、调查、写作——审阅与编辑。 李绪颜：数据整理、调查、项目管理。 余凯琳：数据整理、验证。 陈俊豪：资源获取、调查。 孙宇浩：数据整理、验证。 李成龙：数据整理、验证。 李若宇：项目协作

利益冲突声明

作者声明不存在可能影响本文工作的已知财务利益或个人关系。

致谢

本工作得到了国家重点研发计划（主动健康与老龄化应对）（项目编号2023YFC3604000）、浙江省重点研发计划（项目编号2023C03031）以及国家自然科学基金（项目编号32370679）的支持。

郑永祥|王志鹏|李绪颜|余凯琳|陈俊豪|孙宇浩|李成龙|李若宇|徐文丹|徐亮德|王虹