绘制方言地图：一种用于日语方言归一化（从方言到标准语）的序列到序列方法 金加·拉塞克（Kinga Lasek）、 米哈尔·普塔辛斯基（Michal Ptaszynski）、 正人·麻井（Fumito Masui）、 穆贾希德·哈利法（Mujahid Khalifah） 以及尤索·埃罗宁（Juuso Eronen）

《Machine Learning and Knowledge Extraction》：Mapping Dialectal Landscape: A Sequence-to-Sequence Approach to Japanese Dialect-to-Standard Normalization Kinga Lasek, Michal Ptaszynski, Fumito Masui, Mujahid Khalifah and Juuso Eronen

　　

摘要

尽管日语的标准化进程在不断推进，但地域方言仍然存在，尤其是在老年人群体中，这导致了交流障碍，尤其是在医疗和紧急情况下。本研究提出了一种文本到文本的标准化方法，利用经过微调的mT5-small架构将八种日语方言转换为标准日语。我们评估了学习率调度器、训练时长和数据预处理对模型性能的影响。结果表明，CharacTER（字符翻译编辑率）指标比BLEU更准确地评估了模型性能，因为BLEU并不适合日语文本的非分段特性。最优配置通过使输入数据与自然、无空格的日语拼写对齐来最小化字符错误率。此外，我们观察到模型转换错误率与源方言距离东京的物理距离之间存在统计学上的显著相关性。这一发现表明，模型的性能可以有效地作为衡量方言变体与标准语言之间语言距离的代理指标。