摘要
本文提出了一种基于语言约束的神经网络方法，用于低资源突厥语系的形态学分词，以土库曼语为案例进行研究。所提出的方法将基于完整词尾集（CSE）模型生成的大规模训练数据与经过额外语音归纳偏置优化的神经网络架构相结合。与以往依赖卷积层和Transformer层进行隐式特征学习的FEMSeg架构不同，该模型LCMSeg（基于语言约束的形态学分词）引入了元音/辅音指示器以及和谐类嵌入，这些元素均直接源自语言规则。这些约束以归纳偏置的形式实现。CSE框架作为数据生成机制，可产生27万句的分词语料用于训练。神经网络模型能够学习到由CSE标注引导的分词函数，同时突破基于规则方法的局限性。在1万到8万句的训练集上进行的实验显示，该方法具有稳定的改进效果，词元准确率可达99.76%，形态素准确率可达99.53%。在FLORES-200基准测试中的评估表明，该模型在领域转换情况下仍具有很强的泛化能力，和谐一致性高达98.9%。研究结果表明，明确编码语音结构能够提供强大的归纳偏置，尤其在低资源环境下优势明显。所提出的框架为突厥语系的形态学分词提供了一种可扩展且基于语言规律的解决方案。
