中文序列标注的上下文词嵌入方法

《Computer Speech & Language》：Contextual stroke embedding for Chinese sequence labeling

　　摘要
序列标注是自然语言处理中一项基础且具有挑战性的任务。本文提出了一种基于笔画的结构化语言模型——上下文笔画嵌入（CSE），用于中文序列标注。该模型利用汉字的内部结构，旨在从中文笔画序列中提取丰富的内部语义信息，以及汉字之间的上下文句法信息。其工作流程为首先将汉字分解为笔画序列，再利用这些序列训练基于笔画级别的语言模型，该模型采用双层BiLSTM网络架构来生成字符表示。所提出的方法已在多种中文序列标注任务上进行了测试，包括命名实体识别、中文分词与词性标注，并与现有方法进行了比较。实验结果证明了CSE的有效性：它能够捕捉中文的语义结构信息，从而显著提升该方法在各类中文序列标注任务上的性能。此外，研究还表明，相较于非BERT类方法，我们的方法在中文序列标注任务中表现最佳，同时与BERT结合使用时也能取得良好效果。

引言
序列标注作为语言理解的重要手段，是自然语言处理中的基础任务之一，涵盖词性标注、命名实体识别和关系抽取等任务。它在文本摘要（Lloret等人，2011；Mohamed和Oussalah，2019）、信息检索（Bagheri等人，2018）、阅读理解（Cao等人，2019；Cheng和Erk，2020）以及问答系统（Paradis和Nie，2007；Shin等人，2019）等下游NLP任务中发挥着关键作用。

传统的序列标注方法可大致分为规则驱动方法（Etzioni等人，2005）、无监督学习方法（Zhang和Elhadad，2013）以及基于特征的监督学习方法（Ji等人，2016）。近年来，由于深度学习和神经网络模型具备自动发现隐藏特征的能力（LeCun等人，2015），这类模型在序列标注领域受到了广泛关注。其中最常用的模型或许是结合条件随机场的双向长短期记忆网络（BiLSTM-CRF）（Huang等人，2015）；同时，卷积神经网络也被用于提取序列标注所需的低级信息（Ma和Hovy，2016）。此外，还有不少研究采用端到端模型（Yang等人，2017a）或结合字符信息的语言模型（Peters等人，2018；Devlin等人，2019）来实现序列标注，这些方法均利用字符级或词级表示。

与英文不同，中文文本没有明显的单词边界，且每个单词的字符数量较少，因此中文分词较为困难（Liu和Zhang，2012；Liu等人，2014）。这一问题也使得中文序列标注变得复杂，因为它与中文分词密切相关。为解决此问题，已有诸多研究被提出。例如，Li等人（2014）基于对Li等人（2014）研究的拓展，提出了一种无需分词、仅基于字符的方法；而Lattice-LSTM方法（Zhang和Yang，2018；Yang等人，2019）及LR-CNN方法（Gui等人，2019）则试图将隐含的单词信息整合到基于字符的方法中。与字母语言不同，汉字是形义结合体（Song等人，2018），其正字法结构较为复杂，可视为由字符、部首和笔画构成的多层语义结构。这一特点促使一些研究着眼于基于细粒度字符表示的中文序列标注方法，如CWE（Chen等人，2015）、SCWE（Xu等人，2016）、MGE（Yin等人，2016）、cw2vec（Cao等人，2018）和ALWE（Ma等人，2020）。上述方法已成功应用于中文序列标注任务（Shao等人，2017；Meng等人，2019）。然而，它们通常仅基于字符或词级信息，忽略了子词级语义结构，从而限制了性能。由于汉字的字形特征有助于图形组件中的单词或字符表示，因此也有研究致力于设计汉字的字形向量表示以解决序列标注问题（Shao等人，2017；Meng等人，2019）。不过，这类方法并未考虑汉字的上下文信息，性能可能较为有限。

本文提出了一种基于笔画结构的中文序列标注语言模型。该模型利用汉字的内部结构，旨在从中文笔画序列中提取丰富的内部语义信息及汉字间的上下文句法信息，从而有效解决序列标注问题。其工作流程为：首先将汉字分解为承载象形信息的笔画序列，再利用这些序列训练基于笔画级别的语言模型；随后，基于预训练的语言模型生成汉字嵌入，即上下文笔画嵌入（CSE），该嵌入采用上下文字符串嵌入技术实现（Akbik等人，2018）。最后，将CSE输入序列标注模型以完成中文序列标注任务。与现有方法相比，我们的方法具有以下优势：
1. 笔画级信息：该方法中的嵌入基于汉字的内部结构，由于部件与笔画子序列之间存在一一对应关系，笔画表示能够揭示部件信息，如表1所示。此外，此类嵌入能比基于部件的嵌入捕获更多信息。
2. 具备上下文意识：该方法中的嵌入具有上下文意识，可有效缓解语义无关的汉字所存在的多义性问题及笔画序列冲突问题。
3. 能处理生僻字符：该方法可有效处理生僻汉字，因为它能缓解词汇表外字符的问题。在该方法中，词汇表外的汉字会被分解为笔画序列，而这些序列包含与其他词汇表内字符相同的子序列，如表1所示。因此，该方法生成的字符表示更接近该生僻字符的含义。

本文其余结构如下：第2节回顾并分析中文序列标注领域的现有研究；第3节详细阐述所提出的方法；第4节介绍实验结果并对方法进行分析；第5节总结全文并指出未来研究方向。

相关研究
本节将回顾涉及中文序列标注模型的相关研究，包括包含词典信息和子字符信息的模型，以及包含子字符信息的中文单词/字符嵌入方法。随后将分析现有研究的不足，并阐述我们提出该方案的动机。

提出的方法
在我们的方法中，我们提出将汉字分解为笔画序列，再将这些序列输入基于笔画级别的语言模型，从而生成CSE。之后，将该嵌入输入BiLSTM-CRF序列标注模型，用于完成中文序列标注任务。

本节使用的符号说明如下：我们将输入句子表示为c=c1,c2,…,cn，其中n为句子x的长度，ci表示第i个汉字。一个汉字可以……

实验
为评估所提出的方法，首先在简体中文上开展了一系列实验，并与现有方法进行对比。随后，将评估CSE在繁体中文上的性能。此外，还进行了大量消融实验以验证CSE的有效性。根据相关文献，本研究采用Gui等人（2019）提出的BIOES标注方案进行评估。实验结果以标准精度（P）、召回率（R）和F1分数（F1）来呈现。

结论
在本研究中，我们探讨了用于中文序列标注的笔画表示方法。通过利用基于笔画级别的语言建模技术，我们所提出的嵌入方法能够捕捉汉字在上下文中的语义和句法信息。实验结果证明了该方法的有效性和重要性，同时也表明繁体汉字比简体汉字包含更多有用的子字符信息。

致谢
本研究得到了中国国家自然科学基金的支持，项目编号为62576128。

作者贡献
张健：撰写初稿、软件开发、方法设计。陈文帆：验证、软件开发、实验分析。李琪：验证、软件开发、实验分析。盛卫国：审稿与编辑、监督、方法设计、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

acknowledgments
本研究得到了中国国家自然科学基金的支持，项目编号为62576128。