现代日语中大规模词义标注：一种针对 1.8 亿词的全词词义消歧方法

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Large-Scale Word Sense Tagging in Contemporary Japanese: An All-Words Word Sense Disambiguation Approach for 180 Million Words

　　

摘要人工智能摘要要查看此人工智能生成的摘要，您必须拥有高级访问权限。了解更多登录

摘要

作者使用基于 Transformer 双向编码器表征（BERT）的系统，对多个日语语料库中的所有实义词进行了自动词义消歧，总词数超过 1.8 亿。带有词义标签的语料库可以根据词义进行搜索，可用于调查各词义的频率分布，预计将对日语研究做出贡献，并应用于日语教育。然而，由于词义标注需要专业知识且成本高昂，可用的手动标注词义的日语语料库很少。作者使用微调后的 BERT 开发了词义消歧系统，并以平衡当代书面日语语料库（BCCWJ）的核心数据为手动标注词义的核心数据。使用该模型，作者根据《语义原则词表》（Word List by Semantic Principles, WLSP）为日本国语研究所发布的各种日语语料库分配了词义标签。作者对手动添加了词义的部分语料库中的每个领域进行了 500 个词的评估，根据领域不同，准确率为 68.2%-91.8%。作者还介绍了一种新的语料库搜索应用程序 Chunagon，它允许基于词义进行搜索，现已向公众开放。

人工智能摘要 人工智能生成摘要（实验性）

本摘要是使用自动化工具生成的，未经文章作者撰写或审阅。它旨在支持发现，帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍是论文的主要摘要。完整文章仍是权威的记录版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性进行评论。这样做将有助于指导改进和未来重新生成的版本。要查看此人工智能生成的通俗语言摘要，您必须拥有高级访问权限。

1 引言

日本国语研究所（NINJAL）的语料库，如平衡当代书面日语语料库（BCCWJ）[15]，可以通过 Chunagon，一种语料库搜索应用程序，基于字符串、正则表达式和形态信息进行搜索。它可以基于词性连接和活用形式查询表达，但不能基于语义信息查询。本研究旨在使 BCCWJ 和八个语料库（包含 1.8 亿个词，涵盖各种领域或语域）能够基于词义信息进行搜索。我们应用了 Asada 等人 [2] 提出的全词词义消歧（WSD）技术，在整个 BCCWJ 和八个语料库中分配来自《语义原则词表》（WLSP）[7] 的概念 ID 作为词义标签。本文解释了在对此 1.8 亿词数据进行词义标注过程中使用的数据和分析方法。分析模型使用 BCCWJ 的训练、验证和测试数据进行了优化。此外，对于训练数据中未包含的 BCCWJ 语域以及除 BCCWJ 外的八个语料库，我们手动验证了每个语域或语料库的 500 个词的词义信息，以评估分析结果的性能。为了支持语言学研究，我们基于相同数据构建了标注有词义标签的频率表。我们还基于词义标签检查了语域差异，并分析了报纸语域内文章分类的词汇分布差异。最后，我们解释了一款新发布的语料库搜索应用程序——Chunagon，它使用户能够使用语义信息进行搜索。

如果可以使用语义信息进行语料库搜索，该语料库可以作为母语者和学习者在撰写文本时的参考资源。特别是，当作者心中有清晰的概念但需要确定哪种语言表达在实际语言使用中最自然且最常用时，这将非常有用。通过利用 WLSP 的概念 ID，用户可以搜索相关语义域内的例句。然后，通过检查表达在其语境中的用法，他们可以选出既合适又自然的日语表达。此外，本研究中开发的词义标注语料库有助于广泛的语料库研究目的，包括词义分布、词汇规范和语义变化的调查。因为每个词实例都标注了词义标签，研究人员可以进行语义级别的搜索和频率分析——这些任务仅使用词级标注很难完成。这使得能够详细检查诸如词义歧义、多义词分布以及跨体裁和语域的词义分化等现象——这些领域传统上很难调查。通过这种方式，本研究中构建的词义标注语料库不仅是语言支持的实用工具，也是具有潜力贡献于日语语言学理论、描述和应用研究的基础资源。

本文的贡献如下：
(1)我们对包含 1.8 亿个词的日语语料库中的实义词自动分配了词义标签。
(2)我们对训练数据中未包含的语域和语料库自动分配的词义准确性进行了手动评估。
(3)我们为词义标注语料库创建了词典表。
(4)我们介绍了新发布的语料库搜索系统 Chunagon，它可以基于语义信息进行搜索，最近已发布。

2 相关工作

在自然语言处理领域，WSD 现在被认为是一个已经达到一定准确率水平的问题。在计算语言学协会（ACL）年会上，这是自然语言处理领域的顶级会议之一，2023 年总共展示了 20 篇关于 WSD 任务的论文，包括研讨会论文。然而，这些论文中的大多数专注于视觉词义消歧，即使用图像和文本处理 WSD 任务（参见 [13] 和 [16]）。其他研究探索了考虑模型和数据不确定性的 WSD 任务（参见 [14]）。在 ACL 2024 上，关于 WSD 任务的论文数量（包括研讨会论文）已减少到七篇。除了多模态方法（参见 [29]）外，关于阿拉伯语 WSD 的论文尤为引人注目（参见 [1] 和 [28]）。

《亚洲和低资源语言信息处理 ACM 学报》系列包含大量关于 WSD 的论文。Saeed 等人 [20] 提出了一个用于乌尔都语全词 WSD 任务的新基准语料库。Saidi 和 Jarray [21] 介绍了一种用于阿拉伯语 WSD 的混合方法，将单层卷积神经网络与 BERT 表征相结合。Cao 等人 [5] 提出了一种双编码器 WSD 方法，集成了知识图谱和文本层次结构。Sun 和 Plato? [24] 提出了一种模型，利用堆叠的双向长短期记忆（LSTM）神经网络和注意力机制进行 WSD。

关于 BCCWJ 全词 WSD 的先前研究是 Suzuki 等人 [25]。该研究基于句子中词义由上下文确定的理念，比较目标词周围词的分布表征与其同义词的分布表征，并通过计算它们之间的欧氏距离来确定词义。该研究证明了这种方法的有效性。在本研究中，我们使用 BERT [6] 进行了全词 WSD。之前使用 BERT 进行全词 WSD 的研究是 Asada 等人 [2]。该研究专注于历史日语语料库（CHJ）[3]，证明了 BERT 对全词 WSD 有效，并表明在输入句子的开头添加指示源文本的 ID 可以提高系统准确性。由于 CHJ 包含来自广泛历史时期的文档，源文本信息在词义选择中可能是有效的。虽然本研究专注于当代日语，但鉴于其目标语料库涵盖多种体裁，我们预计类似的方法在此背景下也将有效，并在我们的研究中使用了这种方法。

Scarlini 等人 [22] 与本研究最为相关。它自动为五种语言（英语、法语、意大利语、德语和西班牙语）的总共 10 个语料库分配词义信息。它还表明，这种标注的词义信息对于在词义消歧任务中训练机器学习模型很有用。Zan 等人 [31] 标注了一个 187 万词的汉语语料库，但对于新领域语料库，词义信息是使用自动标注方法分配的。

在日语语料库中手动标注了 WLSP 概念 ID 的语料库示例包括针对 BCCWJ [10] 和 CHJ 的语料库。其他研究使用词义信息标注日语语料库的包括使用 Lexeed 基本词义数据库 [8] 标注的 Sense Bank“Hinoki”[26]；使用岩波日语词典词义标签标注的 SENSEVAL-2 日语词典任务 [23]；以及 SemEval-2010 日语 WSD 任务 [18]。此外，还有 EDR 电子词典 [30] 和带有词义信息的 EDR 语料库 2 和 RWCP 语料库 [27]。

应用 BabelNet 多语言同义词集标签的研究包括 Navigli 等人 [17] 和 Pasini 等人 [19]。特别是，Pasini 等人 [19] 进行了使用 BabelNet 同义词集 ID 的日语词义消歧研究。该研究利用英语 WSD 最广泛使用的资源之一 SemCor 语料库 [3] 和普林斯顿 WordNet 释义语料库（WNG）的机器翻译版本，创建了点义数据（XL-WSD-data）。特别是，日语 SemCore [4] 标注了 WordNet 同义词集标签。然而，由于使用了机器翻译，一些词义标签从日语母语者的角度来看似乎说服力不足。因此，在本文中，我们使用基于手动标注数据训练的 BERT 模型，自动为日语语料库分配 WLSP 概念 ID。

3 数据

3.1 WLSP

WLSP [7] 是一本包含 101,170 条目的字典，包括分隔符符号，并包含词义信息。词义信息由一个称为概念 ID 的五位数字表示。例如，概念 ID 1.1920 表示“名词性 - 关系 - 数量 - 程度/限度”。这个概念 ID 用作词义标签。

图 1 显示了来自 Kato 等人 [10] 的 WLSP 中词义标签的结构。该图展示了“話”（talk in English.）的例子。概念 ID 中句点左边的数字是一个称为“类”（類）的语法类别，分为四组：“1. 名词性”、“2. 动词性”、“3. 修饰语”和“4. 其他”。其他包括感叹词和连词。句点右边的数字称为“部门”（部門），分为五组：“.1 关系”、“.2 主体”、“.3 动作”、“.4 产物”和“.5 性质”。第一位和第二位小数表示“中项目”，有 43 个类别，后四位数字表示“分类项目”，有 519 个类别。WLSP 中的概念 ID 是语义标签，类似于 WordNet 同义词集，代表多个词共享的含义。

图 1. WLSP 中词义标签的结构，转载自 [10]。

3.2 语料库

“平衡当代书面日语语料库”（BCCWJ）[15] 是一个包含 1.2 亿个词的日语语料库，这些词是日语标记的短单元。该语料库分为 13 个语域：书籍（PB）、杂志（PM）、报纸（PN）对应生产样本调查；书籍（LB）对应流通样本调查；以及白皮书（OW）、教科书（OT）、公关论文（OP）、畅销书（OB）、Yahoo! 知恵袋（问答网站）（OC）、Yahoo! 博客（OY）、诗歌（OV）、法律（OL）和议会记录（OM）对应特定目的样本。其中，来自 PB、PM、PN、OW、OC 和 OY 的约 120 万个词被称为核心数据，并手动标注了形态信息。BCCWJ 经过精心设计，旨在代表广泛的当代书面日语。它包含各种语域，包括书籍、杂志、报纸、白皮书、博客和互联网论坛——每种语域都经过仔细考量进行采样，以确保代表性。

具体而言：——图书子语料库：样本的选择基于日本十进分类法（NDC），反映实际的出版分布，并从日本各地一系列图书馆的馆藏中抽取。——报纸子语料库：抽样考虑了多个因素，包括全国、地区和本地报纸；不同的编辑版面（如社会、政治）；早报和晚报；以及出版年份。

值得注意的是，在每个子语料库内，文档的顺序在发布时是随机的。BCCWJ-WLSP [10] 包含了对核心数据中 PB、PM 和 PN 部分约一半样本的手工标注词义标签（来自 WLSP）。在 BCCWJ-WLSP 中，只有实词被标注了词义标签，虚词未被标注。因此，我们在 BCCWJ 和八个语料库中仅为实词分配了词义标签。除 BCCWJ 外，实验中使用了八个语料库：“昭和 - 平成书面日语语料库”（SHC），“昭和口语语料库”（SSC），“GENNICHIKEN 职场话语语料库”（GWDC），“名古屋大学对话语料库”（NUCC），“第二语言日语国际语料库”（I-JAS），“第二语言日语语料库”（C-JAS），“日常日语对话语料库”（CEJC）以及“自发日语语料库”（CSJ）。BCCWJ-WLSP 的统计信息见表 1。它们分别是语料库名称、词元总数、目标词元总数、独特目标词形数、独特词义数、每词平均词义数、每目标词平均词义数以及标题 ID 数。

在本研究中，当使用 BCCWJ-WLSP 作为训练数据时，我们在每个输入句子的开头添加了一个标题 ID 以指示句子的来源。该标题 ID 来源于语料库中的"pSampleID"，使用包含语域信息的前四个字符，作为单个标签。具体来说，原始 ID 为"PN3g_00001"时，缩短为"PN3g"。目标语料库的统计信息见附录表 12。

表 1. 语料库名称 | BCCWJ-WLSP
--- | ---
词元总数 | 347,094
目标词元总数 | 126,286
独特目标词形数 | 2,988
独特词义数 | 918
每词平均词义数 | 2.55
每目标词平均词义数 | 5.27
标题 ID 数 | 75

**BCCWJ-WLSP 的统计信息**

表 2. 语料库 | 语域或描述 | 正确 | 错误 | 准确率 B | 准确率 C
--- | --- | --- | --- | --- | ---
BCCWJLB (图书 (图书馆)) | 238 | 31 | 88.5% | 93.8%
BCCWJOB (畅销书) | 196 | 44 | 81.6% | 91.2%
BCCWJOC (Yahoo! 问答) | 166 | 58 | 74.1% | 88.4%
BCCWJOL (法律) | 264 | 44 | 85.7% | 91.2%
BCCWJOM (议会记录) | 216 | 54 | 80.0% | 89.2%
BCCWJOP (公关文稿) | 241 | 51 | 82.5% | 89.8%
BCCWJOT (教科书) | 177 | 59 | 75.0% | 88.2%
BCCWJOV (诗歌) | 204 | 95 | 68.2% | 81.0%
BCCWJOW (白皮书) | 261 | 36 | 87.9% | 92.8%
BCCWJOY (博客) | 197 | 46 | 81.1% | 90.8%
CEJC | 对话 | 212 | 77 | 73.4% | 84.6%
C-JAS | 口语 (L2 学习者) | 204 | 73 | 73.6% | 85.4%
CSJ | 口语 | 236 | 21 | 91.8% | 87.0%
GWDC | 对话 | 171 | 40 | 81.0% | 92.0%
I-JAS | 口语和书面语 (L2 学习者) | 205 | 47 | 81.3% | 90.6%
NUCC | 对话 | 174 | 41 | 80.9% | 91.8%
SHC | 书面语 | 186 | 41 | 81.9% | 91.8%
SSC | 口语 | 203 | 47 | 75.0% | 81.2%

**手动评估结果 (每个语域或语料库 500 词)**

表 3. 语域 | 排名 | 词 / 翻译 | 系统输出 (上) / 正确答案 (下)
--- | --- | --- | ---
LB | 1 | 無尽 (1.3710) 名词 - 动作 - 经济 - 经济/平衡 | Unlimited (1.1910) 名词–关系 - 数量 - 多少
Books (流通) | 2 | 古 (1.1623) 名词 - 关系 - 时间 - 时期 | Old (1.1660) 名词 - 关系 - 时间 - 新旧/快慢
3 | しめる (2.1110) 动词 - 关系 - 类别 - 关系 | Close/Cover None
OB | 1 | 埋める (2.1541) 动词 - 关系 - 交互 - 上下车/起伏 | Fill in ° (2.1580) 动词 - 关系 - 交互 - 增减/补充
Bestseller books | 2 | 尽くす (2.3040) 动词 - 动作 - 心智 - 信仰/努力/耐心 | Devote (2.1250) 动词 - 关系 - 存在 - 消亡
3 | 根 (1.1330) 名词 - 关系 - 方面/属性 | Root (1.1111) 名词 - 关系 - 类别 - 重要与琐碎
OC | 1 | ゲーム (1.3374) 名词 - 动作 - 生活 - 体育 | Game ° (1.4570) 名词 - 产物 - 工具/玩具/模型/雕像
Yahoo! Chiebukuro | 2 | 下さる? (2.3770) 动词 - 动作 - 经济 - 给予与接受 | Give it to me (2.3660) 动词 - 动作 - 处理/要求/请求
3 | 四? (1.1960) 名词 - 关系 - 数量 - 数词 (一，二，三) | Four (1.1961) 名词 - 关系 - 数量 - 排名符号
OL | 1 | 於く? (2.1513) 动词 - 关系 - 交互 - 固定/倾斜/跌倒等。在/于 | In/At (2.1700) 动词 - 关系 - 空间 - 空间/地点
Law | 2 | 内 (1.1920) 名词 - 关系 - 数量 - 程度/限度 | Inside ° (1.1770) 名词 - 关系 - 空间 - 内外
3 | 土地 (1.1720) 名词 - 关系 - 空间 - 区域/座位/痕迹 | Land ° (1.4700) 名词 - 产物 - 土地利用/土地类型 (土地利用)
OM | 1 | 於く? (2.1513) 动词 - 关系 - 交互 - 固定/倾斜/跌倒等。在/于 | In/At (2.1700) 动词 - 关系 - 空间 - 空间/地点
Diet minutes | 2 | つく? (2.3311) 动词 - 动作 - 生活 - 晋升与降级 | Arrive/Attach (2.1110) 动词 - 关系 - 类别 - 关系
3 | 成る (2.1220) 动词 - 关系 - 存在 - 确立 | Become (2.1112) 动词 - 关系 - 类别 - 因果关系

**BCCWJ 1 中每个语域最常见的三个错误**

表 4. 语域 | 排名 | 词 / 翻译 | 系统输出 (上) / 正确答案 (下)
--- | --- | --- | ---
OP | 1 | 出来る? (2.1220) 动词 - 关系 - 存在 - 确立 | Able to (2.3421) 动词 - 动作 - 活动 - 能力
Public relations papers | 2 | 連合? (1.2760) 名词 - 主体 - 机构/联盟/组织 | Union/Alliance (1.3500) 名词 - 动作 - 交互 - 交互
3 | 成る (2.1220) 动词 - 关系 - 存在 - 确立 | Become ° (2.1500) 动词 - 关系 - 交互 - 交互/变化
OT | 1 | 来る? (2.1527) 动词 - 关系 - 交互 - 往返 | Come (2.1504) 动词 - 关系 - 交互 - 持续/重复
Textbooks | 2 | 人? (1.2000) 名词 - 主体 - 人类 - 人类 | Human/People (1.1962) 名词 - 关系 - 数量 - 助词后缀
3 | 歌? (1.3230) 名词 - 动作 - 艺术 - 音乐 | Song/Poem (1.3210) 名词 - 动作 - 艺术 - 文学
OV | 1 | 風 (3.1302) 修饰语 - 关系 - 方面，味道，基调 | Wind/style (1.5151) 名词 - 自然 - 物质 - 风
Poetry | 2 | 乍ら (3.1130) 修饰语 - 关系 - 类别 - 相似与差异 | While None
3 | 許す? (2.3532) 动词 - 动作 - 交互 - 同意/不同意 | Forgive (2.3670) 动词 - 动作 - 处理/命令/限制/服从
OW | 1 | 来る? (2.1527) 动词 - 关系 - 交互 - 往返 | Come (2.1500) 动词 - 关系 - 交互 - 交互/变化
White papers | 2 | 中 (1.1652) 名词 - 关系 - 时间 - 中间/峰值 | Middle/Inside (1.1620) 名词 - 关系 - 时间 - 时间段
3 | 危機 (1.1690) 名词 - 关系 - 时间 - 案例 | Crisis (1.1611) 名词 - 关系 - 时间 - 时机/钟表时间
OY | 1 | 成る (2.1220) 动词 - 关系 - 存在 - 确立 | Become (2.1112) 动词 - 关系 - 类别 - 因果关系
Blogs | 2 | 金? (1.4040) 名词 - 产物 - 物体 - 硬币/门票/证券 | Money/Gold (2.1112) 名词 - 产物 - 材料/木材/石头/金属
3 | 能力? (1.3421) 名词 - 动作 - 活动 - 能力 | Ability (1.1402) 名词 - 关系 - 力量 - 权威/体力

**BCCWJ 2 中每个语域最常见的三个错误**

表 5. 语域 | 排名 | 词 / 翻译 | 系统输出 (上) / 正确答案 (下)
--- | --- | --- | ---
CEJC | 1 | 落ちる (2.1540) 动词 - 关系 - 交互 - 升降 | Fall None
Conversations | 2 | 見る (2.3091) 动词 - 动作 - 心智 - 看 | Look None
3 | まあ (3.1920) 修饰语 - 关系 - 数量 - 程度 | So (4.3010) 其他 - 情感 - 感叹词
C-JAS | 1 | (Blank) None | (4.3210) 其他 - 呼唤 - 响应
Spoken Japanese | 2 | はい (4.3200) 其他 - 呼唤 - 呼唤/指示 | Yes ° (4.3210) 其他 - 呼唤 - 响应
3 | 人? (1.2000) 名词 - 主体 - 人类 - 人类 | Human/People (1.1962) 名词 - 关系 - 数量 - 助词后缀
CSJ | 1 | つく? (2.3311) 动词 - 动作 - 生活 - 晋升与降级 | Arrive/Attach (2.1110) 动词 - 关系 - 类别 - 关系
Spoken Japanese | 2 | 於く? (2.1513) 动词 - 关系 - 交互 - 固定/倾斜/跌倒等。在/于 | In/At (2.1110) 动词 - 关系 - 类别 - 关系
3 | (Blank) (3.1920) 修饰语 - 关系 - 数量 - 程度 | None
GWDC | 1 | 成る (2.1220) 动词 - 关系 - 存在 - 确立 | Become (2.1112) 动词 - 关系 - 类别 - 交互 - 交互/变化
Dialogs | 2 | そう? (3.1010) 修饰语 - 关系 - 真/假 - 指示词 | So/Yes (4.3210) 其他 - 呼唤 - 响应
3 | 此方? (1.1010) 名词 - 关系 - 事件 - 指示词 | Here/I (1.2010) 名词 - 主体 - 人类 - 我/你/他
I-JAS | 1 | (Blank) (1.4630) 名词 - 产物 - 机器 - 机器/装置 | ° None
Spoken and written Japanese | 2 | (Blank) (4.3010) 其他 - 情感 - 感叹词 | ° None
3 | 願う (2.3042) 动词 - 动作 - 心智 - 欲望/期待/失望 | Wish None
NUCC | 1 | 会う? (2.3520) 动词 - 动作 - 交互 - 接收/转移 | Meet (2.1550) 动词 - 关系 - 交互 - 联合/相遇/聚会
Conversations | 2 | 町? (1.2540) 名词 - 主体 - 公共与私人/城市与乡村 | City (1.2550) 名词 - 主体 - 公共与私人 - 政治分区
3 | 付く? (2.1560) 动词 - 关系 - 交互 - 接近/接触/隔离 | Attach (2.1211) 动词 - 关系 - 存在 - 发生/复活
SHC | 1 | 気 (1.3001) 名词 - 动作 - 心智 - 感觉 | Air (1.3010) 名词 - 动作 - 心智 - 情感/感受
Written Japanese | 2 | 為る? (2.3430) 动词 - 动作 - 活动 - 活动/行动 | Do (2.3066) 动词 - 动作 - 心智 - 判断/推理/评估
3 | 物 (1.2000) 名词 - 名词 - 人类 - 人类 | Stuff ° (1.1000) 名词 - 关系 - 事件 - 事件
SSC | 1 | いや (4.3010) 其他 - 情感 - 感叹词 | No (4.3210) 其他 - 呼唤 - 响应
Spoken Japanese | 2 | ええ (4.3010) 其他 - 情感 - 感叹词 | Yes None
3 | ああ (3.1010) 修饰语 - 关系 - 真/假 - 指示词 | Ah ° (4.3010) 其他 - 情感 - 感叹词

**BCCWJ 以外语料库中常见的三个错误**

表 6. 词 | 翻译 | 最频繁词义 (MFS) | 频率 | 第二频繁词义 (2nd MFS) | 频率 | 第三频繁词义 (3rd MFS) | 频率 | 总和
--- | --- | --- | --- | --- | --- | --- | --- | ---
無尽 | Unlimited | 1.3721 | 1 | | | | | 1
古 | Old | 1.1660 | 1 | 1.1623 | 1 | | | 2
しめる | Close/Cover | 2.1110 | 2 | | | | | 2
埋める | Fill in | 2.1580 | 3 | 2.1541 | 1 | | | 4
尽くす | Devote | 2.3541 | 8 | 2.1503 | 2 | 2.1250 | 1 | 11
根 | Root | 1.1330 | 1 | 1.5410 | 1 | | | 2
ゲーム | Game | 1.4570 | 1 | 1.3374 | 9 | 1.3370 | 5 | 15
下さる | Give it to me | 2.3770 | 34 | 2.3660 | 1 | | | 35
四 | Four | 1.1960 | 461 | 1.1961 | 7 | | | 468
於く | In/At | 2.1513 | 20 | 2.1700 | 4 | 2.1200 | 2 | 26
内 | Inside | 1.1770 | 54 | 1.1920 | 35 | 1.1652 | 27 | 116
土地 | Land | 1.4700 | 7 | 1.1720 | 4 | 1.5230 | 2 | 13
つく | Arrive/Attach | 2.3311 | 76 | 2.1110 | 17 | | | 93
成る | Become | 2.1500 | 398 | 2.1220 | 347 | 2.1112 | 13 | 758
出来る | Able to | 2.1220 | 205 | 2.3421 | 121 | 2.1211 | 10 | 336
連合 | Union/Alliance | 1.2760 | 13 | 1.1550 | 1 | | | 14
来る | Come | 2.1527 | 416 | 2.1500 | 3 | | | 419
人 | Human/People | 1.2000 | 440 | 1.1962 | 124 | 1.2020 | 1 | 565
歌 | Song/Poem | 1.3230 | 12 | 1.3210 | 1 | | | 13
風 | Wind/Style | 1.1310 | 17 | 1.1130 | 5 | 3.1130 | 5 | 27
乍ら | While | 3.1130 | 1 | | | | | 1
許す | Forgive | 2.3532 | 16 | 2.3670 | 9 | 2.3613 | 1 | 26
中 | Middle/Inside | 1.1770 | 154 | 1.1652 | 77 | 1.1720 | 22 | 253
危機 | Crisis | 1.1690 | 8 | 1.1611 | 8 | | | 16
金 | Money/Gold | 1.4040 | 64 | 1.4120 | 2 | 1.1632 | 2 | 68
能力 | Ability | 1.3421 | 13 | 1.1402 | 3 | | | 16
落ちる | Fall | 2.1540 | 9 | 2.1584 | 2 | 2.3321 | 1 | 12
見る | Look | 2.3091 | 218 | 2.3065 | 85 | 2.3066 | 2 | 305
まあ | So | 4.3210 | 11 | 4.3100 | 5 | 4.3010 | 2 | 18
(Blank) | None | | 37 | 2.1513 | 3 | 4.3010 | 2 | 56
はい | Yes | 4.3210 | 7 | 4.3200 | 1 | | | 8
願う | Wish | 2.3042 | 5 | 2.3660 | 1 | | | 6
そう | So/Yes | 3.1010 | 166 | 3.3030 | 55 | 3.1300 | 2 | 223
会う | Meet | 2.3520 | 24 | 2.3310 | 6 | 2.1550 | 4 | 34
町 | City | 1.2540 | 35 | 1.2550 | 2 | 1.1010 | 1 | 38
付く | Attach | 2.1560 | 28 | 2.1580 | 18 | 2.1211 | 3 | 49
気 | Air | 1.3001 | 60 | 1.3000 | 22 | 3.3030 | 13 | 95
為る | Do | 2.3430 | 4,144 | 2.3067 | 29 | 2.3320 | 27 | 4,200
物 | Thing/Stuff | 1.1000 | 212 | 1.4000 | 15 | 2.1200 | 33 | 260
此方 | Here/I | 1.1010 | 16 | 1.1730 | 4 | | | 20
いや | No | 4.3000 | 1 | 4.3010 | 1 | | | 2
ええ | Yes | 4.3210 | 2 | 4.3010 | 1 | | | 3
ああ | Ah | 4.3010 | 15 | 3.1010 | 3 | 4.3210 | 2 | 20

**训练数据中三个最常见错误词的前三种词义及其频率**

表 7. 类别 | 划分 | 类型 (比率) | 总数 (比率)
--- | --- | --- | ---
1. 名词 | 19,963 | 9.90% | 34,497,391 | 27.79%
| .1 关系 | 5,705 | 2.82% | 16,523,255 | 13.31%
| .2 主体 | 4,711 | 2.33% | 5,982,156 | 4.82%
| .3 动作 | 5,593 | 2.77% | 8,237,250 | 6.63%
| .4 产物 | 2,045 | 1.01% | 1,915,489 | 1.54%
| .5 自然 | 1,909 | 0.94% | 1,839,241 | 1.48%
2. 动词 | 3,301 | 1.63% | 13,790,441 | 11.11%
| .1 关系 | 1,567 | 0.77% | 6,330,852 | 5.10%
| .3 动作 | 1,556 | 0.77% | 7,305,325 | 5.88%
| .5 自然 | 178 | 0.08% | 154,264 | 0.12%
3. 修饰语 | 2,736 | 1.35% | 6,478,222 | 5.22%
| .1 关系 | 1,676 | 0.83% | 5,531,053 | 4.45%
| .3 动作 | 802 | 0.39% | 813,753 | 0.65%
| .5 自然 | 258 | 0.12% | 133,416 | 0.10%
4. 其他 | 252 | 0.12% | 1,255,310 | 1.01%
无标签 | 175,521 | 87.05% | 68,079,600 | 54.85%
(x.xxxx 在无标签中) | 172,715 | 85.66% | 6,461,405 | 5.20%
总计 | 201,626 | 100.00% | 124,100,964 | 100.00%

**整个 BCCWJ 中词义标签的分布 (原始频率)**

表 8. 语域 | 排名 | 概念 ID | 标签 | pmw (每百万词)
--- | --- | --- | --- | ---
PB | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 26,146
Books (生产) | 2 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 25,738
3 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 19,025
PM | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 48,259
Magazines | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 20,361
3 | 1.1962 | 名词 - 关系 - 数量 - 助词后缀 | 15,164
PN | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 54,330
Newspapers | 2 | 1.1962 | 名词 - 关系 - 数量 - 助词后缀 | 24,699
3 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 23,257
LB | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 22,896
Books (流通) | 2 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 20,119
3 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 19,870
OB | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 20,852
Bestseller books | 2 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 20,187
3 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 13,119
OC | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 23,801
Yahoo! Chiebukuro | 2 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 18,250
3 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 16,417
OL | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 58,399
Law | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 34,383
3 | 3.1101 | 修饰语 - 关系 - 类别 - 等级/系列 | 34,257
OM | 1 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 29,570
Diet minutes | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 29,187
3 | 2.3100 | 动词 - 动作 - 语言 - 语言活动 | 22,790
OP | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 120,276
Public relations papers | 2 | 1.1962 | 名词 - 关系 - 数量 - 助词后缀 | 41,483
3 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 18,228
OT | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 40,084
Textbooks | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 25,478
3 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 14,446
OV | 1 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 14,094
Poetry | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 13,906
3 | 1.2010 | 名词 - 主体 - 人类 - 我/你/他 | 12,651
OW | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 68,773
White papers | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 28,421
3 | 1.1962 | 名词 - 关系 - 数量 - 助词后缀 | 25,557
OY | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 34,002
Blogs | 2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 17,627
3 | 1.1962 | 名词 - 关系 - 数量 - 助词后缀 | 14,348
Whole BCCWJ | 1 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三) | 30,733
2 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动 | 23,614
3 | 2.1200 | 动词 - 关系 - 存在 - 存在 | 18,017

**每个 BCCWJ 语域中标记频率最高的三个词义 (每百万词)**

表 9. 语料库 | 排名 | 概念 ID | 标签 | pmw (每百万词)
--- | --- | --- | --- | ---
CEJC | 1 | 4.3210 | 其他 - 呼唤 - 响应 | 58,840
Conversations | 2 | 4.3010 | 其他 - 情感 - 感叹词 | 29,449
3 | 1.1010 | 名词 - 关系 - 事件 - 指示词 | 29,266
C-JAS | 1 | 4.3210 | 其他 - 呼唤 - 响应 | 31,711
Spoken Japanese | 2 | 3.1010 | 修饰语 - 关系 - 真/假 - 指示词 | 19,623
3 | 1.2000 | 名词 - 主体 - 人类 - 人类 | 16,103
CSJ | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动* | 25,164
Spoken Japanese | 2 | 2.3100 | 动词 - 动作 - 语言 - 语言活动* | 22,213
3 | 3.1010 | 修饰语 - 关系 - 真/假 - 指示词 | 18,554
GWDC | 1 | 4.3210 | 其他 - 呼唤 - 响应 | 27,614
Dialogs | 2 | 1.1010 | 名词 - 关系 - 事件 - 指示词 | 21,108
3 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三)* | 19,395
I-JAS | 1 | 4.3210 | 其他 - 呼唤 - 响应 | 31,339
Spoken and written Japanese | 2 | 4.3010 | 其他 - 情感 - 感叹词 | 18,421
3 | 4.3200 | 其他 - 呼唤 - 呼唤/指示 | 17,388
NUCC | 1 | 4.3210 | 其他 - 呼唤 - 响应 | 44,572
Conversations | 2 | 1.1010 | 名词 - 关系 - 事件 - 指示词 | 24,488
3 | 3.1010 | 修饰语 - 关系 - 真/假 - 指示词 | 22,506
SHC | 1 | 2.3430 | 动词 - 动作 - 活动 - 活动/行动* | 24,183
Written Japanese | 2 | 2.1200 | 动词 - 关系 - 存在 - 存在* | 21,706
3 | 1.1960 | 名词 - 关系 - 数量 - 数词 (一，二，三)* | 21,271
SSC | 1 | 3.1010 | 修饰语 - 关系 - 真/假 - 指示词 | 25,913
Spoken Japanese | 2 | 1.1010 | 名词 - 关系 - 事件 - 指示词 | 25,813
3 | 4.3210 | 其他 - 呼唤 - 响应 | 22,390

**BCCWJ 以外语料库中标记频率最高的三个词义 (每百万词)**

表 10. | 一般 | 政治 | 经济 | 工作 | 文化 | 科学 | 社会 | 麻烦 | 体育 | 国际 | 头条 | 总计
--- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---
1.1 名词 - 关系 | 22,811 | 36,445 | 35,747 | 5,054 | 29,940 | 14,650 | 49,080 | 21,757 | 40,610 | 17,449 | 632 | 274,175
1.2 名词 - 主体 | 13,525 | 20,758 | 13,578 | 2,672 | 17,261 | 6,037 | 20,587 | 12,423 | 17,133 | 11,344 | 330 | 135,648
1.3 名词 - 动作 | 13,886 | 25,205 | 19,485 | 3,055 | 17,752 | 6,863 | 22,107 | 11,956 | 16,539 | 12,611 | 389 | 149,848
1.4 名词 - 产物 | 2,327 | 1,785 | 3,629 | 400 | 2,912 | 1,453 | 5,020 | 2,179 | 1,986 | 1,114 | 522 | 2,857
1.5 名词 - 自然 | 2,505 | 1,356 | 2,018 | 321 | 2,562 | 3,278 | 4,925 | 1,799 | 1,795 | 1,228 | 542 | 1,841
2.1 动词 - 关系 | 6,586 | 8,313 | 7,097 | 1,384 | 8,004 | 4,237 | 10,764 | 5,193 | 8,067 | 4,459 | 1026 | 4,206
2.3 动词 - 动作 | 8,904 | 10,805 | 8,054 | 1,645 | 10,230 | 4,579 | 12,602 | 6,349 | 9,355 | 5,950 | 1357 | 8,608
2.5 动词 - 自然 | 284 | 133 | 110 | 37 | 278 | 149 | 332 | 103 | 195 | 624 | 1,687 |
3.1 修饰语 - 关系 | 5,052 | 6,838 | 5,580 | 1,076 | 6,506 | 3,017 | 8,675 | 3,381 | 6,849 | 3,511 | 9750 | 5,82
3.3 修饰语 - 动作 | 1,040 | 994 | 710 | 152 | 1,220 | 451 | 1,527 | 510 | 1,149 | 509 | 158 | 2,77
3.5 修饰语 - 自然 | 115 | 66 | 87 | 28 | 190 | 822 | 665 | 14 | 123 | 411 | 1,050 |
4. 其他 | 800 | 665 | 521 | 132 | 739 | 306 | 1,142 | 358 | 524 | 359 | 165 | 5,62
无标签 | 88,207 | 99,450 | 81,713 | 15,707 | 104,465 | 45,156 | 135,640 | 60,509 | 105,662 | 53,805 | 1,562 | 791,876
总计 | 166,042 | 212,813 | 178,329 | 31,663 | 202,059 | 90,258 | 272,667 | 126,568 | 209,987 | 112,442 | 3,389 | 1,606,217

**带有元数据的 BCCWJ PN (报纸) 数据中粗粒度词义标签的分布 (原始频率)**

表 11. | 一般 | 政治 | 经济 | 工作 | 文化 | 科学 | 社会 | 麻烦 | 体育 | 国际 | 头条
--- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---
1.1 名词 - 关系 | -38.10 | 0.73 | 35.43 | -5.29 | -28.78 | -6.89 | 14.17 | 1.19 | 29.65 | -14.34 | 2.45
1.2 名词 - 主体 | -4.64 | 23.31 | -13.39 | -0.04 | 1.68 | -19.54 | -18.44 | 18.26 | -5.06 | 20.55 | 2.71
1.3 名词 - 动作 | -14.30 | 42.82 | 24.60 | 1.97 | -8.99 | -18.35 | -24.07 | 1.49 | -24.56 | 22.55 | 4.31
1.4 名词 - 产物 | -0.78 | -24.43 | 23.14 | -2.42 | 0.74 | 4.88 | 20.23 | 9.34 | -19.81 | -12.69 | 0.55
1.5 名词 - 自然 | 5.53 | -30.90 | -8.82 | -5.37 | -3.81 | 60.67 | 22.09 | 1.97 | -21.43 | -8.04 | 1.18
2.1 动词 - 关系 | -0.68 | -2.30 | -0.40 | 3.43 | -0.89 | 11.00 | -1.45 | 2.00 | -3.91 | -0.56 | -2.94
2.3 动词 - 动作 | 9.35 | 4.21 | -7.84 | 2.51 | 3.76 | 2.57 | -7.23 | 2.10 | -10.00 | 6.41 | -2.46
2.5 动词 - 自然 | 8.77 | -6.50 | -5.99 | 0.66 | 4.83 | 5.73 | 2.96 | -2.71 | -1.85 | -5.36 | 0.23
3.1 修饰语 - 关系 | -2.63 | 1.82 | -0.52 | 2.56 | 1.95 | 3.43 | 1.06 | -10.14 | 3.17 | -0.53 | -0.96
3.3 修饰语 - 动作 | 6.67 | -3.34 | -7.33 | -0.88 | 5.94 | -0.68 | 3.58 | -5.82 | 2.19 | -3.04 | -0.59
3.5 修饰语 - 自然 | 0.65 | -6.66 | -2.91 | 1.62 | 5.39 | 3.08 | 7.22 | -3.64 | -1.31 | -3.93 | -0.82
4. 其他 | 9.93 | -2.85 | -4.13 | 2.16 | 1.59 | -0.38 | 7.08 | -4.00 | -8.09 | -1.60 | 1.25
无标签 | 32.90 | -25.46 | -31.17 | 1.10 | 23.07 | 4.51 | 5.10 | -11.07 | 10.00 | -10.08 | -3.74

**基于带有元数据的 BCCWJ PN (报纸) 数据中粗粒度词义标签分布的标准化残差**

UniDic2WLSP [11, 12] 是一个数据集，它列出了 BCCWJ 形态信息（UniDic 词性系统 12）中每个词条在 WSLP 中可能的词义标签。本数据集用于扩展本研究中目标词的候选标签。

3.3 分析方法

在本研究中，我们使用序列标注方法进行了全词词义消歧（WSD）。然而，与命名实体识别或词性标注等一般序列标注任务不同，全词词义消歧需要根据目标词的不同使用不同类型和数量的候选标签。因此，我们预先为每个词创建了一组候选词义，允许系统参考这些候选。例如，处理单词“狗”时，无需包含“狗”无法承担的词义。通过预先收集“狗”的可能词义并建立候选词义，可以实现高效的推理。此外，指示句子来源语域的 ID 被添加到输入 token 的开头。学习和标注是通过为每个词选择输出值最高的候选词义来完成的。

我们使用 Asada 等人 [2] 的方法进行全词消歧。虽然 Asada 等人 [2] 是针对历史日语的 WSD，但我们使用这种方法是因为考虑到其针对涵盖多种体裁的语料库，我们预计这种方法在此上下文中也将有效。

遵循 Asada 等人 [2] 的方法，在本研究中，我们将输入处理为句子级数据。每个句子通过标点（日语句号“。”）或语料库中的句子边界进行分隔。对于训练期间超过 510 个 token 的句子，仅输入前 510 个 token。对于词义标注，超过 510 的 token 被视为另一个句子。输入句子中的每个 token 根据其在语料库中的书面形式进行分词，不进行词形还原。在使用 BERT 编码器对句子进行分词时，BCCWJ 中视为单一单元的某些词可能会被分割成多个 token。例如，单词“盛り上がる”（moriagaru，“变得兴奋”）被 BERT 编码器分割为“盛り”（mori，“堆起来”）和“上がる”（agaru，“上升”）。在这种情况下，仅输入第一个 token，即“盛り”。

在本研究中，我们对一个日语 BERT 模型进行了微调以用于 WSD 任务。BCCWJ-WLSP 被用作微调的训练语料库。训练语料库中由标点或句子边界分隔的 token 序列被用作输入句子，并按照在语料库中出现的顺序随机打乱句子以创建分为五部分的数据集。其中，3/5 用作训练数据，1/5 用作验证数据，1/5 用作测试数据。title_id token 被视为带有“无词义标签”的多义词。

我们通过改变学习率和最大轮数来创建模型，并使用在测试数据上准确率（准确率 A）最高的模型进行实际的词义标注。准确率 A 使用以下公式计算。虽然标注包括多义词，但准确率 A 排除了它们：准确率 A = (正确的目标词义数 (仅限多义词)) / (目标词元数 (仅限多义词)) (1) 此处，“多义词”指的是在训练数据中具有多个词义的单词。由于机器学习的性质，无法分配训练数据中不包含的词义。

我们尝试了学习率 1e-5 和 3e-5，并测试了 10 和 15 轮。在训练期间，使用交叉熵损失作为损失函数，并使用 Adam 作为优化函数。最佳模型在测试数据上达到了 88.05% 的准确率。对于词义标注，我们加载了训练好的模型，并将词义标签应用于整个 BCCWJ 和八个语料库中出现的所有单词。

4 评估

为了评估应用于语料库的词义标签的性能，我们手工验证了 BCCWJ 中未用于训练的 10 个语域以及 BCCWJ 以外的八个语料库的词义标签正确性。对于这些数据，手工检查了 500 个单词，包括无词义标签的单词（如助词和辅助动词）。表 2 显示了两种类型的准确率：准确率 B = (正确的目标词义数 (包括多义词)) / (目标词元数 (包括多义词)) (2) 准确率 C = (正确的目标词义数 (包括无标签)) / (总词数 (3) 准确率 B 的分子主要评估独立词，即内容词，而不是辅助动词或助词，这是词义标注的重点。对于手工评估，我们不考虑单词是否在训练数据中是多义词，而是仅评估内容词的词义。准确率 C 使用所有 500 个单词作为分母，包括功能词如辅助动词或助词和标点，并将无目标词的无感标签视为正确。

从统计角度来看，每个语域 500 个单词的样本量可能显得较小。然而，BCCWJ 采用固定长度抽样策略，每个样本限制为最多 1,000 个单词。实际上，许多样本较短，固定长度样本的平均长度约为 110.6 个单词。基于此，我们从每个语域中选择前 500 个单词，可能覆盖大约四个单独的固定长度样本，从而包含一定程度的内部多样性。此外，考虑到 BCCWJ 的特征，从每个语域中选择前 500 个单词可以被视为一种保持语料库内部平衡和代表性的随机抽样形式。该方法还提供了可复现性的优势，便于未来采用相同方法的研究。

此外，我们的分析涉及词义的手工标注，这是一个高度劳动密集且资源需求的过程。考虑到此类标注所需的大量人力和预算，我们目前的研究必然限于每个语域 500 个单词。这实际上是我们提出自动词义标注方法的动机。虽然我们认为这是一个局限性，但我们相信基于 BCCWJ 结构良好和随机化设计的抽样方法允许在代表性和可行性之间取得合理的平衡。

在 BCCWJ-OV (诗歌) 的情况下，14 例 (2.8%) 的词义标签错误是由于形态分析错误造成的。此外，I-JAS 中的 3 例 (0.6%)，NUCC 中的 1 例 (0.2%) 是由于形态分析错误。仅在 CSJ 中准确率 B 高于准确率 C。

这是因为从 CSJ 中人工检查的样本是学术讲座，其中包含许多未知词。在审查数据后发现，BCCWJ 中 201,797 个词中有 172,819 个词被分配了义项标签 1.1960（“名词 - 关系 - 数量 - 数字符号（一、二、三）”）。这可能是因为，在训练数据中，连接了多种词的数位义项 1.1960 被应用于未知词。这对应于总数 124,100,965 个词中的 10,250,986 个词，其中 3,789,581 个词对应词性“名词 - 数词”，而剩余的 6,461,405 个词（5.2%）是属于未知词的错误。在所有未知词中，27,177,289 个词中有 7,238,358 个词（26.6%）被分配了义项标签 1.1960。许多频繁出现的带有义项标签 1.1960 的未知词是符号，如全角阿拉伯数字或破折号（“―”）。然而，在某些语域中，其他词更频繁。例如，在 OL（法律）中，诸如“当該”（tōgai，“相关的”）和“前項”（zenkō，“前条”）等词很频繁，而在 OM（国会记录）中，诸如“ただいま”（tadaima，“现在”）等词很常见。

解决训练数据中未知词的 WSD 仍然是全词词义标注的一个未来挑战。为了解决这个问题，引入一个明确利用词性信息的 WSD 系统能够减少明显的标注错误。

5 各语域和语料库中三大最常见错误的错误分析

在本节中，我们对每个语域或语料库中观察到的三大最常见错误进行了错误分析。表 3 和表 4 展示了通过人工评估确定的 BCCWJ 中每个语域的三大最常见错误。由于篇幅较长，该表分为两个独立部分。表 5 列出了 BCCWJ 以外语料库的三大最常见错误。在这三张表中，最右列的上格和下格分别显示系统输出和正确答案。表 6 列出了训练数据中三大最常见错误词的前三个义项及其频率。

在表 3-5 中，“系统输出”列中的星号（?）表示系统输出对应于目标词的最常见义项。在 BCCWJ 中，以下示例属于此类：OC 中的下さる（给我）和四（四）；OL 中的於く（在/于）；OM 中的於く（在/于）和つく（到达/附着）；OP 中的出来る（能够）和連合（联盟/结合）；OT 中的来る（来）、人（人/人们）和歌（歌/诗）；OV 中的許す（原谅）；OW 中的来る（来）；以及 OY 中的金（钱/金）和能力（能力）。对于 BCCWJ 以外的语料库，确定了以下情况：C-JAS 中的人（人/人们）；CSJ 中的つく（到达/附着）和於く（在/于）；GWDC 中的そう（这样/是）和此方（这里/我）；NUCC 中的会う（见）、町（城镇）和付く（附着）；以及 SHC 中的為る（做）。这些结果表明，系统错误背后的一个主要因素是训练数据中各个词汇项的义项先验概率的影响。

相反，当正确答案对应于最常见义项时，在表 3-5 的“正确答案”列中标记一个圆圈（°）。示例包括：OB 中的埋める（填入）；OC 中的ゲーム（游戏）；OL 中的内（里面）和土地（土地）；OP 中的成る（成为）；C-JAS 中的はい（是）；I-JAS 中的“无”；SHC 中的物（东西/物品）；以及 SSC 中的ああ（啊）。这些示例表明，即使最常见义项是正确答案，系统也不总是输出它。

此外，虽然“最常见错误”代表具有许多类似实例的错误类型，但表 6 显示相应的目标词在训练数据中不一定频繁。在包含于三大最常见错误的 43 个目标词中，10 个在训练数据中的实例少于 10 个，31 个在 100 个或以下。15 这表明目标词训练数据的稀缺可能是导致错误的一个因素。

值得注意的是，在最常见错误中，LB 中的無尽（无限）是唯一一个目标词完全没有出现在训练数据中的情况，包括系统输出的义项。系统错误地输出了义项（1.3710）名词 - 动作 - 经济 - 经济/平衡，而不是正确的义项（1.1910）名词 - 关系 - 数量 - 多少。

让我们更详细地检查这个错误。根据表 6，词無尽（无限）在训练数据中只出现了一次，相关的义项是 1.3721。这表明错误是由于数据稀疏性造成的；WSD 系统很可能失败是因为训练数据中该词的示例太少。16

重要的是，系统没有输出 1.3721（与無尽的唯一训练示例相关的义项），而是选择了 1.3710。这是因为系统作为序列标注任务进行了微调，在所有词元上使用单个 BERT 模型。换句话说，诸如 1.3710 这样的标签，虽然在训练数据中没有直接与無尽关联，但由于与其他词的关联，仍然可能影响模型。正如命名实体识别系统将 PERSON 标签分配给各种个人姓名一样，这个 WSD 系统将诸如 1.3710 的词义标签（概念 ID）分配给多个词。因此，模型产生了 1.3710 而不是 1.3721。

虽然系统使用每个词的预定义可能义项列表来限制输出候选项，但这个列表不是从训练数据创建的，而是从更广泛的 BCCWJ-WLSP 创建的，其中包括验证和测试数据。因此，即使 1.3710 没有出现在训练数据中，它存在于 BCCWJ-WLSP 中，因此被包含在候选义项列表中。从这个例子中，我们可以看到，当训练数据稀疏时，系统倾向于出错，但它并不完全依赖于与每个错误词相关的义项先验概率。

系统返回了目标词在训练数据中三大最常见义项以外的义项从而导致错误的其他示例包括：表 3 中 OB 的尽くす（献出）、表 4 中 OV 的風（风/风格）、表 5 中 CEJC 的まあ（这样），以及 CSJ 和 IJAS 中的（空白）条目。

此外，还有几种情况——例如 LB 的しめる（关闭/覆盖）、OV 的乍ら（当...时）、FEJC 的落ちる（落下）和見る（看）、CSJ 和 I-JAS 中的（空白）条目，以及 SSC 的ええ（是）——系统输出了特定的概念 ID，但正确的响应是不返回答案，因为 WLSP 中不存在适当的 ID。这些示例表明，当语料库中的词具有 WLSP 未涵盖的含义时，系统更可能产生错误。

此外，（空白）标记本身出现在 C-JAS、CSJ 和 I-JAS 等语料库的三大最常见错误中作为目标词。虽然在不返回内容的情况下可能是正确的，但也有一些情况——例如在 C-JAS 中——返回概念 ID 是正确的响应。这表明在处理空白标记时必须格外小心。

6 构建带有词义标签的词典表

基于已进行详尽标注的语义标注 BCCWJ，我们构建了一个带有词义标签的词典表。对于上一节中提到的词义标签"1.1960"，未被归类为词性“名词 - 数词”的词被认为难以分析，其词义标签被屏蔽为"x.xxxx"。

使用元数据，创建了四种类型的带有词义标签的词典表：
—涵盖整个 BCCWJ 的词典表
—每个 BCCWJ 语域的词典表
—BCCWJ 以外每个语料库的词典表
—带有元数据的 BCCWJ PN（报纸）数据的词典表

表 7 显示了整个 BCCWJ 中词义标签的分布。在归类为“名词”或“修饰语”类别的词中，".1 关系”部分构成了最大的比例。对于归类为“动词”类别的词，".3 动作”部分的百分比最高（5.88%）。

表 8 展示了每个 BCCWJ 语域中标注最频繁的三个词义以及调整后的频率（pmw：每百万词）。标签"1.1960 名词 - 关系 - 数量 - 数词（一、二、三）”、“2.1200 动词 - 关系 - 存在 - 存在”和"2.3430 动词 - 动作 - 活动 - 活动/动作”是最频繁的之一。然而，它们出现的程度因语域而异。

概念 Verbal-Action-Activity-Activity/Action（概念 ID 2.3430），包括诸如する（suru，做）和行く（iku，去）等词，在 BCCWJ 的所有语域中都被频繁观察到。概念 Nominal-Relation-Quantity-Numeral（概念 ID 1.1960），包括数词，在所有语域中频繁出现，除了国会记录（OM）和诗歌（OV）。概念 Verbal-Relation-Existence-Existence（概念 ID 2.1200），包括诸如有る（aru，无机物存在）和居る（iru，生物存在，包括人类）等词，在书籍（PB, LB, OB）、Yahoo! 知惠袋（OC）、国会记录（OM）、教科书（OT）和诗歌（OV）中很普遍。概念 Nominal-Relation-Quantity-Counter Suffix（概念 ID 1.1962），包括诸如％（百分比）和円（日元）等术语，倾向于在杂志（PM）、报纸（PN）、公关论文（OP）、白皮书（OW）和博客（OY）中频繁出现。概念 Modifier-Relation-Class-Grade/Series（概念 ID 3.1101）是法律（OL）中第三常见的概念。这个类别主要由术语第（dai，用于表示序数，如"1 第”或"4 第”）组成。概念 Verbal-Action-Language-Language Activity（概念 ID 2.3100），包括言う（iu，说），仅在国会记录（OM）中普遍存在。概念 Nominal-Subject-Human-I/You/He（概念 ID 1.2010），包括我、你、他、她等代词，仅在诗歌（OV）中被频繁观察到。在检查来自 OV 的示例后，最常见的子类别是第一人称代词，包括わたし（watashi，我）、俺（ore，我）和僕（boku，我）。诗歌通常关注个人主题，这可能解释了这种倾向。此外，在典型的日语对话中，主语经常被省略。因此，与英语相比，第一人称代词不出现在其他语域中。

表 9 显示了 BCCWJ 以外语料库中标注最频繁的三个词义以及调整后的频率（pmw：每百万词）。概念 Others-Call-Response（概念 ID 4.3210）在六个口语日语语料库中被频繁观察到：CEJC、C-JAS、GWDC、I-JAS、NUCC 和 SSC。与该概念相关的词包括はい（hai，是）和いいえ（iie，否）。由于所有这些语料库都由口语日语组成，像这样的响应频繁出现并不令人惊讶。

一个例外是自发性日语文料库（CSJ），尽管它是一个口语日语语料库，但在三大最常见概念 ID 中没有列出 Others-Call-Response（概念 ID 4.3210）。我们假设这是由于 CSJ 的性质造成的，它主要由讲座样本组成，其中此类响应较少见。

除了 Others-Call-Response（概念 ID 4.3210）之外，在口语日语语料库中频繁观察到的其他概念包括：
（1）Others-Emotion-Interjection（概念 ID 4.3010），包括诸如ああ（aa，啊）和えー（ee，嗯）等词；
（2）Nominal-Relation-Event-Demonstratives（概念 ID 3.1010），包括この（kono，这）和その（sono，那）；
（3）Nominal-Relation-Event-Demonstratives（概念 ID 1.1010），包括これ（kore，这个）和それ（sore，那个）。

相比之下，BCCWJ 中频繁出现的概念在表 9 的“标签”列中标有星号（*）。这些包括：
（1）Verbal-Action-Activity-Activity/Action（概念 ID 2.3430），包括诸如する（suru，做）和行く（iku，去）等词；
（2）Verbal-Action-Language-Language Activity（概念 ID 2.3100），包括言う（iu，说）；
（3）Nominal-Relation-Quantity-Numeral（概念 ID 1.1960），包括数词，在 GWDC 和 SHC 中频繁观察到。

最后，SHC 是一个书面日语语料库，显示其三大常见概念也与在 BCCWJ 中频繁观察到的概念一致。

对于 BCCWJ PN（报纸）样本，文章的分类信息是逐篇分配的，连同每篇新闻文章的边界信息 [9]。它们有 11 个类别：一般、政治、经济、工作、文化、科学、社会、麻烦、体育、国际和头条。表 10 显示了粗词义标签的分布，根据报纸文章的主要分类信息进行分类。基于此表，进行了卡方分析，获得的标准化残差显示在表 11 中。

报纸文章词汇分布的差异在名词中尤为突出（例如，"1."

名词")。“1.1 名词 - 关系”在经济和体育文章中更为常见，而在一般和文化文章中则较少见。“1.2 名词 - 主语”在政治和国际文章中更为普遍，但在科学和社会文章中频率较低。“1.3 名词 - 动作”在政治、经济和国际文章中出现频率较高，但在科学、社会和体育文章中较少出现。“1.4 名词 - 生物”在经济和社会文章中更为常见，而在政治和体育文章中频率较低。“1.5 名词 - 自然”在科学和社会文章中出现频率较高，但在政治和体育文章中较少见。“名词”类各分支的分布与“动词”类各分支的分布并不一定相关。例如，科学文章中“1.1 名词 - 关系”的频率较低，但“2.1 动词 - 关系”的频率较高。

7 可搜索词义的语料库搜索应用程序

我们正在发布一个新的语料库搜索应用程序 Chunagon，直到 2025 年 3 月支持按词义搜索。最初，搜索系统将专门部署用于 BCCWJ。随后，我们计划将其功能扩展到其他八个语料库。

图 2 展示了 Chunagon 的界面图像，查询内容为“分類語彙表の類、部門、中项目、分類項目が 4.3310 他、挨拶、挨拶語”（WLSP 的概念 ID 为 4.3310，类、部门、中项目、分类项目分别为其他、问候、问候语）。该系统还支持在类、部门和项目中进行搜索。

图 2. Chunagon，一个可搜索词义的语料库搜索应用程序。

图 3 展示了从 Chunagon 输出中提取的示例。

图 3. 从 Chunagon 输出中提取的示例。

Chunagon 可以显示以下数据。
(1) 语料库元数据
• 原始数据的样本 ID
• 词元在原始数据中的起始位置（偏移量）
• 语域
• 核心数据（是/否）
• 来自固定长度数据的样本（是/否）
• 来自可变长度数据的样本（是/否）
(2) 形态信息
• 前文上下文
• 关键字（查询的词元）
• 后文上下文
• 词元的词目 ID
• 词元的词目读音
• 词元的词目
• 词元的词目子类别
• 词元的词形
• 词元的词性
• 词元的活用类型
• 词元的活用形式
• 词元的正字法形式
• 词元的语音形式
• 词元的表面形式
• 词元的词类型
• 词元的原始文本字符串
(3) 来源信息
• 作者
• 作者出生年份
• 作者性别
• 文档体裁
• 标题/来源
• 副标题/分类
• 卷/期
• 编辑/编者
• 出版社
• 出版年份
(4) 说话者信息
• 说话者姓名
• 说话者性别
• 说话者年龄段
(5) 附加元数据
• 永久链接
• WLSP 的概念 ID

前文上下文、关键字、后文上下文、词目读音、词目、词目子类别、词性、活用类型和活用形式如图 3 所示。

关键示例包括 サヨナラ（Sayonara，再见）、御免（Gomen，对不起）、ありがとう（Arigatou，谢谢）、さようなら（Sayounara，再见）和 ごめん（Gomen，对不起）。我们观察到，Chunagon 准确收集了对应其含义的示例，无论问候语类型或字符类型的变化如何。例如，サヨナラ和 さようなら都传达“再见”的含义，但前者用片假名书写，而后者用平假名书写。同样，御免和 ごめん都表示“对不起”，但御免用汉字书写，而 ごめん用平假名书写。日语在表达相同概念时具有相当大的书写风格灵活性。我们确认，Chunagon 能够在不使用词目信息的情况下，收集具有各种书写风格的相同概念的术语。

8 结论

在本研究中，我们的目标是通过对所有词汇应用词义消歧（WSD）技术，分配来自 WLSP 的语义信息，从而实现对 BCCWJ 和其他八个语料库的语义搜索。我们手动评估了 BCCWJ 中每个语域或对于非 BCCWJ 语料库为每个语料库的 500 个单词，显示出准确率在 68.2% 到 91.8% 之间。

这种方法允许对大规模语言数据进行语义分析，从而实现语言使用和意义量化分析。为了验证这项研究的有效性，我们构建了富含语义信息的词典表，揭示了 BCCWJ 语域、各种语料库和报纸文章类别中的分布趋势。通过将词典表与元数据集成，我们检测到特定词义标签出现模式中的偏差。然而，我们也识别出了挑战，特别是给训练数据中不存在的单词分配词义标签。

此外，我们介绍了新的 Chunagon，一个具备语义搜索功能的语料库搜索应用程序，该程序于 2025 年 3 月全新发布。该工具将能够进行更细致和基于语义的语言数据探索。所提出的方法有两个主要局限性。一个是自动标注的准确率有限，另一个是用于手动评估的样本数量较少。未来的工作包括改进 WSD 的性能，以实现更准确的词义分配。此外，我们计划将 WordNet 同义词集 ID 纳入语料库，进一步扩大其在语义分析中的效用。此外，我们将追求对 BCCWJ 和其他语料库进行更大规模的标注。