现代日语的大规模词义标注：一种针对1.8亿个单词的全体词义消歧方法

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Large-Scale Word Sense Tagging in Contemporary Japanese: An All-Words Word Sense Disambiguation Approach for 180 Million Words

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

作者们利用基于Transformer的双向编码器表示（BERT）的系统，对多个日语语料库中的所有实词进行了自动词义消歧，这些语料库的总词汇量超过1.8亿词。经过词义标注的语料库可以根据词义进行搜索，还可用于分析每种词义的出现频率，这有望为日语研究提供帮助，并应用于日语教育领域。不过，由于词义标注需要专业知识且成本高昂，目前可供使用的手动标注词义的日语语料库很少。作者们利用经过微调的BERT，结合了手动标注了词义的当代日语平衡语料库（BCCWJ）的核心数据，开发了一套词义消歧系统。借助该模型，作者们根据“基于语义原则的词汇表”为日本国立语言学研究所发布的各类日语语料库标注了词义。在为部分语料库添加词义后，作者们手动评估了每个领域中的500个单词，不同领域的准确率在68.2%到91.8%之间。此外，作者们还推出了一款新的语料库搜索工具Chunagon，它支持基于词义的搜索，现已向公众开放。

AI总结

AI生成的总结（实验性）

此总结是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章相关性，以及让相关领域的读者理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对此总结的准确性、清晰度及实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。