基于上下文词嵌入与莱文斯坦距离的拼写错误修正综合方法

《ACM Transactions on Asian and Low-Resource Language Information Processing》：A Comprehensive Approach to Misspelling Correction with Contextual Word Embeddings and Levenshtein Distance

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

在书面文本中，拼写错误十分常见，这些错误会严重影响文本的可读性以及自然语言处理系统的性能。由于复杂的拼写规则、相似的字母形态以及依赖上下文的词汇用法，波斯语中的这一问题尤为棘手。在本研究中，我们提出了一种拼写校正框架，该框架结合了BERT掩码语言模型提供的上下文信息与基于编辑距离的候选词生成方法。该方法既能处理非实词错误（即拼错的单词本身无效），也能处理实词错误（即在特定上下文中错误地使用了有效单词）。为完成这项任务，我们构建了一个庞大的波斯语数据集，其中包含基于常见输入习惯和语言规律系统生成的拼写错误。此外，我们还设计了启发式校正策略以及一种偏置机制，以提升模型对错误单词的关注度。通过多种波斯语BERT版本的广泛实验表明，所提出的方法在性能上始终优于基于BERT的强大基线模型以及各种常用外部系统。实验结果在F1分数方面取得了显著提升，尤其是在处理依赖上下文的实词错误时，同时保持了较高的运行效率。这些发现表明，所提出的方法非常适合用于实际的波斯语拼写校正应用。

AI总结

AI生成的总结（实验性内容）

此总结是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及让相关领域的读者更好地理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对此总结的准确性、清晰度及实用性发表意见。您的反馈将有助于我们对总结进行优化并生成后续版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。