基于Dual-BERT对抗学习的豪萨语用户生成文本规范化研究

《Frontiers in Artificial Intelligence》:Dual-BERT adversarial learning for Hausa user-generated text normalization

【字体: 大 中 小 】 时间:2026年09月19日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  文本规范化(Text Normalization, TN)是自然语言处理(Natural Language Processing, NLP)中的一项关键预处理任务,旨在将嘈杂、非正式文本转换为适合机器翻译、语音识别、文本转语音系统、情感分析和信息检索等下游应用

  
文本规范化(Text Normalization, TN)是自然语言处理(Natural Language Processing, NLP)中的一项关键预处理任务,旨在将嘈杂、非正式文本转换为适合机器翻译、语音识别、文本转语音系统、情感分析和信息检索等下游应用的标准形式。来自社交媒体和即时通讯平台的用户生成内容(User-Generated Content, UGC)通常包含缩写、语音拼写、语码转换和正字法不一致等不规则现象。这些不规则现象对豪萨语(Hausa)等低资源语言影响尤为显著,因为此类语言缺乏人工标注语料库和计算资源。现有基于规则和统计的方法在处理豪萨语文本时,因拼写变体、语码混合、缩写和上下文歧义等问题而性能受限。相反,Transformer等神经网络需要大规模数据集才能高效训练;然而,缺乏平行语料库等专门资源进一步加剧了现有模型处理豪萨语UGC时的低效问题。为填补上述空白,研究人员开发了两个语料库:一个从Twitter和WhatsApp收集的豪萨语UGC语料库,以及一个各含27,847个句子的标准豪萨语语料库。研究人员对UGC语料库进行了分析,以识别词表外(Out-of-Vocabulary, OOV)词汇及其特征和使用模式。随后设计并训练了一个Dual-BERT对抗网络模型,将非标准豪萨语词汇准确地映射到其规范形式。所开发模型在对抗学习框架内集成了双BERT,能够捕捉非正式文本与标准文本之间的语义和上下文关系。其中一个BERT处理嘈杂的用户生成豪萨语输入,另一个BERT从标准豪萨语句子中学习,使系统能够对两种语言形式之间的双向对应关系进行建模。二者的表示通过生成器-判别器架构进行融合和优化,其中生成器产生规范化输出,判别器通过区分真实标准文本与生成文本,强制保证上下文正确性。这种对抗式双BERT设计增强了鲁棒性、上下文感知能力和泛化性能,使模型能够高效地将不一致的豪萨语UGC转换为适合下游NLP应用的标准文本。实验结果表明,所提模型取得了83.99%的精确匹配准确率(Exact Match Accuracy)、0.7534的BLEU分数、12.02%的词错误率(Word Error Rate, WER)以及7.03%的字符错误率(Character Error Rate, CER),在所有评估指标上均优于所评估的基线模型。定性分析进一步表明,该模型能够有效规范化缩写、语音拼写、字符延长以及许多豪萨语-英语语码混合表达,而插入和删除错误仍相对更具挑战性。本研究的主要贡献包括:(i) 构建了用于豪萨语用户生成文本规范化的人工标注平行语料库;(ii) 开发了面向低资源环境下上下文感知规范化的Dual-BERT对抗框架;(iii) 进行了全面评估,证明所提方法能够有效提升豪萨语用户生成文本的质量,并支持下游NLP应用。
**论文解读**

**1. 研究背景与问题**

文本规范化(Text Normalization, TN)是自然语言处理(Natural Language Processing, NLP)中的关键预处理步骤,旨在将非标准或不正式文本转换为规范形式,以支撑机器翻译、情感分析、信息抽取、信息检索、自动语音识别和文本转语音等下游应用。随着移动通信和社交媒体(如Twitter、Facebook、WhatsApp)的迅猛发展,特别是非洲低资源语言如豪萨语(Hausa)的在线使用量大幅增加,用户生成内容(User-Generated Content, UGC)中大量出现缩写、首字母缩略词、语音拼写、字符延长、插入/删除错误、拼写错误以及豪萨语-英语语码混合等不规则现象。这些现象导致大量词汇表外(Out-of-Vocabulary, OOV)词汇,严重降低下游NLP系统的性能。现有豪萨语文本规范化研究多基于词典和规则,难以应对拼写变体、语码混合、上下文歧义和不断演变的社交媒体词汇;而Transformer等神经模型通常需要大规模标注数据,低资源环境下缺乏平行语料库使得训练效率低下。因此,亟需一种能够结合上下文表示与对抗学习、在低资源条件下有效处理豪萨语UGC的规范化模型。

**2. 研究内容与结论**

研究人员构建了两个各含27,847个句子的语料库:一个从Twitter和WhatsApp收集的豪萨语UGC语料库,以及一个标准豪萨语语料库,并分析了UGC中的OOV词特征和使用模式。在此基础上,设计并训练了一种Dual-BERT对抗网络模型。该模型利用两个多语言BERT编码器分别处理非标准豪萨语输入和标准豪萨语句子,通过生成器-判别器对抗架构融合表示,生成语义忠实且符合标准豪萨语规范的输出。实验结果表明,该模型在精确匹配准确率(83.99%)、BLEU分数(0.7534)、词错误率(12.02%)和字符错误率(7.03%)上均优于Transformer Seq2Seq、mBERT和mT5等基线模型,证明了对抗式双BERT架构在低资源语言文本规范化中的有效性和优越性。

**3. 主要关键技术方法**

研究人员使用的主要技术方法包括:(1)语料库构建:从Twitter(公开数据集,来自Sani等人2022年发布的NaijaSenti)和WhatsApp(2024年9月至2025年3月收集,经群组许可)收集豪萨语UGC,共27,847句,并进行人工标注,形成平行语料库;同时构建包含27,847句的标准豪萨语语料库。(2)Dual-BERT对抗网络:该架构由生成器(Generator)和判别器(Discriminator)组成。生成器采用预训练多语言BERT(BERT-base-multilingual-cased)编码器,将非标准豪萨语输入映射为规范化输出;判别器也是基于BERT的二分类器,用于区分真实标准文本与生成文本。通过对抗训练,生成器持续改进,生成难以与真实文本区分的规范化结果。训练采用标签平滑、梯度裁剪和残差连接等技术稳定对抗过程,并在推理时使用贪心解码(argmax)获取最终规范化序列。(3)评估方法:采用精确匹配(Exact Match, EM)、BLEU、词错误率(Word Error Rate, WER)和字符错误率(Character Error Rate, CER)作为评价指标,并与基线模型在相同数据划分和预处理条件下进行公平比较。

**4. 研究结果**

*4.1 训练动态:生成器与判别器损失变化*
训练过程中,生成器损失从第1轮的9058.82降至第20轮的662.88,表明其生成的规范化文本越来越接近真实标注;判别器损失则从529.89升至1401.93,说明判别器区分真实与生成样本的难度加大。这种反向损失模式表明对抗训练有效收敛,生成器能够成功“欺骗”判别器。

*4.2 候选生成准确率*
按错误类型评估,缩写(90%)、语音替换(89%)、删除(81.3%)和字符延长(80%)的Top 1准确率较高,插入错误准确率最低(74.3%),总体准确率为82.9%,说明模型对多数非标准形式具有良好的候选生成能力。

*4.3 定性错误分析*
定性分析显示,模型能正确规范化语码混合(如将英文“meeting”替换为豪萨语“taro”)、方言变体、常见缩写、字符延长等。但在处理插入错误(如“sonn”未删除多余字符)和低频缩写(如“DSS”未扩展)时仍存在困难,与定量结果中插入错误表现最差相符。

*4.4 总体模型性能*
模型在测试集上达到83.99%的精确匹配准确率、0.7534的BLEU分数、12.02%的WER和7.03%的CER,表明其在词汇和字符层面均能引入极少错误,同时保持句子级语义与流畅度。

*4.5 基线对比*
与Transformer S2S、mBERT和mT5相比,所提模型在所有指标上均取得最优:EM为0.80(较mT5提高6个百分点),WER为0.12(较mT5降低33.3%),CER为0.07(较mT5降低41.7%),BLEU为0.75(较mT5提高0.07)。这表明双BERT与对抗学习的结合能显著增强低资源豪萨语文本规范化性能。

**5. 讨论与结论**

讨论部分指出,生成器与判别器损失的反向演化是有效对抗学习的标志;模型对上下文相关规范化挑战(如语码混合、缩写扩展)处理良好,但插入和删除错误因上下文证据不足仍较难解决。未来工作将扩展语料库覆盖更多平台和方言,尝试更大规模预训练模型,并进行消融研究以量化各组件贡献。研究结论表明,所提出的Dual-BERT对抗学习框架能够有效处理豪萨语UGC中的拼写变体、缩写、语音拼写、首字母缩略词、字符延长、插入/删除错误及语码混合表达,显著提升规范化质量,为低资源语言的下游NLP应用提供了有力支持。同时,研究也承认语料库规模相对较小、来源平台有限、部分规范化决策存在歧义、泛化性尚未验证等局限,需在未来工作中加以改进。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号