《Array》：A hybrid approach for Bangla regional text classification using region-specific lexical oversampling and BERT ensemble learning
编辑推荐：
为解决孟加拉语地区方言文本分类中数据集不平衡、缺乏高质量标注资源和传统模型泛化能力不足的问题，研究人员开展了一项结合语言信息过采样与异构深度集成学习的研究。他们构建了包含五个地区、4218个样本的层级化数据集，并引入区域专用词典进行基于语言学的过采样。研究最终提出了一个集成BanglaBERT、BUETBERT和DistilBERT的软投票深度集成模型，在高质量数据集上取得了85.17%的准确率和84.84%的加权F1分数。这项工作显著提升了低资源方言文本分类的准确性，为方言保护和技术包容性发展提供了新的框架。
在全球化的数字浪潮中，社交媒体已成为反映各地文化、情感和日常生活的镜子。然而，对于孟加拉国这样一个拥有超过55种地区方言的国家而言，大部分自然语言处理（NLP）技术仍聚焦于标准孟加拉语，忽视了广大网民使用本地方言在社交平台上表达观点、情感的丰富实践。这种方言的多样性带来了独特的挑战：传统的NLP系统因缺乏标注资源和训练数据，往往难以准确理解和分类这些充满地域特色的文本。尽管已有研究尝试构建孟加拉语方言数据集，但仍存在数据真实性不足、缺乏专家验证、句子结构单一或资源匮乏等问题。因此，开发能够有效处理孟加拉语地区方言文本的分类技术，不仅是提升语言技术包容性的关键，也对支持社会文化研究、政策制定及保护语言多样性具有重要意义。
为此，Babe Sultana、Ohidujjaman、Suman Ahmmed、Mohammad Shorif Uddin和Mohammad Nurul Huda共同在《Array》期刊上发表了一项研究，提出了一种混合方法，用于孟加拉语地区文本分类。该方法创新性地结合了基于区域专用词典的语言学信息过采样技术和基于BERT（Bidirectional Encoder Representations from Transformers）的异构深度集成学习，旨在解决数据集类别不平衡和模型性能瓶颈的问题。
研究人员为开展此项研究，主要运用了以下几项关键技术方法：首先，从社交媒体平台（如Facebook、YouTube）自然收集了4218个涵盖吉大港（Chittagong）、锡尔赫特（Sylhet）、诺阿卡利（Noakhali）、巴里萨尔（Barishal）和朗布尔（Rangpur）五个地区的文本样本，并邀请五位地区方言专家进行严格验证，构建了一个包含高、中、低三个置信度层级的标注数据集（Tiered Dataset）。其次，他们创建了一个经过清洗的区域专用词典（Regional Lexicon），其中包含每个地区独有的词汇，并以此为基础设计了一种语言学的过采样（Linguistically-Informed Oversampling）算法，用于平衡训练数据中的类别分布。最后，研究团队微调了三种基于Transformer架构的预训练模型——BanglaBERT、BUETBERT和DistilBERT，并构建了一个采用软投票（Soft Voting）策略的异构深度集成（Heterogeneous Deep Ensemble）框架，以整合各模型的优势进行最终预测。
研究结果主要从数据集评估、模型性能比较和错误分析三个方面展开：
- •
数据集构建与层级化评估：研究构建了BdRegionText Version 2数据集，并通过专家验证将其划分为三个层级。Tier 1为高质量子集（1954个样本），其标注获得了最高置信度（仅目标地区专家标记为“是”）。实验表明，使用Tier 2和Tier 3（中、低置信度子集）进行训练，并用Tier 1测试时，应用过采样技术后的BanglaBERT模型取得了最佳单模型性能，准确率为67.45%，加权F1分数为67.62%。这验证了层级化标注策略能有效区分数据可靠性，并为模型评估提供了清晰基准。
- •
传统方法与特征提取技术对比：在仅使用Tier 1数据集的实验中，研究人员系统评估了多种机器学习（ML）模型和特征提取方法。结果显示，基于TF-IDF（Term Frequency-Inverse Document Frequency）的传统ML模型（如SGD）取得了约67%的准确率，而使用预训练的FastText词嵌入能使某些模型（如MLPC）准确率提升至68%。然而，这些方法整体上弱于后续的Transformer模型，表明语境化表示对捕获方言细微差异更为有效。
- •
BERT模型及集成方法的性能：研究重点评估了三种BERT变体模型。在应用过采样技术后，DistilBERT表现最佳，准确率达到81.84%，加权F1分数为81.76%。而提出的软投票集成模型（结合BanglaBERT、BUETBERT和DistilBERT）取得了最卓越的性能，准确率高达85.17%，加权F1分数为84.84%。混淆矩阵和ROC曲线分析进一步证实，集成模型显著减少了个别模型在易混淆方言对（如诺阿卡利与锡尔赫特）上的错误，且对所有五个地区类别都表现出高区分度。
- •
错误与混淆分析：对误分类样本的分析揭示了模型的主要困惑点。例如，锡尔赫特方言文本常被误分类为吉大港方言，诺阿卡利方言则易与锡尔赫特或巴里萨尔方言混淆。这些方言对在词汇和语音上存在较高的相似性。相反，朗布尔方言因其属于不同的方言分支（北孟加拉语），与其他四种方言差异较大，因此被模型准确分类的比率更高。这说明了区域专用词汇的独特性和模型对语言学特征的学习效果。
研究结论与讨论部分对全文工作进行了总结并展望了未来。本研究成功构建了一个经过专家验证、具有置信度层级的孟加拉语地区文本数据集，并首次将区域专用词典整合到过采样策略中，以应对类别不平衡的挑战。提出的基于BanglaBERT、BUETBERT和DistilBERT的软投票集成模型，在高质量数据集上实现了当前最先进的分类性能。这项工作的重要意义在于：第一，为低资源的孟加拉语方言处理提供了高质量的数据资源和强大的基准模型；第二，所提出的语言学过采样与深度集成框架，为处理其他低资源语言或方言的分类问题提供了可借鉴的方法论；第三，通过提升机器对方言文本的理解能力，这项研究有助于推动更包容、更符合地区文化背景的语言技术发展，支持数字包容性和文化遗产保护。
同时，作者也指出了本研究的局限性，例如区域专用词典规模较小、未使用经典的标注者一致性度量（如Cohen‘s Kappa），以及过采样策略可能对句法或风格等非词汇线索不敏感。未来工作可以扩展词典规模、引入更多标注者以计算统计一致性指标，并探索融合语音、语法等多模态特征的方言处理框架。
