评估模型规模和提示策略对使用泰语专用Typhoon2语言模型进行腐败指控分类的影响

《Machine Learning with Applications》：Evaluating the Impact of Model Scale and Prompting Strategies on Corruption Allegation Classification using Thai-Specialized Typhoon2 Language Models

腐败投诉分类自动化是公共治理中的关键挑战，尤其在低资源语言环境。本研究评估了Thai专用大语言模型Typhoon2在泰国国家反腐败委员会（NACC）腐败投诉分类中的性能，对比了3B和7B模型、零样本/单样本/双样本提示策略及传统机器学习模型（随机森林、XGBoost）。结果表明，未经微调的Typhoon2-7B在宏F1（0.514）和几何平均（0.684）上表现最佳，尤其擅长处理类不平衡；而微调的3B模型因过拟合导致性能显著下降。传统模型在多数类别表现更优，但LLMs在少数类别中展现出潜力。研究强调模型规模和提示设计比直接微调更有效，为低资源环境下的AI部署提供实践指导。

　　在当今社会，腐败问题仍然是制约可持续发展、有效治理和公众信任的重要因素，特别是在新兴经济体中，由于制度框架存在系统性脆弱性，这一问题显得尤为突出。腐败被广泛定义为利用公共职位谋取私人利益的行为，它不仅侵蚀了法律的权威性，还扭曲了公共资源的分配，削弱了民主制度的根基。研究显示，腐败与行政成本的增加、采购流程的扭曲以及包容性经济增长前景的降低密切相关。此外，腐败直接威胁到实现可持续发展目标16（SDG 16），该目标强调和平、正义和强大的制度建设。在治理背景下，腐败还导致了公民参与度下降、公众对政府的不信任感增强以及机构合法性的削弱。

泰国作为腐败问题尤为突出的国家之一，每年因腐败造成的经济损失估计在GDP的0.9%至1.3%之间。法律的模糊性和行政程序的复杂性为不当行为提供了滋生的土壤。为了应对这一挑战，泰国国家反腐败委员会（NACC）每年接收大量与腐败相关的举报，这些举报在结构、语言清晰度和法律严重性方面呈现出高度的异质性。这种多样性给高效且一致的案件分类带来了持续的挑战，特别是在手动分类受限于标注不一致和程序瓶颈的情况下。目前的工作流程通常会导致初始处理延迟3至7天，这增加了资源错配的可能性，并削弱了及时调查行动的实施。

为了提高案件分类的准确性，优化优先级，并加快证据收集，确保分类结果与国家反腐败政策目标一致，建立标准化的法律分类体系至关重要。然而，传统的手动处理方式在面对日益增长的无结构文本举报时显得力不从心。因此，自然语言处理（NLP）技术的进步，尤其是大型语言模型（LLMs）的出现，为自动化处理这类数据提供了新的可能性。像GPT-3、PaLM和LLaMA这样的模型在多种文本任务中表现出色，它们通过少量任务特定的训练即可有效泛化，展现出强大的少样本推理能力。然而，这些模型的优势大多集中在高资源语言，尤其是英语上，对低资源语言如泰语的支持仍然有限。

泰语作为一个缺乏空格分隔、多义词丰富且社会语言多样性高的语言，给通用多语言模型在法律和行政文本上的应用带来了额外的挑战。这些语言特征使得通用模型在处理泰语文本时效果不佳，而语义精度往往依赖于文化嵌入和语法结构复杂的表达方式。为了解决这些问题，新的泰语专用模型如Typhoon2系列应运而生。这些模型在泰语语料上进行预训练和指令微调，优化了对泰语语法、语境和使用模式的理解，从而在法律和治理相关的NLP任务中展现出更大的潜力。

尽管大型语言模型在某些方面展现出优势，但其实际部署仍面临诸多挑战，包括计算成本、数据隐私和伦理风险。特别是在涉及腐败举报等敏感领域时，这些模型的使用需要格外谨慎。少样本提示策略（如零样本、单样本和双样本提示）为解决这些问题提供了一种轻量级且隐私保护的替代方案。这些策略通过提供任务指令和示例响应，引导模型进行推理，而无需进行全量再训练。研究表明，少样本提示在低资源NLP任务中具有显著的成效。

本研究旨在通过分析模型规模、适应程度和示例数量之间的性能权衡，为设计可扩展、符合伦理的、针对特定语言的AI系统提供实证依据。同时，本研究引入了一个可复制的评估框架，该框架可以应用于其他低资源和高风险治理领域的LLM评估。通过这种方式，本研究推动了自动化治理工具的发展，这些工具有助于提高透明度，强化机构信任，并增强民主问责。

在方法论部分，本研究采用了一组800份腐败举报文本，这些文本涵盖了2014年至2024年间提交给泰国国家反腐败委员会（NACC）的各类腐败指控。每份举报都包含未经结构化的文本描述，由NACC官员手动标注为一个腐败类别。原始数据集包含十个互斥的类别，为了应对严重的类别不平衡问题，研究者将三个代表性不足的类别（利益冲突、道德不当行为和欺诈性土地证书）合并为一个“其他腐败违规”类别。此外，对于训练样本不足20的类别，研究者将其归入一个通用的“其他”类别，以缓解标签稀疏问题。最终，研究数据集被调整为八个互斥的类别。

为了确保类别分布的代表性，研究者对数据集进行了分层抽样，并将数据集分为训练集（80%）和测试集（20%）。为了进一步缓解少数类别样本不足的问题，训练集通过随机过采样进行了增强，这有助于提高评估结果的稳健性。数据预处理过程尽可能简化，以保留举报文本的自然语言结构。非泰语字符被移除，空格被标准化，并使用了与Typhoon2框架兼容的泰语分词器进行分词处理。没有引入结构化元数据或辅助变量，确保分类仅基于举报文本的文本内容进行。

研究采用了三种Typhoon2模型变体，分别是Typhoon2-3B（未微调）、Typhoon2-3B（微调）和Typhoon2-7B（未微调）。Typhoon2模型的设计策略包括连续预训练和指令微调。连续预训练使得模型能够逐步吸收新的泰语数据，同时保留已获得的知识，从而避免灾难性遗忘。指令微调则通过结构化、任务导向的提示优化，提高了模型对多样下游任务的解释和执行能力。

研究者评估了三种模型变体在零样本、单样本和双样本提示策略下的表现，以探讨模型规模、领域适应和示例数量对性能的影响。所有提示均使用泰语编写，以确保语言的一致性，并且仅允许选择十个预定义的腐败类别进行分类。为了确保结果的可重复性，所有推断过程均采用确定性解码策略，这有助于减少随机采样带来的性能波动，使结果更加稳定和可靠。

在评估框架中，研究者采用了一个全因子设计，结合了三种模型配置和三种提示策略，从而系统地检验了关键因素对分类性能的影响。结果表明，尽管基于TF-IDF特征的传统机器学习模型（如随机森林和XGBoost）在大多数评估指标上表现优异，但大型语言模型，特别是Typhoon2-7B模型，在处理类别不平衡数据方面展现出更显著的优势。Typhoon2-7B模型在双样本提示策略下达到了最高的宏F1得分（0.514），这表明其在处理少数类别时具有更强的泛化能力。相比之下，微调后的Typhoon2-3B模型表现较差，尤其是在少数类别上出现了严重的过拟合现象，导致其在多数类别上的性能提升却牺牲了对少数类别的识别能力。

研究还发现，泰语的特殊语言特征，如缺乏空格分隔、高度多义性和社会语言的多样性，使得模型在处理这类文本时面临额外的挑战。这些语言特征可能影响模型对文本的理解，进而影响分类的准确性。通过深入的错误分析，研究者识别了三个主要的分类错误模式：由于缺乏空格分隔导致的分词错误、礼貌性措辞掩盖了不当行为的线索，以及模型对多数类别的偏好。这些错误模式反映了语言处理中的系统性问题，而不是随机的分类错误。

此外，研究还强调了评估指标的重要性。虽然准确率是一个直观的指标，但它无法反映类别之间的性能差异，特别是在类别不平衡的情况下。宏F1分数和几何均值（G-Mean）提供了更全面的性能视图，有助于揭示模型在处理少数类别时的局限性。因此，在腐败分类等需要公平性评估的任务中，这些指标尤为重要。

本研究的结论指出，尽管大型语言模型在某些方面具有优势，但它们在低资源和类别不平衡的设置中仍面临挑战。因此，在部署这些模型时，需要采取特定的策略来减轻过拟合风险，提高少数类别的识别能力。同时，传统机器学习模型在处理具有明显关键词模式的任务时仍然表现出色，为资源有限的机构提供了一种高效且可部署的解决方案。研究强调了在治理应用中，模型规模和提示设计比直接微调更可靠，特别是在处理少数类别时。

最后，本研究的成果不仅为泰语专用模型在腐败分类任务中的应用提供了实证支持，也为其他低资源和高风险治理领域的模型评估提供了可复制的框架。这些发现强调了在公共部门引入AI技术时，需要综合考虑技术的可行性、伦理风险和实际应用中的公平性。通过结合模型规模和提示设计，研究者展示了如何在资源有限的环境中实现高效、公平和透明的腐败分类系统。同时，研究也指出，为了进一步提升模型的性能，尤其是在处理罕见和模糊的类别时，可能需要采用更复杂的策略，如合成数据生成、成本敏感学习或主动学习循环。这些方法可以有效地缓解类别不平衡问题，提高模型在关键任务中的表现。