《Data Science and Management》：A label-based text generation approach for enriching training data in multilingual classification using fine-tuned large language models
编辑推荐：
现有的文本增强技术，包括同义词替换、回译和释义改写，通过变换已有文本来提升模型性能，但始终受限于词汇多样性不足以及对源文本的依赖。本研究提出了一种基于标签的文本生成（label-based text generation, LBTG）方法，通过低秩适配（low
现有的文本增强技术，包括同义词替换、回译和释义改写，通过变换已有文本来提升模型性能，但始终受限于词汇多样性不足以及对源文本的依赖。本研究提出了一种基于标签的文本生成（label-based text generation, LBTG）方法，通过低秩适配（low-rank adaptation, LoRA）微调大语言模型（large language models, LLMs），直接从预定义的标签组合生成旅游与酒店领域的合成评论。为改进标签-文本对齐，研究人员引入了一种名为“重复提示”（repeat-prompt）的新型提示工程技术。研究使用六种分类器（涵盖传统机器学习（machine learning, ML）到基于Transformer的架构）在十种语言上评估了三种实验场景，并以马修斯相关系数（Matthews correlation coefficient, MCC）作为主要评价指标。场景1使用原始训练数据作为基线；场景2在原始数据基础上加入LBTG生成的评论进行增强；场景3则完全使用LBTG生成的合成评论进行训练。将场景2和场景3与场景1比较后发现，跨语言语言模型-RoBERTa（cross-lingual language model-RoBERTa, XLM-RoBERTa）在十种语言中的九种上取得了持续性的MCC提升，其中意大利语（+3.24个百分点）和西班牙语（+2.88个百分点）提升最为显著；在按语言选择数据量的配置下，该提升具有统计学显著性（t(9) = –3.46, p = 0.007），但在任何固定数据量下均未达到显著水平，因此应视为上界估计。相比之下，在固定数据量条件下，场景3的性能显著低于场景1，表明合成数据应作为真实训练数据的补充而非替代。在场景3下，重复提示技术在十种语言中的八种上优于现有提示策略。上述发现表明，LBTG结合重复提示技术，是一种在多语言、低资源场景下进行合成数据增强的有效且可扩展的策略。
**研究背景与问题**
近年来，大语言模型（large language models, LLMs）的快速发展深刻改变了自然语言处理（natural language processing, NLP）领域。在旅游与酒店、教育、医疗、金融、电商等多个领域，LLMs均展现出强大的文本生成与理解能力。在此背景下，利用LLMs进行合成数据生成逐渐成为一条新兴的研究路径，即在人工标注数据稀缺、类别不平衡或采集成本高昂的场景下，由模型自动生成高质量的训练数据集，以提升下游机器学习（machine learning, ML）任务的性能。
然而，现有文本数据增强技术仍存在明显局限。其一，同义词替换、随机插入、删除、交换以及释义改写等方法仅对已有文本进行浅层变换，难以捕捉自然语言中复杂的语义结构与上下文细微差异，生成的数据多样性有限，甚至可能引入语义偏移。其二，回译等方法依赖大规模双语语料，计算成本高昂。其三，多数方法以英语为中心，在越南语等分析语等低资源非英语语言上效果不佳。此外，当前研究在三个维度上仍相对薄弱：多语言增强（尤其是超出高资源英语语料、面向低资源语言）、标签条件生成（显式控制生成文本的情感或类别标签）以及领域特定增强（如旅游与酒店评论）。为解决上述问题，本研究提出了一种名为基于标签的文本生成（label-based text generation, LBTG）的方法，利用经低秩适配（low-rank adaptation, LoRA）微调的LLM，直接根据预定义标签组合生成合成评论，并在旅游与酒店领域的多语言评论分类任务中验证其有效性。研究论文发表于《Data Science and Management》。
**研究方法概述**
研究人员使用TripAdvisor越南酒店评论数据集（2005–2022年，公开于Zenodo平台，CC-BY-4.0许可），筛选出十种评论数量充足的语言（德语、英语、西班牙语、法语、意大利语、日语、韩语、荷兰语、俄语、越南语），聚焦清洁度、服务、睡眠质量、房间、位置和价值六个方面，将1–5分评分二值化为正面（3–5分）与负面（1–2分）。核心方法包括三个技术环节：第一，基于LoRA微调Google Gemma 2 9B IT模型，使用每标签10条经GPT-4.1-mini校正的小规模高质量样本进行参数高效微调；第二，提出重复提示（repeat-prompt）提示工程技术，通过在提示模板中多次强化标签约束来缓解因果注意力带来的早期指令影响力衰减问题；第三，基于训练集与测试集中实际出现的203种标签组合，为每种组合、每种语言生成10条合成评论，并设置1、5、10条三种数据量配置进行评估。
**研究结果**
**4.1 数据生成**
研究人员提取训练集和测试集中所有出现的标签组合共203种（测试集中的组合均已在训练集中出现），并为每种组合、每种语言生成合成评论。实验结果显示，原始训练集存在显著的正负类不平衡；加入LBTG合成数据后，类别分布趋于均衡；仅使用LBTG数据时，各类情感分布几乎均匀。较优合成数据量因语言和模型组合而异，不存在统一的全局最优配置。
**4.2 重复提示评估**
在仅使用合成数据训练分类器的场景下，与Reynolds and McDonell (2021)、Kojima et al. (2022)、Zhou et al. (2023)等现有提示方法相比，重复提示技术在十种语言中的八种上取得了更高的XLM-RoBERTa MCC值。在宏观F1分数方面，重复提示在德语（+17.72个百分点）、日语（+15.64个百分点）、韩语（+8.20个百分点）、俄语（+9.32个百分点）等七种语言上带来描述性提升，表明该技术有助于改善少数类标签的分类性能。
**4.3 LBTG评估**
在场景2（原始训练数据+LBTG增强数据）中，XLM-RoBERTa在十种语言中的九种上取得了较基线（场景1）的MCC提升（法语除外），意大利语（+4.89个百分点）、西班牙语（+4.16个百分点）和德语（+2.79个百分点）提升最为显著；传统ML模型则大多出现性能下降。在场景3（仅使用LBTG数据训练）中，传统ML模型出现较大幅度的MCC下降，而XLM-RoBERTa的降幅明显更小，甚至在德语（+0.97个百分点）、西班牙语（+1.62个百分点）和荷兰语（+1.49个百分点）上实现了超越基线的表现。这一差异可归因于XLM-RoBERTa在多语料预训练中获得的深层上下文表征和跨语言泛化能力。
**4.4 配对t检验分析**
对XLM-RoBERTa在十种语言上的MCC进行配对样本t检验。在固定数据量配置下，场景2与场景1之间的MCC差异均未达到统计学显著（1样本：t(9) = –0.04, p = 0.965；5样本：t(9) = –1.98, p = 0.079；10样本：t(9) = –0.91, p = 0.386）。在按语言选择数据量的配置下，差异达到显著（t(9) = –3.46, p = 0.007, Cohen's d = –1.09），但由于数据量基于测试集选择，该结果存在乐观偏倚，应视为上界估计。场景3与场景1的对比显示，在固定数据量下，仅使用合成数据训练在1样本和10样本配置下显著低于基线（t(9) = 3.97, p = 0.003；t(9) = 3.78, p = 0.004），表明合成数据应作为真实数据的补充而非替代。
**4.5 错误分析**
定性比较同一标签配置下的真实评论与生成评论发现，LBTG生成的评论在标签覆盖率上优于真实评论，但存在两个问题：一是引入标签配置中未指定的方面（如房间），即“幻觉”现象；二是遗漏了明确指定的标签（如价值）。这表明标签-文本对齐仍有改进空间，幻觉是限制合成数据在训练多标签分类模型时有效性的重要因素。
**讨论与结论**
讨论部分指出，LBTG方法通过直接基于结构化标签集生成合成文本，为缓解旅游与酒店领域中的数据稀缺和类别不平衡问题提供了新路径，但证据强度有限：场景2的增强收益仅在按语言选择数据量的探索性配置下显著，而场景3的合成数据单独训练在固定数据量下显著劣于真实数据。传统ML模型因缺乏预训练语义知识，对合成数据与真实数据之间的分布偏移更为敏感；XLM-RoBERTa则凭借大规模多语预训练表现出更强的鲁棒性。
研究结论为：LBTG结合重复提示技术可作为一种有效的合成数据增强策略，适用于多语言、低资源场景。其价值主要体现在与真实数据搭配使用时，而非独立替代真实数据。未来工作将探索基于人类反馈的强化学习、自适应提示策略、多随机种子重复实验、在保留验证集上进行数据量选择，以及将该方法推广至医疗、金融和电商等领域。
