语言因素对基于GPT的机器学习分类模型的影响

《Statistics》：Language effects on GPT-based machine learning classifications

信用风险评估中ChatGPT多语言表现分析。研究发现英语和法语在0/50/150样本量下均优于意大利语，分类准确率、精确率、召回率、F1值等指标均显著更高。当样本量增至100时，受数据离散性和类别重叠影响性能下降，但150样本量时英语和法语模型性能恢复。研究揭示语言模型在提示式学习中的表现受语言结构、数据分布和样本量三重因素制约。

　　

摘要

本研究探讨了提示中使用的语言如何影响ChatGPT在信用风险预测任务中的分类性能。我们使用了一个结构化的贷款申请数据集，评估了ChatGPT使用英语、法语和意大利语将贷款分类为“批准”或“拒绝”的能力。该模型在不同的小样本学习环境下进行了测试，分别使用了0个、50个、100个和150个训练样本。结果表明，在包括准确率、精确度、召回率和F1分数在内的所有关键指标上，英语和法语的表现始终优于意大利语。当训练样本数量增加到50个时，模型性能显著提升；但当样本数量达到100个时，由于数据分散度和类别重叠增加，性能有所下降，这一点通过PCA和t-SNE可视化分析得到了验证。在150个样本的情况下，英语和法语的模型性能有所恢复，而意大利语的性能仍然较差。这些发现强调了数据结构和语言在基于提示的学习中的重要性，表明模型性能不仅取决于训练样本的数量，还取决于输入内容的清晰度和语言语境。