评估用于有害内容分析的计算方法：潜力、陷阱以及开展负责任研究的工具 伊泰·希梅尔博伊姆（Itai Himelboim）和 穆迪特·贝尔德（Mudit Baid）

《Big Data and Cognitive Computing》：Evaluating Computational Approaches for Harmful Content Analysis: Promise, Pitfalls and Tools for Responsible Research Itai Himelboim and Mudit Baid

　　摘要：本手稿开发并展示了一个实用的框架，用于评估通信研究中使用的自动化分类器，以有害语言检测作为示例案例。我们将（a）27个公开可用分类器及其相关注释过程的文档实践的结构化回顾与（b）跨数据集评估相结合，后者在原始训练环境之外重新测试每个模型。在27个数据集中，我们提取并比较了关于概念定义、注释者指令和注释者间一致性的报告，并通过将每个模型应用于多个领域外测试集来量化泛化能力。我们还用一个当代大型语言模型（GPT-5）在一致的提示协议下进行基准测试，以说明基于大语言模型的分类与微调分类器的表现。结果显示，文档记录不均衡且通常不足以支持基于理论的评估；注释者间的一致性在不同数据集中差异很大；跨数据集的性能往往显著低于数据集内的评估结果。基于这些发现和现有的验证指南，我们提供了一个可重复使用的检查表和决策流程，帮助研究人员以支持透明度和累积科学的方式选择、证明和报告基于分类器的测量结果。对于研究人员、审稿人和期刊编辑的建议强调了将模型选择与有效性、可靠性和透明度标准对齐的重要性。

1. 引言
随着社交媒体日益成为分享观点和辩论有争议的社会问题的核心平台，对其用于传播有害内容的担忧也在增加[1,2]。接触在线仇恨言论与目标用户焦虑、抑郁和创伤后应激的增加有关[3]，并与仇恨犯罪活动有关[4]。极端暴力还可能在Twitter/X上触发仇恨言论的激增，包括倡导暴力的内容[5]。这些因素使得计算方法在分析大量用户生成的内容和识别仇恨言论及冒犯性语言等方面变得至关重要[2,6,7]。
随着计算方法在通信研究中的普及，学者和编辑越来越期望基于模型的编码能够达到长期以来与人类内容分析相一致的质量和可靠性标准，然而在文本数据研究中，验证和报告仍然存在不一致性[8]，并且在主题建模、框架和情感分析等方法中，构建对齐、评估设计和跨情境迁移等方面的规定往往不够明确[9,10,11]。为了支持可信的推断，我们认为对数据集来源和标注条件的透明记录是必要的[12]，并且将评估置于持续模型开发之上[13,14]，以回应有害内容研究往往优先考虑新架构而非泛化和验证以及偏见的问题[6,15]。
现有用于评估有害语言分类器的工具包括系统性的数据集审查[16]、检测方法调查[17]以及Hugging Face Hub等模型仓库[18]。这些框架通过在同一数据集上计算准确率和F1分数来评估模型性能。这种方法存在局限性：模型经常对训练数据进行过拟合，而跨数据集评估被广泛推荐以更好地反映实际性能[17,19]。我们在这一基础上进一步评估了注释者是否接受了统一的培训并得到了明确的指导，以及所测量的概念是否符合通信研究中定义的仇恨、冒犯和威胁的方式[20,21]。
我们的框架审核了注释者的指令、招募情况和资格，以评估数据集级别的概念有效性以及“仇恨”、“冒犯”和“不文明行为”的操作化[11,12,22,23]，并通过比较报告的可靠性指标来突出注释者间的一致性，以使机器学习实践符合既定的通信测量标准[8,24,25]。我们还实施了多数据集评估，以避免结论过度依赖于狭窄的基准和社会背景[6,26]，解决了目标和背景覆盖范围已知的限制[27]，并提出了在异构环境中进行验证的建议[9,11]。最后，我们通过仅在帖子ID可用时记录数据检索来加强可复现性[28]，以回应更广泛的可复现性批评[12,22]，并将这些原则实现为一个实用且具有偏见意识的评估框架，该框架具有最低的报告要求和建议规则，这一点在有害语言检测中得到了体现，因为在定义和注释的异质性可能会影响模型的有效测量[6,8,9,12,22,27]。
我们从五个类别（仇恨言论、冒犯性语言、欺凌、种族主义和威胁）中评估了27个公开可用的模型，使用了27个训练数据集（其中9个是我们重新构建的），并在额外的数据集中重新测试每个模型，以量化其领域外的性能[11,29,30]。我们还比较了在固定提示协议下ChatGPT-5的标注结果，以说明在相关设置中，基于大语言模型的分类在什么情况下可以替代特定任务的模型，同时考虑到系统性分类偏见的证据[7,22]。最后，我们将模型选择置于基于理论的测量方法框架内，强调理论应指导测量的内容及其验证方式[14]，并在人工智能工具持续发展的背景下为研究人员、审稿人和编辑提出建议[25]。

1.1. 文献综述
随着社交媒体上像仇恨言论、种族主义、威胁和欺凌这样的有害内容持续增加，其心理和社会后果变得越来越严重。接触此类内容可能导致焦虑、抑郁和创伤后应激[31]，同时还会创造敌对的在线环境，压制边缘化群体的声音并抑制参与度。优先考虑互动的算法往往会放大分裂性帖子，加剧极端主义[32]。这会侵蚀公民话语，加深社会分歧，使偏见正常化并强化有害刻板印象[33]。随着时间的推移，这种对目标社区的压制会削弱民主参与，减少公共讨论中的声音多样性[34]。
在线仇恨内容的影响不仅限于数字空间；它们还塑造了现实世界的态度、政治和暴力[5]。常态化的仇恨言论可以合法化排斥性意识形态，并在政治紧张时期加剧对排外政策的支持。例如，Müller和Schwarz[4]发现，德国Facebook上的反难民情绪与针对难民的攻击增加有关，尤其是在极右翼倾向的地区。使用计算方法的学者揭示了此类内容的模式和影响：仇恨言论经常使抗议运动失去合法性[4]，在意识形态回音室中传播，并通过模因中的幽默得以掩盖[35]。同时，检测微妙的有毒表达仍然是一个重大挑战，尤其是在数据集开发过程中。
随着对社交媒体数据访问的增加以及对内容误用的担忧，计算方法被用于内容分析。这些计算技术使用预定义的标签对社交媒体帖子进行标记[17]。这些方法借鉴自其他学科，主要是计算机科学，引发了关于准确性标准的担忧，以及它们是否满足通信研究人员半个多世纪以来的期望。内容分析原则在全球通信研究方法中广泛教授，无需详细介绍；Berelson[20]将其总结为“对通信内容的客观、系统和定量描述”。本质上，它涉及从大量内容中提取意义，为统计分析生成不同的标签。因此，使用计算方法对社交媒体内容进行标记与传统的内容分析有共同的目标。然而，通信学科中的标准可能与计算方法中的标准有所不同。我们首先将探讨计算学习模型，为其质量评估奠定基础。接下来，我们提出根据既定的通信科学标准评估机器学习模型，重点关注概念有效性、方法特定的外部有效性或跨数据集一致性、内部有效性和编码者间可靠性。

1.1.1. 计算语言模型：背景
研究人员可以使用多种方法对以前未见过的文本进行预定义类别的标注，包括经典的监督学习、人工参与的工作流程以及较新的神经语言模型。在本研究中，我们重点关注两个广泛使用的方法家族：（1）通常经过微调用于监督分类的预训练语言模型（PLMs），以及（2）可以通过提示用于分类的大型语言模型（LLMs）。我们关注这两个家族，因为它们占据了公开可用的“现成”解决方案的主导地位，并且在计算通信研究中越来越被采用。

1.1.2. 预训练语言模型（PLMs）
PLMs（如BERT，双向编码器表示）是在大量未标记文本上训练的模型，用于捕捉语言模式[36]。然后，PLMs在特定的标记数据集上进行微调，以高精度对内容（例如仇恨言论）进行分类。这种方法涉及在一般语言理解的基础上解决特定任务。实际上，PLMs通过在对标记示例进行训练（通常称为微调）来适应分类任务，生成将文本输入映射到类别概率的模型[36]。当标记数据具有信息性且目标领域与部署环境匹配时，微调可以提高任务性能，但收益并不保证，并且取决于数据质量、标签定义和领域转换。

训练数据集：数据。最常见的方法是直接从Twitter或Reddit等社交媒体平台收集社交媒体数据[26,37,38]，使用公开可用的应用程序编程接口（API）或使用其他研究人员准备的已清洗的数据集。在其他情况下，训练数据集由大型语言模型（如ChatGPT）生成，这些模型会产生特定内容，例如冒犯性帖子。

训练数据集：标注。模型在被认为是“准确”的数据集上训练，将数据分类为预定义的标签。标签可以是宽泛的，如“骚扰”或“欺凌”，也可以是具体的，如“种族主义蔑称”、“威胁”或“侮辱性语言”[2]。标注这些数据具有挑战性，因为“仇恨”或“毒性”的概念在不同文化、语言和情境中有所不同[26]。大多数训练数据集的创建者依赖于Amazon Mechanical Turk或Appen等众包平台，或专业标记服务来标注大量内容[37]。在这些设置中，数百名注释者将每个帖子标记为有害、冒犯性、威胁性或以上都不是。方案各不相同：一些数据集使用二元分类（“仇恨” vs. “非仇恨”），其他数据集采用多类方案（“种族主义”、“性别主义”、“中性”），还有一些数据集实施分层结构（“冒犯性” vs. “有针对性仇恨的冒犯性” vs. “无针对性仇恨的冒犯性”[23,38]。标注内容是主观的，这促使研究人员使用Cohen的kappa或Krippendorff的alpha等注释者间一致性指标来评估标签的一致性[17]。在这种情况下，领域专家（如社会学家或语言学家）可能会修改标注方案或解决有争议的例子。一些研究小组采用迭代标注方法，从基于人群的标签开始，识别不一致之处，并由专家注释者澄清微妙的区别[38]。

模型训练过程：训练本身是一个迭代过程[36]。模型从随机初始化的参数开始，本质上是对如何将输入（例如社交媒体帖子）转换为输出（即标签，如“种族主义”或“非种族主义”）的随机猜测。然后，它通过将其预测与数据集中的正确“答案”进行比较来改进这些参数。

评估模型的准确性。有害言论检测模型通常基于样本内测试报告高准确性，但这些数字很少反映实际性能[17]。模型经常对其训练数据过拟合，并且在训练于狭窄社区或蔑称集合时难以处理未见过的内容，对新数据的准确率会降至75-80%[39]。建议进行跨领域和多数据集评估以提高泛化能力[2,17]。缺乏跨平台测试引发了对泛化能力的担忧，这进一步强调了需要在不同平台和用户群体中进行更广泛的验证[2]。

透明度。评估计算模型用于内容分类依赖于数据集创建、注释者指令和模型训练的透明度。Davidson等人[26]强调了基于关键词的仇恨言论数据集采样的风险，而Mathew等人[1]展示了可解释注释的重要性。开源代码以及标注标准和数据集细节（如来源平台和语言多样性）增强了评估的可信度[40]。由于仇恨语言发展迅速，这种开放性至关重要。像SOSNet[41]这样的模型展示了如何设计可解释性。

三种程序性决策在所有跨数据集评估中统一应用，并在此记录，以确保透明度。首先，当负类的规模显著超过正类时，负类会被降采样以匹配正类的规模，以确保模型性能指标不会因类别不平衡而膨胀。其次，BiasCorp不包括离散的种族主义标签；二元标签是使用原始数据集论文中描述的基于置信度的评分方法得出的，其中置信度得分高于1被视为阳性（种族偏见），得分1或更低被视为阴性。偏见得分范围为1到5，置信度得分范围为1到10，每个注释者的权重按比例应用。第三，Jigsaw Unintended Bias in Toxicity数据集提供了从0到1的连续毒性得分；根据数据集官方文档推荐的二值化阈值，得分0.5及以上被视为阳性（有毒/威胁），得分0.5以下被视为阴性。在补充材料中，我们为每个目标任务提供了一个标签映射图，指明了哪些原始数据集标签被编码为“正面”，哪些被编码为“负面”，以及哪些被排除在外。1.1.3. 大语言模型（LLMs）LLMs是一种生成模型，用于预测和生成文本。除了在大型语料库上进行预训练外，许多现代LLMs还经过指令调优，并与人类反馈对齐，以遵循自然语言提示。对于分类任务，研究人员可以提示LLM分配标签（零样本或少量样本），或者产生结构化输出，这可以减少对特定任务训练数据的需求，但会增加对提示设计、模型安全过滤器和隐藏训练数据的敏感性[14]。大量研究已经探讨了分类任务的提示和指令遵循问题；在本手稿中，我们将GPT-5视为在固定提示协议下的一个透明基线，而不是作为领域特定验证的替代品。1.1.4. 评估框架：有效性、可靠性和可转移性我们将用于自动内容分类的深度计算方法（PLMs和LLMs）视为测量工具，其有效性必须通过实验来证明，而不能假设[42]。我们围绕三个问题来组织评估，这些问题直接对应于常见的社会科学研究有效性和最近的验证综述[8,43]。构念有效性关注标签是否与预期的概念相符，以及操作定义是否被记录下来（例如，标签定义、示例、注释者说明和数据来源；[12]）。注释可靠性（即人类编码者之间的可靠性）关注人类是否能够一致地应用编码方案（例如，Krippendorff的alpha系数或相关一致性统计；[11]）。外部有效性在这种情况下，关注模型在时间、平台、语言、社区或抽样框架上的泛化能力，特别是当模型应用于其训练环境之外时[22,30]。考虑到外部有效性通常以样本到总体的泛化能力来衡量，我们将这种类型的有效性称为“跨数据集一致性”。最近的研究进一步表明，基于指令的变体可以提高模型对某些训练数据偏差的鲁棒性，从而增强了明确指令作为测量工具的一部分的价值[44]。请参见图1。图1. 深度学习模型的评估。RQ1：已发布的有害语言分类器如何记录构念有效性（概念定义、标注说明和训练数据来源）？RQ2：提供了哪些关于用于训练这些分类器的数据集中注释可靠性的证据（例如，注释者之间的一致性），以及这些证据是如何报告的？RQ3：这些分类器在应用于与其原始训练数据不同的标记数据集时的泛化能力如何（领域外测试）？2. 材料与方法本研究旨在帮助传播学者评估和选择用于分类有害内容（如仇恨言论、种族主义、威胁、欺凌和冒犯性语言）的计算模型。该方法论的设计旨在反映研究人员在使用公开可用资源选择或部署模型时可能遇到的情况。这里描述了方法论的三个核心方面：模型选择、训练数据集选择和跨数据集测试。模型和数据集的链接位于在线补充材料部分。2.1. 模型选择我们遵循了一个多标准选择过程，以识别五种有害语言任务（仇恨言论、冒犯性语言、欺凌/骚扰、种族主义和威胁）中广泛使用的模型。我们从Hugging Face模型中心及其文档中引用的模型论文开始，然后通过下载次数和引用次数交叉检查任务的流行程度，优先选择在研究和实践中积极使用的模型。总共识别并检查了27个模型：7个仇恨言论模型、7个威胁模型、7个冒犯性语言模型、4个欺凌模型和2个种族主义模型。对于每个模型，我们记录了其架构、报告的训练数据、标签映射以及任何已发布的评估细节。选定的模型大多数是针对分类任务进行了微调的BERT系列编码器，但也包括其他变压器变体以及使用不同预训练或微调策略训练的模型，以涵盖研究人员常用的各种选择。2.2. 训练数据集选择数据集主要来自Hugging Face数据集中心和模型文档中链接的原始论文。当一个任务存在多个数据集时，我们优先选择那些（a）公开可访问的，（b）附有论文或技术报告的，以及（c）常用于基准测试的数据集。我们提取了关于平台、语言、抽样、标签定义和注释文档可用性的元数据。由于许多数据集包含多个标签，因此一些数据集可以用于多个任务类别。例如，TDavidson的语料库包含仇恨和冒犯性标签，可以根据标签映射决策进行不同的操作。2.3. 文档提取和编码（RQ1–RQ2）为了回答RQ1–RQ2，我们创建了一个与先前验证指南[12,43]对齐的结构化提取表单。对于每个模型和数据集，我们记录了：（1）构念是如何定义的（如果有的话），（2）标注协议（说明、示例、裁决），（3）注释者的特征和培训情况，以及（4）任何报告的注释者之间的一致性（例如，Krippendorff的alpha系数）。当论文没有提供相关信息时，我们将该条目编码为未报告，而不是推断其内容。第二位作者对提取的部分字段进行了原始来源的审核，以减少转录错误。2.4. 跨数据集测试为了评估跨数据集一致性（RQ3），我们不仅在其原始基准数据集上测试了每个模型（如果有的话），还测试了多个实现类似构念的替代标记数据集。我们尽可能地在数据集之间标准化了文本预处理和标签映射，然后在没有额外微调的情况下计算了性能。这种设计模拟了常见的研究场景，即在一个平台上或针对一个群体训练的分类器被应用于另一个平台或群体；例如，一个在Twitter上训练的模型可能被用来对YouTube评论或论坛帖子进行编码。这种领域转换已知会降低性能并可能引入系统误差[6,30]。我们报告了每个模型-数据集配对的准确率和宏平均F1分数，并总结了泛化能力，即数据集内和领域外性能之间的差异。在可行的情况下，我们通过定性错误检查来补充这些总结，以识别反复出现的失败模式（例如，隐含的仇恨、讽刺或上下文中的侮辱性语言）。2.5. GPT-5基准（LLM提示）为了为考虑基于LLM的标注的研究人员提供结果背景，我们使用相同的提示和每个任务使用的相同标签集，在相同的数据集分割上评估了GPT-5。推理通过OpenAI的批量API执行，以确保所有项目之间的提示和设置相同。我们将输出限制为任务标签词汇表中的一个标签，并使用确定性解码来减少运行间的变化。GPT-5不被视为真实标准；相反，它作为一个可比较的、基于提示的分类器，其优点和局限性可以与经过微调的PLMs进行对比[7]。3. 结果RQ1：已发布的有害语言分类器如何记录构念有效性（概念定义、标注说明和训练数据来源）？在27个模型中，只有19个模型披露了它们的训练数据集。关于这些数据集的创建和评估过程的透明度各不相同。表1详细列出了关于注释者、注释者之间的一致性以及标签选择过程的发现。如果数据不可用，则用“未提及”表示。值得注意的是，诸如detoxify这样的模型被训练用来将帖子分类为多个标签，如有毒、淫秽、侮辱、威胁和身份仇恨。在下表1中，我们重复列出了这些模型，因为它们反映了本研究探讨的多个标签。然而，模型的汇总数据是针对独特模型报告的，没有重复实验。同样的情况也适用于训练数据集，这些数据集通常为多个模型的训练提供多个标签。表1. 模型及其相应的训练数据集*。总体而言，我们发现对于相同的标签（例如仇恨），不同的模型通常在相同的数据集上进行了训练。那些训练数据集可访问的欺凌模型都在相同的数据集上进行了训练；7个冒犯性语言模型中有3个在同一个数据集上进行了训练，7个威胁模型中有5个在同一个数据集上进行了训练。这是一种常见做法，因为基准数据集提供了标准化的高质量资源，能够实现一致的评估、可重复性，并通过消除数据收集的开销来加速模型训练[16]。然而，这也进一步凸显了能够评估或至少更好地理解训练模型的重要性。与传统的手动内容分析不同，在传统方法中只有少数训练有素的人类编码者对数据集进行标注，而这里的标注过程则大不相同。在至少有一些关于训练数据集信息的11个模型中，有10个模型使用了众包平台（如Amazon MTurk或Appen）来手动标注帖子。只在一个模型中提到了注释者的数量（即“人类编码者”）。仇恨、欺凌、种族主义、冒犯性和威胁检测数据集中的注释者指南在深度和透明度方面存在显著差异，这与注释者的培训方式有关。为了系统地评估它们，我们将指南分为六类：定义、示例、测试集、范围和未提及。“定义”类别表示数据集为注释者提供了仇恨或偏见的明确定义及其不同形式。有六个模型使用了指示给注释者定义的数据集。然而，只有四个模型披露了定义，所有模型都依赖于相同的训练数据集。例如，TDavidson数据集中的定义是“用于表达对目标群体的仇恨或旨在贬低、羞辱或侮辱该群体成员的语言。”“示例”类别表示注释者被提供了带有分类、目标社区和范围的标记内容的示例，以帮助他们理解任务。同样只在HateXplain中看到的“范围”类别表示指导者被指示通过标记文本中的特定部分来突出显示仇恨的表达方式。换句话说，这种方法不是提供仇恨内容的示例，而是向注释者展示某种类型的内容（如仇恨或种族主义）在文本中是如何表现的。hatexplain模型依赖于HateXplain训练数据集，该数据集提供了专家标记的帖子样本供注释者参考。表中注明“测试集”的模型表明，在完成整个注释任务之前，使用了预标记的帖子样本来评估和选择注释者。这些帖子由专家标注，作为评估注释者可靠性的基准。特别是，本研究中的3个模型依赖于OLID数据集，该数据集包含这样的测试集并设定了最低准确率阈值。只有满足此阈值的注释者才能继续对完整数据集进行标注，从而确保更高的标注质量。然而，27个模型中有16个依赖于“未提及”组中的10个数据集，在这些数据集中缺乏注释者指导细节，从而降低了透明度并限制了可解释性。3.1. 额外训练数据集这些模型使用的训练数据量有限，关于它们的信息也很少，这促使我们探索额外的公开可用训练数据集。具体来说，对于欺凌、冒犯性语言和种族主义，训练数据集的稀缺性促使我们确定了用于交叉评估的补充数据集。这种方法与先前的研究一致，先前的研究强调跨数据集评估对于评估模型在不同领域的泛化能力至关重要，特别是在检测社会偏见和有害内容方面[17]。我们识别了18个额外的训练数据集：4个用于种族主义、4个用于冒犯性语言、6个用于欺凌、3个用于仇恨言论和2个用于威胁（其中一个数据集同时包含仇恨和冒犯性标签）。总共4个数据集——BiasCorp、OffensiveLang、MMHS150k和Implicit Hate Corpus——使用了Amazon Mechanical Turk注释者来评估偏见和信心分数。三个数据集——HASOC、Online Harassment Research和New-Wave-Hate——由作者自己注释。大规模仇恨言论数据集包含了仇恨和冒犯性标签，并由20名研究生和本科生进行了标注。另一个种族主义数据集Are You Racist Or Am I Seeing Things由Appen注释者标注。其他7个数据集没有披露其注释者来源或关于过程的任何其他信息。在18个额外数据集中，有4个使用了Amazon Mechanical Turk注释者。大规模仇恨言论数据集使用了20名研究生和本科生注释者。包括HASOC、Automated Cyberbullying Detection和New-Wave-Hate在内的三个数据集的作者自行开发了代码本并进行了标注。Are You Racist or Am I Seeing Things数据集使用了Appen注释者，而Cyberbullying Twitter亲自联系了17名注释者。然而，关于这些分类器的详细信息并未公开披露。自动化网络欺凌检测数据集融合了之前研究中预先标记的攻击性/非攻击性信息[47]。在另外18个数据集中，有7个没有透露注释者的来源。其他标注程序方面，自动化网络欺凌检测数据集结合了Elsafoury等人[47]预先标记的攻击性/非攻击性信息与合成生成的用户数据（例如年龄、性别、学生年级），以模拟用户互动。最终的欺凌/非欺凌标签是通过整合攻击性标签以及三个计算因素来确定的：伤害意图、青少年特征和重复性。Offensive-Lang数据集采用了一种新颖策略：使用ChatGPT生成帖子，并通过Amazon Mechanical Turk进行手动标注。详见表2。

RQ2：关于用于训练这些分类器的数据集中的标注可靠性（例如，注释者之间的一致性）提供了哪些证据，又是如何报告的？不同数据集之间关于标注可靠性的证据并不均匀，且往往难以解释，因为各论文的报告内容有所不同。一些数据集提供了详细的编码者说明，并报告了正式的一致性统计结果，而其他数据集仅提供了标注工作流程的简要描述或完全省略了一致性信息。这种变异性很重要，因为分类器的性能受到标签质量的限制：当标签存在噪声或模糊不清时，高预测准确性可能反映了噪声的复制，而不是有效的测量结果[25]。

报告的可靠性类型：当报告了一致性时，Krippendorff’s alpha是最常用的统计方法，同时也使用百分比一致性和Cohen’s kappa或Fleiss’ kappa。然而，许多论文没有提供进行比较所需的关键细节，如分析单位、一致性是在 adjudication之前还是之后计算的，以及每个条目有多少注释者进行了编码。

最终标签和 adjudication：即使有一致性统计结果，许多数据集也使用多数投票或最终 adjudication步骤来生成一个单一的“黄金”标签用于训练。这种做法可以提高标签的一致性，但也可能掩盖了关于边缘案例的系统分歧，在有害语言研究中这些分歧往往是重要的[27]。

RQ3：当这些分类器应用于除原始训练数据之外的其他标记数据集（领域外测试）时，它们的泛化能力如何？我们为每个有害内容类别选择了多个训练数据集，包括如果有的话，最初与所选模型相关的数据集，以及包含相同标签的广泛使用的独立数据集。

3.2. 恶言暴语检测模型
这些模型的训练准确率从69%到超过94%不等，但跨数据集的性能经常波动，表明在跨数据集一致性方面存在挑战。例如，distilroberta_offensive_hate在其训练数据集Badmatr11x上的准确率很高，达到了96%，但在其他数据集上却下降到大约56-91%。我们的跨数据集分析显示，distilroberta_offensive_hate和roberta_large_offensive_hate模型的平均准确率最高（分别为0.74，F1 = 0.72；0.73，F1 = 0.73）。这些数值明显低于其他模型的数值（分别为0.97，F1 = 0.97；0.99，F1 = 0.99）。详见表3。

3.3. 威胁检测模型
本节展示了七个威胁检测模型在四个基准数据集上的表现，评估指标包括准确率和F1分数。在这些模型中，lstm_glove的平均准确率最高（0.73）。detoxify_unbiased在Jigsaw和Combined Toxicity Profanity等具有细微毒性的数据集上表现出了较强的F1性能（0.61）。相比之下，ensemble和nb_svm模型的F1分数显著较低，表明它们在识别超越表面线索的威胁方面的有效性有限。详见表4。

3.4. 欺凌检测模型
平均而言，cyberbullying_bert模型表现出最高的性能，所有数据集的平均准确率为0.71，F1分数为0.55。distil-bert_cyberbully模型的表现始终最低，平均准确率为0.40，F1分数为0.36。在Kaggle网络欺凌数据集上，lstm_bert模型取得了最高的单次性能，准确率为0.95。在线骚扰数据集上，distilbert_cyberbully模型的记录性能最低，准确率为0.24。详见表5。

3.5. 攻击性语言检测模型
hatexplain模型在所有数据集上展现了最高的整体平均性能，准确率为0.73，F1分数为0.62。尽管distilrob_erta_offensive_hate模型的平均F1分数最低，但在TDavidson数据集上它取得了最好的单次性能，准确率为0.97，F1分数为0.95。分析还显示，大多数模型的F1分数始终低于准确率分数，这表明在精确度和召回率之间找到平衡是一个普遍挑战。详见表6。

3.6. 种族主义检测模型
像deberta这样的种族主义模型是在包括TDavidson在内的混合数据集上训练的，尽管报告的训练准确率高达70%，但它们的跨数据集F1分数下降到40-60%。xlm_r_racismo的性能与deberta相当，但deberta的F1分数更高。详见表7。

4. 讨论
本研究提出并实施了一个结构化的流程，用于评估用于标记有害内容的机器学习模型和生成式AI工具，将自动化分类测量工具置于纯粹的技术工具之上[8,42,43]。通过遵循这里概述的步骤，研究人员可以收集到证明模型选择合理性的信息，这些信息符合内容分析中的长期有效性、可靠性和透明度标准[11,20,21]。尽管本研究提供了模型在跨数据集上表现的实证发现，但其更广泛的贡献在于将模型选择重新定义为一种嵌入在理论、构建定义和研究设计中的方法论决策[14,43]。

我们从上面的图1开始，该图展示了评估工作流程。基于这项研究，我们现在记录了每个阶段应用的关键决策阈值，以支持复制并指导采用这一框架的研究人员。在标签选择阶段，3位注释者之间的多数投票是大多数数据集中最常见的最终标签决策方法；补充方法包括5位注释者达成一致意见（平局时由审核员裁决）、至少有2位注释者达成一致，以及连续评分数据集的信心加权聚合（Jigsaw：阈值≥0.5；BiasCorp：阈值>1）。选择数据集的研究人员应注意标签决策方法，因为单一注释者的标签或低一致性的多数投票可能会在跨评估结果中引入噪声。在注释者一致性阶段，本研究中所有数据集报告的Krippendorff’s α值范围从0.39到0.84。根据内容分析中建立的基准[45]，低于0.40的值被认为是较差的，依赖这些值的数据集应被视为高风险；0.40到0.60之间的值表明一致性适中，需要谨慎解释；高于0.60的值通常被认为适用于学术用途。这些阈值对于涉及主观或隐含内容（例如隐含的仇恨、种族主义）的任务来说是领域特定的，这些任务往往导致较低的一致性，可能需要调整预期。对于ChatGPT-5的评估，推理是通过OpenAI的Batch API使用v 1/responses端点与GPT-5.1进行的，推理努力设置为低，冗余设置为最小，每个帖子的最大输出 tokens 限制为128个；这些设置旨在确保提示协议的可复现性。最后，对于跨评估的稳定性，标记为正类的实例少于500个的数据集可能产生不稳定的F1估计；这些数据集的结果应谨慎解读并在报告中标出。本研究通过评估模型而不仅仅是开发模型来解决最近的方法论批评，重点在于文档质量、注释者一致性和跨数据集的测试以及程序透明度[8,9,12,13]。在所有有害内容类别中，我们发现数据集在报告构建定义、注释者准备、编码程序和注释者一致性方面存在显著差异。尽管这种不均匀性不一定反映工作质量差，但它限制了可比性，使得使用这些分类器的研究人员只能部分看到重要的测量属性[11,21,42]。这些差距很重要，因为分类器继承了其训练数据中嵌入的假设。许多数据集为仇恨或种族主义等标签提供了有限的概念定义，更多依赖于示例或众包判例而不是持续的编码者培训。先前的研究表明，这种判例受到注释者背景和上下文的影响，这意味着标签是社会性地定位的，而不仅仅是客观的[48,49,50]。对于通信研究来说，这强调了将分类器视为测量工具的必要性，必须明确并证明其构建的有效性，而不是中立的工具[14,20,21]。

我们的跨数据集评估进一步表明，不同标签和领域之间的性能存在差异。恶言暴语、攻击性语言和威胁模型的表现通常优于种族主义模型，后者在不同环境中的稳定性较差，可能是因为种族主义特别依赖于上下文，并且在注释和训练数据中容易受到偏见的影响[27,39,51]。为检测多种危害而构建的模型也比针对单一构建进行优化的模型表现较差，这表明了通用、一刀切方法的局限性。同时，跨数据集测试受到数据集定义标签方式的限制，因此性能反映了模型泛化和构建操作化的差异。尽管如此，这种测试仍然至关重要，因为它更接近于真实世界的研究使用情况，其中模型经常被应用于其原始训练环境之外[11,30]。PLM分类器与GPT-5之间的比较突显了一个相关的权衡。基于PLM的系统通常提供更可见的训练和评估文档，而基于LLM的分类则提供了灵活性，但增加了关于训练数据、对齐和提示敏感性的不确定性[12,52]。尽管GPT-5在一致的提示协议下具有竞争力，但最近的研究表明，基于LLM的分类也可能在不同上下文中引入系统偏见[7,22]。总体而言，我们的发现支持一个核心结论：通信研究中的自动化分类器应被视为社会和方法论上嵌入的测量工具，需要明确关注构建定义、注释可靠性和跨上下文验证。这里提出的框架旨在使这些考虑在未来的研究中更加可见、系统和可用[8,42]。

4.1. 对研究人员、审稿人和编辑的建议
将分类器视为测量工具。自动化分类器应被视为测量工具，而不仅仅是技术系统。研究人员应明确模型测量的构建、它在训练数据中的实现方式，以及这如何与理论相一致。
保持透明度。研究应报告训练数据的来源、注释程序、注释者说明以及任何注释者之间的一致性，因为这些做法影响了诸如仇恨或种族主义等构建的定义。
不要仅仅依赖报告的准确率。仅报告基准准确率并不能很好地反映在新环境中的性能；需要在类似于目标上下文的数据上进行跨数据集评估，以评估泛化能力。
将模型选择与理论对齐。宽泛的“有害内容”类别可能会掩盖概念上不同的构建，因此模型标签应与种族主义、不礼貌或威胁等理论区分相匹配。
PLM或LLM是一种方法论选择。PLM分类器可能提供更清晰的训练和评估文档，而LLM标签提供了灵活性，但引入了不确定性和提示敏感性；在这两种情况下，研究人员都应记录操作定义并在预期上下文中验证性能。
总体而言，这些建议表明，随着自动化分类器的普及，通信科学中关于构建清晰度、编码者可靠性和跨数据集一致性的既定标准为它们的负责任和累积使用提供了基础[8,11,21]。

4.2. 局限性和进一步研究
本研究的局限性之一是其关注的是有害语言检测；虽然这一领域非常重要且方法论上具有挑战性，但评估框架旨在推广到通信研究中的其他基于分类器的测量方法。第二个局限性是，我们的LLM基准使用了一个为可重复性设计的固定提示；不同的提示、少量示例或不同的解码设置可能会产生不同的性能。因此，未来的工作应将提示设计视为测量工具的一部分，并评估不同提示变体的鲁棒性。最后，未来的研究应扩展对偏见和错误影响的分析，包括误分类如何传播到下游统计推断中，以及如何将错误校正方法纳入标准工作流程[53]。重要的是，当前的设计无法区分“泛化失败”和“构建转换”，因为本文中使用的跨数据集测试主要涉及来自不同来源和注释协议的异构数据集，因此性能下降可能是由于构建偏见而非泛化失败造成的。此外，还存在ChatGPT泄漏的风险；长期以来建立的训练数据集已被包含在ChatGPT的预训练语料库中，因为它们是公开可用的。使用LLM的未来研究应验证“最近收集或未发布的数据”的发现。最后，这项研究的另一个局限性在于它主要关注产品生命周期管理（PLM）领域，并且仅使用了一个大语言模型（LLM）作为全面分析PLM的参考。我们认识到，不同的LLM和提示可能会导致不同的分类结果，这应该在未来的研究中加以探讨。补充材料（模型和数据集）可以在以下链接下载：https://www.mdpi.com/article/10.3390/bdcc10050143/s1。