AI红队协作是一个社会技术问题

《Communications of the ACM》:AI Red-Teaming Is a Sociotechnical Problem

【字体: 大 中 小 】 时间:2026年01月30日 来源:Communications of the ACM

编辑推荐:

  摘要 随着生成式人工智能技术在实际应用中的日益普及,测试其性能和安全性的重要性变得愈发突出。“红队测试”(Red-teaming)迅速成为评估AI模型的主要方法,得到了AI企业的重视,并被纳入了AI政策和法规中。红队成员扮演对手的角色,通过攻击AI系统来检验其安全机制并发现潜

  摘要
随着生成式人工智能技术在实际应用中的日益普及,测试其性能和安全性的重要性变得愈发突出。“红队测试”(Red-teaming)迅速成为评估AI模型的主要方法,得到了AI企业的重视,并被纳入了AI政策和法规中。红队成员扮演对手的角色,通过攻击AI系统来检验其安全机制并发现潜在漏洞。然而,我们对这项工作及其影响知之甚少。在本文中,我们强调了理解红队测试背后的价值观和假设、相关劳动安排以及对参与者的心理影响的重要性,这些见解来自内容审核领域的经验。红队测试应被视为一个跨学科的研究课题。为了避免重蹈覆辙,我们呼吁来自计算科学和社会科学各领域的学者们共同努力,从技术、社会、批判性和政策等多个角度研究红队测试及其所构成的社会技术系统。

大型语言模型(LLMs)和图像扩散模型发展迅速,从研究项目演变为当前全球范围内广泛使用的生成式AI技术。当一项技术从实验性工具迅速转变为大众化服务时,许多其他要素也会随之形成,这些要素往往缺乏周密规划,包括用户界面、政策、商业模式、劳动安排、基础设施保障、配套技术、宣传策略和监管规定等。其中许多决策和安排对用户和公众的影响可能与核心技术本身相当。然而,围绕新技术的喧嚣讨论可能掩盖了这些关键因素——这些因素使得技术不仅仅是其各个组成部分的简单叠加。

为了跟上这一发展步伐,研究计算机科学、工程学、社会科学和法学等领域中这些技术运作及其影响的研究人员必须迅速行动,不仅要关注核心技术,还要关注围绕其形成的社会技术系统。我们呼吁计算机科学家和社会科学家共同关注AI开发中的一个关键环节:红队测试。

**主要观点**
- 红队测试已成为生成式AI模型开发中的必要步骤,但作为AI的一个社会技术要素,它尚未得到充分研究。
- 从社会技术的角度来看,红队测试是一种将人类价值判断引入技术系统的劳动安排,可能给参与者带来心理风险,这与内容审核从业者面临的挑战类似。
- 研究红队测试及其作为新兴社会技术系统的各个层面需要跨计算科学和社会科学领域的学者协同合作。

AI模型及其应用在发布前通常会进行内部测试,并在使用过程中持续接受评估;其中红队测试旨在发现可利用的漏洞、错误和偏见。从AI评估的角度来看,红队测试需要设计合理、高效且可重复。但从社会学的角度来看,红队测试是一种特定的劳动形式,由特定人员在特定制度环境下执行,具有独特的意义。我们的目标是揭示这些社会技术要素,并呼吁更多跨学科的关注。

自ChatGPT商业化以来,红队测试已成为生成式AI模型生产和部署中的常规环节。AI开发者将其视为履行公共责任的体现,而监管机构则依赖它来防止AI造成社会危害。但公众对这项工作的具体方式、所基于的价值观和假设、执行者以及他们所承担的心理成本知之甚少。内容审核也曾面临类似问题:其劳动和福利问题长期被忽视。随着公众对AI红队测试的了解主要来自硅谷的宣传材料,而政治环境的变化(尤其是在美国)可能进一步削弱这种公开责任的表现。

值得注意的是,本文并未基于微软的内部信息,而是基于我们对负责任AI背后的劳动实践、生成式AI作为新媒体技术的政治影响以及参与式AI开发和治理方式的研究。鉴于我们在科学和技术研究、劳动学、心理学和设计领域的专业背景,我们认为有必要将AI红队测试置于更广泛的历史背景中进行探讨。

**什么是红队测试?**
简而言之,红队测试是指以对手的身份系统地测试系统的安全性和可靠性。这一术语最初由美国军方提出,用于描述在战争游戏和模拟中让己方人员扮演敌人以探测防御策略弱点的做法。冷战期间,假想敌人是苏联,因此使用了“红色”这一象征。Zenko指出,这种对抗性测试的观念可以追溯到更早的时期——13世纪时天主教会就设立了“魔鬼代言人”(Devil’s Advocate)来审查圣徒候选人。正如魔鬼代言人旨在揭露候选人的不足之处,军事红队也试图渗透己方前线。这一概念后来扩展到网络安全领域,红队负责模拟最坏情况(如敏感信息泄露或基础设施被攻击),从而预防潜在灾难。

对于生成式AI而言,红队测试既涉及基础模型的安全性,也涉及故意引发模型产生不良或错误响应的行为。由于用户可能有意或无意地促使AI模型产生有害内容,红队会先进行此类测试,以评估安全防护措施的有效性。不过,红队测试的具体定义仍不明确,其战术和组织结构仍在发展中。

**红队测试的意义**
- 红队测试已成为生成式AI模型开发中的关键环节,但作为AI的一个社会技术要素,它尚未得到充分研究。
- 从社会技术的角度来看,红队测试将人类价值判断引入技术系统,可能给参与者带来心理压力。
- 研究红队测试及其作为新兴社会技术系统的多个层面需要跨学科的合作。

AI模型及其应用在发布前会接受内部测试,并在使用过程中持续评估;红队测试旨在发现可利用的漏洞和偏见。从AI评估的角度看,红队测试需要设计合理、高效且可复制。但从社会学的角度来看,红队测试是一种特定的劳动形式,具有特定的社会影响。

自ChatGPT发布以来,红队测试已成为生成式AI模型生产和部署的常规步骤。AI开发者将其视为履行公共责任的体现,而监管机构则依赖它来防止AI造成社会危害。然而,公众对这项工作的具体方式知之甚少。与内容审核类似,红队测试的劳动和福利问题长期被忽视。随着公众对AI红队测试的了解主要来自硅谷的宣传材料,政治环境的变化可能进一步加剧这种信息不对称。

本文旨在揭示这些社会技术要素,并呼吁更多跨学科的关注。

**结论**
- 红队测试在生成式AI模型开发中起着重要作用,但作为AI的一个社会技术要素,它尚未得到充分研究。
- 从社会技术的角度来看,红队测试将人类价值判断引入技术系统,可能给参与者带来心理风险。
- 研究红队测试及其作为新兴社会技术系统的多个层面需要跨学科的合作。

**未来展望**
随着生成式AI技术的快速发展,确保其安全性和透明度具有巨大经济、声誉和监管动力,促使企业迅速建立红队机制。这不仅有助于提升产品安全性,还能缓解公众、政府和利益相关者的担忧。新AI产品常被宣传为经过红队测试。美国政府曾将红队测试视为确保AI系统安全的重要手段。尽管目前该规定已被废除,但红队测试仍将在后续的监管和自我监管中发挥作用。

作为一种在财务和政治压力下形成的劳动形式,红队测试与其他数字劳动形式(如数据标注、内容审核等)类似,都是支持数据驱动技术系统半自动化的关键环节。若要实现安全、可持续的AI,还需研究相关的劳动安排(如内部测试团队、志愿者、第三方服务提供商等)。同时,我们必须关注参与红队测试人员的心理成本。

**总结**
红队测试不仅是确保AI安全性的重要手段,也是理解其发展过程的关键。从社会学的角度出发,可以更好地指导其负责任和有效的应用。

**价值判断**
将义务、结构和评估标准应用于生成式AI模型的努力需要跟上商业化进程。初期红队测试工作是在设计阶段尚未明确测试目标的背景下进行的,因此相关分类和评估标准需逐步建立。主要AI公司通常默认生成式AI工具会产生有害内容,但很少讨论如何界定有害内容及其评估标准。这引发了关于谁的价值观被用于评估的疑问。AI红队测试的发展过程与早期社交媒体平台的内容审核类似,都涉及对有害内容的识别和过滤。

**挑战与启示**
- 红队测试在确保AI安全性和可持续性方面具有重要意义,但同时也可能掩盖技术滥用的风险。
- 需要平衡安全性和创新潜力,避免过度依赖监管措施。
- 从经济角度来看,率先通过红队测试确保AI安全的公司可能占据市场优势。
- 公众、政府和利益相关者对AI系统的安全性和性能存在担忧,红队测试有助于缓解这些顾虑。就像今天的AI红队一样,许多社交媒体平台首先依靠自己的工程师和员工来评估有害内容;对他们来说,某些类型的危害似乎更为明显;而其他类型的危害则往往被忽视。硅谷的工程师通常无法反映其全球用户群体的多样性和背景;那些最初依靠内部员工进行评估的社交媒体平台,常常低估了女性、边缘化种族和族裔群体以及那些具有污名化性取向和性别身份的人所面临的危害。在社交媒体平台的早期阶段,主要的审核方法是“感觉不舒服?就删除它”。主观判断和直觉常常代替了公众对危害或道德原则的理解。AI红队策略需要更加复杂和包容,以避免社交媒体过去的错误。然而,由于外部研究人员几乎没有机会研究商业红队的工作,而且内部或外部也没有动力披露太多关于他们实践的信息,我们缺乏对哪些危害可能被忽视或超出商业组织关注范围的清晰实证理解。

在AI系统中,无论是否有意,忽视人类劳动的重要性是很常见的。值得注意的是,“红队”这个词通常被使用,但却忽略了构成红队的劳动力。对红队工作的社会技术分析不仅应该涵盖红队所采用的技术背后的价值观和关切,还应该包括从事这项工作的人以及他们所处的劳动安排。红队作为一种方法正在以多种形式出现:在公司内部和外部,在有薪员工和志愿者之间,以及那些能够接触到AI系统内部运作的人和不能接触到的人之间。这些形式肯定会发生变化;一些形式可能会消失,而另一些则会成为“常规做法”。但无论最终形成什么样的劳动政治格局,关于这种与AI相关工作的制度背景、物质条件和经济激励等方面,都存在重要的研究问题。

在公司内部,负责这项工作的人员可能各不相同。大型科技公司热衷于夸耀他们的旗舰红队,这些团队的工作专门用于道德黑客攻击,但我们知道,在整个产品开发周期中,红队活动也在较小规模上发生。进行红队工作的人可能是更大范围的负责任AI项目、信任与安全部门或法律/合规机构的一部分。虽然为自家公司进行红队工作的人通常享有全职工作的稳定性,但他们可能没有拒绝红队请求的权力。尽管他们可能具备必要的技术知识来识别和减轻AI风险,但这是否足以有效应对这些风险尚不清楚。此外,他们可能无法公开表达担忧,而不违反公司规范或具有法律约束力的保密协议。

员工红队成员可能几乎没有接受过其他相关技能的培训,无论是语言、社会文化、历史、法律还是伦理方面的;激励机制也不要求或奖励这些专业知识。一些内部红队可能包括具有社会文化领域专长的人,但他们也为公司工作,因此可能存在利益冲突。为了在2023年3月之前测试GPT-4,OpenAI征求了50多位专家的帮助,主要是那些具有信任与安全或网络安全背景的专家。Anthropic和Microsoft鼓励他们的红队与专家合作,以测试特定类型的危害。这些合作使AI公司能够在不将专家正式聘为员工的情况下获得他们的专业知识,通过影响力、API信用、工作机会或宣传权来补偿他们。

遵循硅谷的普遍模式,越来越多的努力将红队工作从公司员工转移到第三方数据服务提供商,通常是海外公司。这样做利用了劳动力套利来压低工资,正如外包和离岸外包的历史所证明的那样,这会削弱工人的保护措施以及他们提出工作效果问题的能力。在Anthropic的模型开发初期,研究人员招募了数百名未经培训的众包工作者,指示他们“让AI表现不佳”,以引发其大型语言模型(LLM)的负面反应。在这个项目中,众包工作者既负责探究AI,也负责评估其输出中的有害内容。

无论如何,红队工作可能是一项成本高昂的任务。小型公司如果想将生成式AI服务推向市场,可能没有足够的内部红队资源来满足内部责任要求或监管义务。它们可能会转向新兴的AI安全和服务公司,这些公司在红队服务方面看到了市场机会。正如学者所指出的,当劳动力被外包,特别是分散到全球各地的临时劳动力中时,追踪和保障工人权益变得更加困难。

一些红队活动发生在AI公司及其外包劳动力之外。黑客、志愿者和普通用户也会参与红队活动。例如,在2023年的DEFCON(世界上最大的黑客会议之一)上,有2000多名志愿者共同促使大型LLM生成有害内容。参与者包括领域专家、行业红队成员、网络安全顾问和计算机科学博士生,但DEFCON组织者也消除了某些技术障碍,让没有编程知识的新手也能参与。该活动展示了比大多数公司内部红队更广泛的观点多样性,AI伦理学家Rumman Chowdhury认为,在处理种族、性别、性取向、政治和阶级等问题时,这种多样性是必要的。然而,要求边缘化社区为自己所遭受的边缘化进行讨论很容易陷入一种交易性、剥削性的依赖关系。志愿和无偿工作也需要大量的组织工作,并且没有明显的扩展机制。要使用生成式AI模型,必须与AI公司协商,而根据这些洞察采取任何行动完全取决于公司的意愿。

在许多主要的生成式AI应用中,最终用户也可以提供反馈,尽管形式有限。ChatGPT的“不喜欢”功能允许用户通过下拉菜单表达他们的担忧:“不喜欢这种风格”、“不符合事实”、“本不应被拒绝”等。但目前尚不清楚这些数字“公民劳动”的反馈如何反馈给设计者。用户反馈严格来说并不属于红队工作,因为它不一定具有对抗性。但最终用户无论是有意还是无意、出于娱乐或恶意,都可能帮助设计者发现公司未预料或未设计的输出。

红队工作仍在形成中,无论是在AI公司内部还是外部。目前尚不清楚公司的内部红队工作是否受到员工多样性的限制,以及它们在多大程度上依赖自己的少数族裔员工来为模型注入多样性。外包红队工作和使用劳动力套利来降低成本的做法引发了与社交媒体公司使用人类劳动力相似的问题:工人获得的劳动保护较少,工作条件更差,职业发展机会也有限。

除了了解谁在从事AI红队工作以及评估的内容外,我们还需要关注这项工作对人员的心理影响。参与红队工作的学者和从业者称其为“相当不愉快的工作”且“精神上非常耗费精力”。与内容审核工作类似,红队工作要求工作者想象最坏的情况,并暴露自己于可能令人不安的输出中。红队成员通常需要扮演潜在对手的角色(例如:网络骚扰者、人口贩子、种族主义者、恐怖分子),设计对手可能用来攻击系统的计划,并评估输出的潜在危害。他们也可能扮演具有特定意图或背景的良性用户(例如,有饮食障碍史的用户寻求减肥建议),并试图揭示可能有害的系统漏洞。红队成员可能需要研究有害群体以了解其行为,并将这些知识应用于仇恨言论或深度伪造的模型评估中。

关于AI红队工作的心理影响,目前几乎没有实证研究。但最近的一项针对RAI内容工作者的研究表明,红队成员、内容审核员和数据标注者在处理潜在有害内容时面临类似的心理挑战。鉴于在内容审核方面的广泛研究以及那些需要应对创伤暴露的职业所经历的已知职业健康问题,红队成员可以从这方面的关注中受益。此外,红队工作的成功取决于发现和审查越来越有害的内容。与内容审核员、应急响应人员或调查突发事件的新闻记者类似,AI红队成员可能会反复接触到令人不安和创伤性的内容,从而导致负面心理症状。例如,从平台上移除有害和冒犯性内容的内容审核员报告称,在工作完成后很长时间内仍面临心理健康挑战,导致创伤后应激障碍(PTSD)和次级创伤应激(STS)。长期暴露可能导致长期的心理健康问题、个人信念系统的改变,以及身体健康问题和物质滥用风险的增加。事实上,《精神疾病诊断与统计手册》第五版(DSM-5)将反复接触创伤性内容作为PTSD的诊断标准之一,这也是一些内容审核员起诉雇主的依据。

除了了解谁在从事AI红队工作以及评估的内容外,我们还需要关注这项工作对人员的心理影响。参与红队工作的学者和从业者称其为“相当不愉快的工作”且“精神上非常耗费精力”。与内容审核工作类似,红队工作要求工作者想象最坏的情况并暴露自己于可能令人不安的输出中。红队成员经常需要扮演潜在对手的角色(例如:网络骚扰者、人口贩子、种族主义者、恐怖分子),并评估输出的潜在危害。他们也可能扮演具有特定意图或背景的良性用户(例如,有饮食障碍史的用户寻求减肥建议),并试图揭示可能有害的系统漏洞。红队成员可能需要研究有害群体以了解其行为,并将这些知识应用于仇恨言论或深度伪造模型的评估中。

迄今为止,关于AI红队工作的心理影响的研究很少。但最近的一项研究表明,红队成员、内容审核员和数据标注者在处理潜在有害内容时面临类似的心理挑战。鉴于在内容审核方面的广泛研究以及那些需要应对创伤暴露的职业所经历的已知职业健康问题,红队成员可以从这方面的关注中受益。此外,红队工作的成功取决于发现和审查越来越有害的内容。与内容审核员、应急响应人员或调查突发事件的新闻记者类似,AI红队成员可能会反复接触到令人不安和创伤性的内容,从而导致负面心理症状。例如,从平台上移除有害和冒犯性内容的内容审核员报告称,在工作完成后很长时间内仍面临心理健康挑战,导致创伤后应激障碍(PTSD)和次级创伤应激(STS)。长期暴露可能导致长期的心理健康问题、个人信念系统的改变,以及身体健康问题和物质滥用风险的增加。事实上,《精神疾病诊断与统计手册》第五版(DSM-5)将反复接触创伤性内容作为PTSD的诊断标准之一,这也是一些内容审核员起诉雇主的依据。

红队工作还在形成中,无论是在AI公司内部还是外部。目前尚不清楚公司的内部红队工作是否受到员工多样性的限制,以及它们在多大程度上依赖自己的少数族裔员工来为模型注入多样性。外包红队工作和使用劳动力套利来降低成本的做法引发了与社交媒体公司使用人类劳动力相似的问题:工人获得的劳动保护较少,工作条件更差,职业发展机会也有限。

除了了解谁在从事AI红队工作以及评估的内容外,我们还需要关注这项工作对人员的心理影响。参与红队工作的学者和从业者称其为“相当不愉快的工作”且“精神上非常耗费精力”。与内容审核工作类似,红队工作要求工作者想象最坏的情况并暴露自己于可能令人不安的输出中。红队成员经常需要扮演潜在对手的角色(例如:在线骚扰者、人口贩子、种族主义者、恐怖分子),并评估输出的潜在危害。他们也可能扮演具有特定意图或背景的良性用户(例如,有饮食障碍史的用户寻求减肥建议),并尝试揭示可能有害的系统漏洞。红队成员可能需要研究有害群体以了解其行为,并将这些知识应用于仇恨言论或深度伪造模型的评估中。

尽管目前关于AI红队工作的心理影响的研究很少,但最近的一项研究表明,红队成员、内容审核员和数据标注者在处理潜在有害内容时面临类似的心理挑战。鉴于在内容审核方面的广泛研究以及那些需要应对创伤暴露的职业所经历的已知职业健康问题,红队成员可以从这方面的关注中受益。此外,红队工作的成功取决于发现和审查越来越有害的内容。与内容审核员、应急响应人员或调查突发事件的新闻记者类似,AI红队成员可能会反复接触到令人不安和创伤性的内容,从而导致负面心理症状。例如,从平台上移除有害和冒犯性内容的内容审核员报告称,在工作完成后很长时间内仍面临心理健康挑战,导致创伤后应激障碍(PTSD)和次级创伤应激(STS)。长期暴露可能导致长期的心理健康问题、个人信念系统的改变,以及身体健康问题和物质滥用风险的增加。事实上,《精神疾病诊断与统计手册》第五版(DSM-5)将反复接触创伤性内容作为PTSD的诊断标准之一,这也是一些内容审核员起诉雇主的依据。

AI红队工作还引入了其他独特的心理挑战。成功的红队成员必须具备对抗性的想象力才能有效工作。正如一位红队成员所说:“如果有一个红队的座右铭,那就是:你的想象力越阴险,你的工作就越好。”红队工作涉及故意参与违反道德或伦理的行为,包括沉浸在违背自己道德或信念系统的情境中——想象成为骚扰者或感到自己是歧视的目标。这种做法可能导致“道德伤害”,即由于行为或缺乏行为而产生的心理痛苦。那些无法将自己与不当行为区分开来的人可能会经历负面的自我认知和内疚感。为了更大的利益而频繁违反规则可能导致“自我丧失”,这种情况在卧底警察职业中尤为常见。

一些组织红队工作的人已经认识到这对红队成员福祉的潜在负面影响。例如,DEFCON Generative Red Team活动的组织者预计,生成意外有害输出的模型可能会让参与者感到不适。Anthropic早期的红队工作包括与信任与安全专业人士协商,为众包工作者设计安全措施。保护红队成员福祉的策略可以包括提供关于敏感内容的警告、允许退出、鼓励休息、监测情绪或允许他们选择自己能接受的风险范围。但对于志愿或众包红队成员来说,这些策略受到组织者提供的资源的限制。

对于专业红队成员,公司有时会提供员工援助计划(EAPs),包括心理健康资源。然而,组织因素往往会影响这些资源的实际使用情况。对于一些人来说,由于工作环境不安全、绩效指标苛刻或工作不稳定,他们可能无法负担得起心理治疗。保密协议(NDAs)历史上阻碍了工人谈论工作条件。监测红队成员的福祉往往与更不道德的工作场所监控方式交织在一起,如果发现结果非常负面,还会增加雇主的法律责任风险。实施一致的福祉策略对于跨越组织和国家边界的红队成员来说可能变得不可行。因此,当组织者声称红队活动是安全的,因为没有人使用待命的治疗师时,他们可能错误地认为没有使用就意味着没有必要。除了个人心理健康资源外,对红队成员福祉最有效的工具之一可能是来自具有相似角色的同事群体以及家人和朋友的社会支持。先前关于内容审核的研究表明,来自社会支持的认可感和归属感至关重要。在社交网络上出现的非正式红队社区可以作为一个安全的空间,帮助成员从共同的创伤中恢复,尤其是在红队成员可能不愿意与亲人分享他们的经历以保护他们免受伤害的情况下。为了尽量减少人类接触“不愉快的工作”,一些研究人员提倡使用自动化红队技术。尽管自动化是否可行仍有争议——一些领先的人工智能安全研究者最近认为“人类因素”始终是必要的——但自动化可能会无意中使这项工作更加隐蔽,从而转移了对剩余红队成员所需的福祉措施的关注。因此,我们必须批判性地审视自动化在红队中的作用——不仅包括它对任务的直接影响,还包括其对整个生态系统的长远影响。

我们必须面对一个严峻的现实:随着人工智能伤害减少工作的商品化,这种工作将持续存在。只要生成式人工智能仍然是我们生活的一部分,人工智能红队及其心理影响就会持续下去。为了支持这一工作群体,我们必须严格研究和验证各种情境下创新福祉策略的有效性,并仔细考察相关的组织和社会结构。

结论:关于红队的更实质性的、基于实证的、跨学科的研究能提供什么?目前孤立、有防火墙保护且市场反应式的红队方法对人工智能消费者、红队成员和公司都可能存在潜在的缺点。每家公司都在迅速开发自己的红队版本,其定义和工作量根据公司的优先事项、“品牌”和特定关注点而有所不同。几乎所有从事生成式人工智能工作的公司都拥有某种形式的红队团队。虽然人们正在努力解决偏见和其他“嵌入式伤害”,但许多红队工作更关注无根据的、存在性的风险,而不是当前的实际问题。目前尚不清楚通过红队工作识别出的问题中有多少得到了缓解。

如果我们希望改善作为社会技术系统一部分的红队工作成果,就必须研究其判断是如何做出的以及由谁做出的。红队的隔离性和操作透明度既可能使员工感到疏远,也可能让公众无法充分了解人工智能系统所能提供的价值。实证研究可以挑战这些安排,识别其中的障碍和激励因素,并可能引导公众和人工智能公司朝着更可持续的方向发展。一个有组织的、跨学科的实证研究议程,将红队视为一个社会技术任务,可以使人工智能公司和公众更加意识到并关注红队工作的重要性。无论红队工作的当前效果如何,或者未来能否改进,它都有一些基本的逻辑和结构条件需要研究。从内容审核的经验中可以看出,发现和消除“不良因素”需要团队的讨论和价值判断。人们在前所未有的全球范围内、在众多机构环境中进行这项艰巨工作的具体条件,对于红队成员的职业健康以及我们的技术和信息生态系统的完整性都至关重要。

就像大多数数据工作一样,认为这种劳动只是暂时的、很快会被自动化取代的观点是错误的,这种观点(有意地)分散了对这些社会学问题的关注。很难相信我们能够在监管机构和公众的压力下,完全自动化这种具有争议性和变化性的判断。但即使未来可以实现自动化,现在仍然有真实的人在从事这项工作,并且这些工作具有实际后果。无论我们是否完全抛弃这种幻想中的完全自动化概念,或者只是承认数据劳动将在可预见的未来与我们共存,今天的研究都可以帮助以更加关注从事这项工作的人的福祉和劳动权利的方式来构建这项工作。事实上,我们不仅需要更多的关于红队的实证研究,还需要一个协调的学者网络来研究红队工作:作为多方面的实践,作为硅谷制度和劳动安排的一部分,作为全球公共卫生问题,以及作为隐藏在我们最新的表达和知识工具中的价值体系。在过去十年中,计算机科学领域开始认识到信息系统也是劳动系统和价值系统——像ACM公平、问责和透明度会议这样的不断发展的网络就说明了这一点——该领域正在以前所未有的方式应对这些影响。我们可以从内容审核的兴起及其相关研究中吸取经验:许多优秀的学者对内容审核的潜在逻辑和结构条件提出了质疑。然而,也许一个协调的学者网络可以深化、传播并确认这些见解,从而对这些安排产生更大的影响。

致谢:作者感谢Jordan Ali提供的反馈和研究协助。

作者信息:
Tarleton Gillespie是美国马萨诸塞州剑桥市微软研究院的高级首席研究员,同时也是美国纽约州伊萨卡市康奈尔大学传播学系和信息科学系的兼职教授。
Ryland Shaw(ryland.shaw@usc.edu)是美国加利福尼亚州洛杉矶市南加州大学安嫩伯格传播学院的博士生,在撰写本文时是微软研究院的博士后研究助理。
Mary L. Gray是美国马萨诸塞州剑桥市微软研究院的高级首席研究员。
Jina Suh是美国华盛顿州雷德蒙德市微软研究院的首席研究员。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号