网络打击儿童虐待的隐性权衡

《Communications of the ACM》：The Hidden Trade-Offs of Fighting Child Abuse Online

　　

编者按：本专栏讨论一个令人不安的话题：儿童性虐待。几十年来，计算专业人士总结了许多格言：不要自己编写加密算法；问题总是出在 DNS 上；时区很难；名字也很难。还有一条规则更黑暗但同样真实：在线服务的任何能够创建、传输、显示或存储数字文件的功能，都将被用于制作儿童性虐待材料（CSAM）。每年，在线服务发现并删除数千万件 CSAM,3 联合国（UN）将其定义为“以任何方式表现儿童参与真实或模拟的露骨性活动，或出于主要性目的表现儿童性部分的任何形象”。5（原定义使用“儿童色情”一词，现在不再使用，因为这暗示同意并淡化了涉及的罪行。）这不仅是社交媒体和云存储平台的问题，还涉及家谱、求职和电子商务等截然不同的服务。任何可以上传文件的地方都是潜在的虐待途径。

在线 CSAM 这一长期存在的问题源于人性，不仅仅是技术特性。CSAM 现在在世界上大多数地方都在文化上受到谴责并在法律上被禁止。尽管如此，人们认为 3% 到 9% 的成年人对儿童有性兴趣（即使许多人从未付诸行动），2 有些估计要高得多。此外，作为寻求利用数字服务的对抗性行动者，CSAM 犯罪者动机强烈、坚持不懈且富有创新精神，他们交换如何逃避检测的技巧。

由于这些原因，在线 CSAM 可能永远不会被彻底根除。但至少可以预见和减轻。许多服务提供商选择投入大量精力进行大规模检测、删除和报告 CSAM 以及其他与儿童性剥削相关的内容。

巨大的工程工作支撑着流行在线服务大规模下的自动化 CSAM 检测。这是通过已知 CSAM 的感知哈希加上使用机器学习（ML）分类器来标记尚未确认为 CSAM 的新内容来实现的。4

通过感知哈希，算法从图像文件中计算出一个称为“哈希”的指纹。（对于视频，系统更加复杂。）视觉相似的图像产生相似的输出，因此通过将文件的哈希与已确认 CSAM 的哈希列表进行比较，系统可以确定是否存在可能的匹配，即使文件已被部分修改（例如裁剪或更改为灰度）。两个哈希之间的“距离”是差异程度的度量。系统部署者设定匹配的距离阈值。阈值太低会产生假阴性，即漏掉实际的 CSAM；太高会将假阳性（非 CSAM）标记为匹配。

以前未见的 CSAM 尚不在任何哈希列表中。这就是 ML 分类器发挥作用的地方。这些算法在已标记的图像上训练（描绘婴儿、包含特定裸露身体部位等）。通过学习训练数据底层特征中的模式，分类器可以将新输入自动分类到某些置信度的类别中。人类反馈有助于提高分类器的性能。新发现的 CSAM 可以在人工审核添加到哈希列表中。

幸运的是，不需要每个提供商都重新发明轮子：微软、谷歌、Meta 和 Cloudflare 都使其工具可供更广泛的使用，以及其他知名度较低的名称，在一个致力于儿童安全的供应商和非营利组织更广泛的生态系统中。这些资源共同负责从互联网上清理数百万张虐待图像和视频——有时，还帮助受虐儿童获救。

这种集体努力的显著之处在于它是自愿的。尽管 CSAM 在全球非法，但隐私原则使政府无法要求提供商搜索用户的账户，然而许多提供商仍然选择这样做。这开启了其他艰难的决定，因为关于检测和报告的每一个选择都有伤害无辜者的风险，包括儿童、用户以及从事这项艰苦工作的人。但没有完美的解决方案可以在不影响任何人的情况下清除 CSAM。最好的提供商能做的是谨慎选择并试图将伤害最小化。

法律及其限制
在不造成过度隐私影响的情况下检测 CSAM 的挑战推动了重大的技术创新。但打击 CSAM 也引发了复杂的法律和政策问题，在涉及的技术考量之上增加了多个相互竞争的价值。

在某些方面，CSAM 的问题看起来相对简单直接。对于大多数材料，一种文化中不受欢迎的东西在另一种文化中可能被规范化甚至被推崇。一个司法管辖区禁止的东西，其他司法管辖区可能在言论自由原则下保护。有些问题逃避了广泛同意的定义；例如“错误信息”或“仇恨言论”。

相比之下，CSAM 不同于在线上的任何其他类型的内容。除少数国家外，所有国家都加入了联合国关于 CSAM 一般定义和非法性的协议。对于拥有全球用户的在线服务提供商来说，这种一致性是一大幸事。它让他们能够设定和执行全球适用的反 CSAM 规则，而无需通常应对不兼容法律制度和不同文化规范的复杂性。

如果每个人都同意 CSAM 是非法的，并且提供商自愿根除它的努力如此有效，那么建议如果主动检测是强制性的而不是选择性的，可以消除更多的 CSAM，这似乎是合乎逻辑的。然而，数字隐私权限制了国家强制侵入用户的在线账户。

在美国（大多数主要服务提供商所在地），只有自愿扫描 CSAM 才是合法的。这是因为宪法第四修正案下的隐私权阻止政府强迫私人主体无证搜查他人的财物。第四修正案禁止政府进行不合理的搜查和扣押；它不适用于私人主体。然而，政府不得要求私人主体执行其自身合法情况下也无法进行的搜查。这样做会将私人主体转变为政府代理人，其搜查必须遵守第四修正案。（这通常意味着获得搜查令，而私人实体无法做到。）通常，法院会驳回通过非法搜查获得的证据。

第四修正案的保护延伸至托管在私人公司的用户账户中的数字材料。国会在一部 2008 年的法律中承认了这一点，该法律对在线服务提供商施加了 CSAM 报告要求，同时强调这不是一个积极的监控义务（即它不将提供商转变为政府代理人）。a

在欧盟（EU），2002 年一项名为 ePrivacy 指令的法规甚至禁止自愿 CSAM 扫描。此前该指令的一项临时立法豁免曾允许自愿扫描。该授权在 2026 年因一项限制欧洲人电子隐私权并强制主动扫描已知 CSAM 的争议提案谈判崩溃而失效了三个月。被昵称为"Chat Control"的提案似乎违背了欧盟禁止在线内容一般监控义务的规定，法院和学者都指出这可能威胁基本权利。2026 年 7 月，该豁免被恢复，允许自愿扫描继续进行至 2028 年。与此同时，在英国（U.K.），政府在脱欧后撤回了与主动监控要求不相容的一些欧盟法规。随后，英国提议在某些情况下强制特定类型的服务提供商进行基于感知哈希的 CSAM 主动检测。

许多其他国家也对提供商施加了重要的儿童安全相关要求。但这些例子表明，尽管全球就 CSAM 的非法性达成一致，但在科技公司服务被利用来传播它时的适当角色上，存在充分的不一致。在没有统一框架规定其责任的情况下，提供商必须自己做出艰难的决定。

反虐待系统中的伦理考量
为了应对 ePrivacy 豁免的到期，几家最大（且财力最雄厚）的美国科技公司誓言继续在欧盟进行自愿扫描，本质上是在激怒监管机构惩罚他们。无论其他什么考量可能促成了这一决定，他们愿意以打击 CSAM 的名义公然违背欧盟法律，揭示了儿童安全工程工作深刻的伦理组成部分。

当提供商决定如何处理 CSAM（事实上是否进行主动检测）时，这一决定涉及人类尊严和福祉、身体自主权、隐私、言论自由以及数据所有权利益的考量。这些利益在 CSAM 检测背景下发生冲突，在那里停止儿童受害受到高度重视，但同样重要的是尽量减少对无辜用户权利的侵犯。

此外，发现和报告 CSAM——如果提供商停止扫描，这将更多地落在用户身上——本身就是有害的。儿童不是 CSAM 伤害的唯一人群：审核由检测系统标记的文件内容的审核员经常出现心理问题，包括抑郁、焦虑和创伤后应激障碍。这些工人通常是生活在非洲、印度或东南亚的外包商，企业办公室里的工程师和高管看不见他们。这项工作可能数量大得难以维持却岌岌可危，工资低且几乎没有心理健康支持。对抗儿童剥削的前线工人 themselves 正在被剥削。在一些地区，工人已开始通过组织和提起诉讼来反抗，要求改善工作条件。

对于报告检测到的内容（如美国法律要求），自动化可以减轻这种人力代价。事实上，在主要提供商的规模下，自动工作流是完全必要的。但完全自动化报告没有人工审核是可行的，至多仅适用于已知 CSAM，那里高度可靠的感知哈希算法将某些东西标记为与以前确认为 CSAM 的已知材料的匹配。（即使在那时，有时也会有关于哈希列表和常用感知哈希算法可靠性的问题。）

当 ML 分类器标记新的疑似 CSAM 时，人工审核必须确认分类器是否正确。（在人工审核不明确的情况下，是否报告通常由政策决定。）如果是，这是在线上的一个较少的虐待内容实例，但它仍然伤害审核员。如果不是，审核员帮助分类器改进，但仍然侵犯了用户的隐私，用户可能没有期望某个陌生人看到他们的云上传或电子邮件附件。

这种侵犯可能比替代方案更可取：如果提供商报告假阳性，它可能给用户带来严重后果。后果可能从失去访问重要在线账户的权利（因为提供商通常暂停或终止被标记为 CSAM 的账户）到警察或儿童保护服务的调查，对用户生计、家庭和声誉产生潜在连锁影响。

另一方面，将 CSAM 检测系统配置为允许更多假阴性意味着错过真正的 CSAM 实例，并可能允许正在进行的儿童虐待未受检测地继续。权衡这些考量，提供商合理地倾向于选择假阳性而不是假阴性。

这种选择有系统性成本。假阳性迫使接收疑似 CSAM 报告的当局分离小麦（真阳性）和谷壳（假阳性），分散了本可用于实际调查的时间和资源。随着 AI 越来越多地取代人工审核员，这个问题已经加剧。据报道，被 ML 分类器错误标记后自动报告的文件已经开始淹没调查员。

他们应对的选项有限。提供商的报告送往华盛顿特区附近一个国会指定的信息中心，失踪和受剥削儿童全国中心（NCMEC），它将每个报告路由到适当的执法机构。但这不一定能抓住假阳性：由于一系列关于第四修正案的法院决定，包括一项认定 NCMEC 为政府代理人的决定，NCMEC 不打开未经审核员审核的报告文件。（政府及其代理人可以无证重复，但不能超越私人主体已经独立进行的搜查。）

出于同样的原因，NCMEC 和美国执法部门也不会直接告诉提供商改变他们的做法。如上所述，自愿性在美国法律下至关重要，因此最好避免对提供商施加压力的任何表象。如果提供商成为政府代理人，其 CSAM 扫描成为违宪搜查，其结果不可采，这将危及起诉。

无人愿意承担此风险，因此 NCMEC、执法部门及立法者的手脚在很大程度上被束缚住了。这意味着提高机器学习分类器的准确性，依然不是一项强制要求，而是一种选择，且是一种在伦理上充满争议的选择。AI 训练行业已经复制了内容审核中剥削性的劳工做法。此外，训练分类器以区分真阳性和真阴性，传统上涉及未经被描绘者授权或提供报酬而使用 CSAM 以及合法裸体图像（包括成人色情内容）。一些评论员已开始挑战这一惯例，并呼吁改变计算机研究实践。但要为支撑现有 CSAM 检测系统的所有图像和视频获得追溯性许可是不可能的。

结论

设计和实施用于 CSAM 检测、审查和报告的系统，既是一项伦理挑战，也是一项工程挑战。在每一个步骤中，计算专业人员都必须顾及人的尊严：包括那些出现在虐待内容中的人、那些被用作 AI 训练原料的人、那些将隐私托付给在线服务的人、那些被误报所累的人、那些必须将查看 CSAM 作为工作内容一部分的人、那些无意中在网上接触到 CSAM 的人，以及那些帮助受 CSAM 伤害者的人。虽然没有正确答案，但错误答案却不胜枚举。这归根结底是一系列的权衡取舍。

Riana Pfefferkorn ([e-mail]) 是美国加利福尼亚州斯坦福大学以人为本的人工智能研究所的政策研究员。

我借此纪念最近去世的叔叔 Charles Pfefferkorn，他为美国最早的计算机科学博士学位之一完成的论文研究曾刊登在 1975 年 5 月的《Communications》期刊上。

本评论专栏的原始版本指出联合国目前使用“儿童色情”一词。尽管所引用的议定书使用了该术语，但联合国现在使用首选术语“儿童性虐待材料”。本专栏的在线版本已相应更新。