### “应对在线数字污染”特刊：深度伪造、虚假信息、数字两极分化

《IEEE Internet Computing》：Special Issue on Tackling Online Digital Pollution: Deepfakes, Disinformation, and Digital Polarization

　　摘要：本期特刊探讨了生成式人工智能时代日益增长的在线数字污染挑战。收录的文章突出了数字威胁从孤立欺骗性制品向复杂的互联影响生态系统演变的过程，这些系统融合了生成式人工智能、社交媒体和多模态内容操纵。这些贡献强调了跨学科方法的必要性，通过结合人工智能和社会计算，以更好地理解、检测和缓解新兴的在线欺骗和极化形式。在生成式人工智能时代，数字内容的创建和操纵已达到前所未有的规模、逼真度和自动化水平。由大语言模型和深度伪造生成器驱动的技术现在能够生产高度可信的合成媒体（即文本、音频、视频和图像），日益模糊事实与虚构之间的界限。虽然这些进步为创造力和创新带来了新的机遇，但也创造了强大的新欺骗、操纵和影响向量。合成内容可以被生成、个性化和传播的规模挑战了传统的验证和信任方法，助长了虚假信息传播、公共话语扭曲以及在线平台数字极化的加剧。随着此类内容在社交媒体、新闻媒体、消息应用和在线社区中激增，现有的审核和信任机制正难以跟上步伐，给内容认证、平台治理和数字信息生态系统的韧性带来了关键挑战。到2035年，皮尤研究中心调查的专家预计，人工智能和数字技术的进步将显著加剧深度伪造、虚假信息、定向操纵和算法放大的极化传播，使可信信息更难识别，进一步侵蚀公众对机构和民主话语的信任。他们还警告称，日益复杂的大规模监控系统、自动化影响活动和AI驱动的内容生成可能加深社会分裂，并创造一个污染更严重的数字信息生态系统，其中欺骗行为以前所未有的规模和逼真度运作。近期的分析突出了AI赋能的认知操纵和合成媒体在塑造在线虚假信息活动中日益增长的作用。通过利用心理画像、情感定向和日益逼真的AI生成内容，恶意行为者可以以前所未有的规模影响公众意见，进一步加剧数字极化并侵蚀对在线信息生态系统的信任。这一趋势强调了开发有效方法来检测、缓解和治理在线数字污染（包括深度伪造和虚假宣传活动）的紧迫性。2026年全球风险报告进一步证实了这些担忧，该报告将AI驱动的虚假信息和虚假信息列为最重要的全球风险之一，并警告称合成内容、深度伪造和算法放大的叙事快速蔓延威胁着社会信任、民主进程和社会凝聚力。《IEEE Internet Computing》本期特刊汇集了从互补视角研究在线数字污染的成果，涵盖从在线互动和信任关系的操纵，到影响活动的编排以及被操纵视觉内容的分析。总体来看，这些文章说明了现代信息威胁日益在互联网生态系统的多个层面运作，结合了人为、社会和技术因素。这些贡献强调，挑战已不再局限于识别个别深度伪造或误导性帖子，而是理解和缓解复杂的社会技术生态系统，在这些系统中，生成式人工智能、影响操作和多模态内容操纵相互作用，塑造认知、行为和社会话语。第一篇文章"攻击前的暴露：网络中介系统中的生成式条件作用"引入了生成式条件作用的概念，描述了与AI生成内容的持续互动如何能够逐渐重塑信任和验证行为，即使没有任何明确的欺骗行为发生。作者认为，生成式系统通过实现持久、自适应和上下文感知的互动，改变了在线欺骗的动态，这些互动随时间推移影响着组织的决策过程。第二篇文章"社交网络中的影响操作"为协同影响活动提供了结构化的视角。基于DISARM框架，作者推导出一组高层级影响策略，并通过分析现实世界中的外国信息操纵和干预（FIMI）事件对其进行验证。他们的发现表明，影响操作日益结合多种策略和战术来操纵叙事、放大内容并在社交媒体平台上塑造公众意见。第三篇文章"评估俄罗斯 troll 活动中被操纵图像的图片伪造检测和宣传"聚焦于在线操纵的视觉维度。作者评估了最先进的图片伪造检测技术，并将其应用于对2016年美国总统大选期间与俄罗斯 troll 活动相关的大量被操纵图像的大规模分析。他们的工作揭示了当前检测方法的机遇和局限性，同时揭示了被操纵的视觉内容如何被用来支持更广泛的宣传目标。总之，这些贡献突出了在线威胁性质的重要转变。数字污染不再局限于个别虚假或被操纵的内容。相反，它从复杂的社会技术系统中涌现出来，在这些系统中，AI生成的互动、协同影响操作和多模态操纵相互加强。应对这些挑战需要跨学科方法，结合人工智能、社会计算和政策的进展。我们希望本期特刊中的文章能激发对该领域的进一步研究和讨论。随着生成技术的不断演进，理解和缓解数字污染传播机制仍将是一个核心挑战，无论是研究人员、从业者、政策制定者还是平台运营者都面临着同样的困境。我们感谢所有作者做出的宝贵贡献，感谢审稿人提出的深刻反馈，以及感谢《IEEE Internet Computing》编辑委员会为出版本期特刊所提供的支持。附录：相关文章A1. E. James, I. Bongiovanni, M. Glencross, and L. Brace, "攻击前的暴露：网络中介系统中的生成式条件作用," IEEE Internet Comput., vol. 30, no. 4, pp. 8–17, Jul./Aug. 2026, doi: 10.1109/MIC.2026.3710682.A2. J. Pastor-Galindo, P. Nespoli, J. A. Ruipérez-Valiente, and D. Camacho, "社交网络中的影响操作," IEEE Internet Comput., vol. 30, no. 4, pp. 18–27, Jul./Aug. 2026, doi: 10.1109/MIC.2026.3700710.A3. B. I. Mohammed, Y. M. ?etinkaya, and T. Elmas, "评估俄罗斯 troll 活动中被操纵图像的图片伪造检测和宣传," IEEE Internet Comput., vol. 30, no. 4, pp. 28–37, Jul./Aug. 2026, doi: 10.1109/MIC.2026.3702065.