《Computational Visual Media》：Fighting AI-Driven Misinformation and Disinformation: Strategies and Technical Practices
编辑推荐：
研究人员（researchers）翻译摘要如下：人工智能（AI）正在改变工作、学习和沟通方式，在编码、翻译和创造力方面提供强大支持。与此同时，AI也极大地助长了错误信息（misinformation）与虚假信息（disinformation）的传播。本文为工程
研究人员（researchers）翻译摘要如下：人工智能（AI）正在改变工作、学习和沟通方式，在编码、翻译和创造力方面提供强大支持。与此同时，AI也极大地助长了错误信息（misinformation）与虚假信息（disinformation）的传播。本文为工程师和研究人员提供策略和实践指导。生成式人工智能（generative AI，GenAI）正迅速重塑工作、学习和沟通方式，解锁效率、创造力和自动化的新水平。从编写代码到翻译语言，其潜力非凡且不断增长。但AI的主导地位创造了一个新挑战——大规模生成和传播虚假信息与错误信息的能力。对于软件工程师和计算机科学家而言，这不仅是技术问题，更是伦理当务之急。如何构建告知而非误导的系统？哪些端到端治理方案能确保对信息技术的信任？什么机制有助于在日益合成的信息环境中导航？本期《Computer》特刊针对这些问题，提供检测和对抗虚假信息的实践见解，并提炼关键模式与反模式，帮助研究人员作为从业者、研究者或负责任创新者驾驭这一不断演变的领域。
**论文解读文章**
**研究背景与问题**
在信息传播的线性时代，信息经由报纸、广播、大学及公共机构等可信渠道流通，事实在被公众接触前已由把关人过滤、验证并置于语境中。然而，生成式人工智能（generative AI, GenAI）的普及彻底改变了这一格局：每个人同时成为消费者和发布者，传统把关人被削弱，情感驱动的叙事往往超越事实与相关性。深度伪造（deepfakes）和合成故事日益模糊真实与虚构的边界，侵蚀社会对机构、专业知识乃至共享事实的信任。在此背景下，错误信息（misinformation，无意图的虚假信息）与虚假信息（disinformation，有意图的误导信息）泛滥，对民主制度、网络安全、科学研究及社会信任构成系统性威胁。研究人员指出，AI不仅加速了虚假内容的生成规模，还通过算法放大其传播效果，使传统检测手段难以为继。为此，研究人员在《Computer》特刊中开展了一项综合性研究，旨在提供检测与对抗AI驱动虚假信息的技术策略和实践框架，其重要意义在于为软件工程师和计算机科学家确立从技术验证到伦理责任的系统性应对路径。
**关键技术方法**
研究人员为应对AI驱动的错误信息与虚假信息，主要采用了以下关键技术方法：1）基于RoBERTa模型的多领域专家集成系统，结合后门感知的持续学习（continual learning）实现AI生成文本检测；2）大规模多模态人类-AI交互数据集（MhAIM数据集，含超15万条AI生成帖及近9000条人工标注）构建，用于分析人类对多模态AI内容的感知；3）网络化威胁情报分析框架（cyber-turfing intelligence），将错误信息视为多维度网络攻击；4）通过实验研究社交媒体可信度指示器对用户分享行为的影响，检测用户动机推理（motivated reasoning）的作用。所有技术方法均强调真实部署与实证验证。
**研究结果**
**错误信息与虚假信息（Misinformation and Disinformation）**
研究人员通过对比两种信息类型的意图差异，指出虚假信息需更强防护与检测机制，而错误信息则可通过教育与改进审核流程应对。在AI辅助编码场景中（如GitHub Copilot），错误信息表现为模型产生不正确但非恶意的规则（如弱密码校验），而虚假信息则可能源自被操纵的大语言模型（LLM）故意注入后门代码。
**信任的互联网（The Internet of Mistrust）**
研究人员列举多项案例：AI生成代码占比高达41%（2024年），其中隐含逻辑炸弹、后门及间谍软件；GitHub发现数千个幽灵账户操纵仓库内容分发恶意软件；深度伪造技术用于语音视频克隆的社会工程攻击；国家行为体利用AI信息战（如乌克兰冲突）瓦解社会信任；科研领域出现大量AI生成的伪造论文与掠夺性期刊。针对每类威胁，研究人员提出了具体反制措施，包括静态代码分析、多通道认证协议、元数据与引用模式异常检测等。
**软件开发者对抗欺诈的角色（The Role of Software Developers to Fight Fraud）**
研究人员强调，当前工业环境优先部署速度而非安全性，导致GenAI系统输出的流畅但事实错误内容被轻易集成到软件中，引发“认知债务”（cognitive debt）和“数字健忘症”（digital amnesia）。近期证据表明，频繁使用AI与批判性思维能力下降显著负相关，用户认知卸载现象普遍（66%员工不经审核接受输出）。研究人员提出，不信任（distrust）本质上是软件工程问题，软件工程师应成为数字内容的创建者与验证者，通过统计异常检测、跨源验证、水印与区块链溯源等保障信息完整性。
**特刊概览（Special Issue Overview）**
本特刊收录四篇实证研究：1) Miller和Lin提出的多领域专家集成系统（基于RoBERTa），通过路由分类器和持续学习检测AI生成文本；2) Shen等人构建的MhAIM数据集揭示了人类在多模态（图文结合）条件下更易识别AI内容，尤其是存在不一致时；3) Sethurajan与Natarajan的联网威胁情报框架将错误信息视为网络化威胁，破解传统LLM检测器仅分析孤立文本的局限；4) Fan的研究发现可信度指示器对减少虚假信息分享的整体效果有限，用户更依赖标题而非视觉，且担忧虚假信息的用户仍可能因动机推理分享争议内容。
**讨论与结论**
在讨论中，研究人员指出深度伪造与情感极化内容可迅速破坏信任、动摇制度并引发暴力；单纯技术方案（如深度伪造检测器）因AI军备竞赛而不足，需结合技术、治理、教育与社会责任。最终结论翻译如下：民主需要自由、可信的表达和公开辩论。当数字技术通过虚假信息和错误信息扭曲公共话语时，我们需要确保底层IT系统的安全。这要求明确的伦理决策指南针——不仅是评估AI结果的批判性思维，更是一个准备捍卫民主话语免受操纵和侵蚀的活力社会。研究人员的任务是阻止虚假信息成为权力。目标不仅是构建能力强大的系统，更要确保它们产生可信信息。
