《AI》：Cybersecurity Audit Readiness for Resilient Artificial Intelligence Systems: Status Quo and Future Directions
编辑推荐：
人工智能正日益嵌入日常运营，包括高度受监管和敏感的行业，如自主系统、法律实践、医疗保健和网络物理环境。与任何技术演进一样，其采用为运营效率和效益带来了机遇，但也带来了重大、复杂且隐蔽的网络安全问题。因此，网络安全审计就绪度已成为负责任和安全部署的关键，它需要在
人工智能正日益嵌入日常运营，包括高度受监管和敏感的行业，如自主系统、法律实践、医疗保健和网络物理环境。与任何技术演进一样，其采用为运营效率和效益带来了机遇，但也带来了重大、复杂且隐蔽的网络安全问题。因此，网络安全审计就绪度已成为负责任和安全部署的关键，它需要在人工智能的增强效益与健全的网络安全就绪度之间取得平衡，尤其是在没有哪个领域能免于这一浪潮的背景下。本研究系统评估了关于人工智能驱动系统的出版物中所报告的网络安全审计就绪度证据。遵循系统综述和荟萃分析优先报告条目（Preferred Reporting Items for Systematic Reviews and Meta-Analyses, PRISMA）框架，选取了22项研究，并使用涵盖八个评估维度的结构化网络安全审计就绪度算法（Cybersecurity Audit Readiness Algorithm, CARA）进行评估。九项研究（40.9%）报告的证据被归类为高就绪度，九项（40.9%）为中等就绪度，四项（18.2%）为低就绪度；这些分类反映了所记录证据的强度，而非经独立验证的运行成熟度。综合结果识别出关于治理整合、审计可追溯性、保证度量和持续监控的反复出现的挑战。作为回应，本研究提出了一个结构化研究议程，以推进可度量、可审计和网络弹性的人工智能系统的设计、评估与实施。
随着新冠疫情推动数字化转型，人工智能（Artificial Intelligence, AI）已从新兴概念发展为广泛部署的技术能力，广泛应用于自主系统、法律、医疗和网络物理环境等敏感领域。然而，AI的采用也引入了对抗性操纵、模型不透明、数据投毒等复杂网络安全威胁。现有文献多聚焦于利用AI增强网络安全，却较少系统审视AI系统本身是否具备支持网络安全审计的能力。因此，研究人员提出核心问题：现代AI系统是否内置了网络安全审计能力？能否在安全事件发生后协助调查？为回答该问题，研究人员采用系统文献综述（Systematic Literature Review, SLR）方法，遵循PRISMA框架，从学术数据库中筛选出22项研究，并使用自定义的网络安全审计就绪度算法（CARA）从八个维度评估每项研究报道的证据强度。结果显示，40.9%的研究为高就绪度，40.9%为中等，18.2%为低。进一步综合识别出治理整合、审计可追溯性、保证度量和持续监控等反复出现的挑战。基于这些发现，研究人员提出了一个结构化研究议程，旨在推动可度量、可审计且具有网络弹性的AI系统的发展。该研究的意义在于将AI采用从短期效率导向转向以审计能力为基本设计考虑的模式。
在方法上，研究人员首先采用PRISMA框架进行系统检索，使用布尔逻辑构建检索式，限定2021至2026年间发表于同行评议期刊或会议的英文全文文献，最终纳入22项研究。随后，研究人员设计了CARA算法，包含治理、风险管理、可审计性等八个评估维度，每个维度按0至3分评分，通过加权计算得到最终就绪度分数，并划分为高、中、低三个等级。该算法基于公开报道的证据而非独立运行验证，以减少评估主观性。
**5.1 系统综述结果**：通过PRISMA流程，22项研究被纳入。CARA评估显示，高、中、低就绪度分别占40.9%、40.9%和18.2%。结果表明，虽然许多研究报告了治理、可解释性和隐私保护等能力，但全面证据仍不足。
**5.2 讨论**：分三个子问题展开。
**5.2.1 研究问题1：文献中发现的与AI系统日益采用相关的网络安全威胁与挑战是什么？**：文献显示，AI应用集中在高度敏感行业（占86.4%），如医疗、金融、交通、智能电网和关键基础设施。AI扩展了攻击面，带来对抗性攻击、黑盒决策、数据完整性风险、治理碎片化和资源不足等挑战。同时，在保密性、完整性和可用性（CIA）三元组中，可用性常被优先考虑，导致安全设计原则未充分纳入。
**5.2.2 研究问题2：文献中研究的AI系统在多大程度上展现出支持网络安全审计就绪度的能力？**：40.9%的研究被归为中等就绪度，表明存在对保证能力的追求，但缺乏全面集成。部分研究展示了可解释AI（Explainable AI, XAI）、联邦学习、区块链可追溯性和隐私保护架构等技术，但未形成持续可审计的保证机制。
**5.2.3 讨论总结**：研究问题1和2的结果揭示AI采用的风险增长与保证机制成熟度之间的不平衡。59.1%的研究处于中低就绪度，说明需要从孤立控制转向集成、自适应、持续可审计的AI系统。
针对上述挑战，研究人员提出了六个主题的研究议程，包括：治理整合与碎片化、标准化审计度量、审计可追溯性与证据完整性、操作就绪度验证、对抗威胁与持续保证、监管协调与实用指南。这些主题旨在指导未来研究，推动AI在敏感行业中的负责任采用。
讨论部分强调，网络安全审计就绪度不是附加品，而是AI负责任部署的前提。研究结论指出，AI在敏感行业的采用日益增加，但网络安全考虑常被置于次要地位。系统综述显示，22项研究中9项高、9项中、4项低就绪度。这些结果反映的是文献报道的证据强度，而非实际运行成熟度。研究提议的研究议程有助于确保AI采用符合审慎原则，实现AI效益与网络安全保证之间的平衡。未来需要更多实证和实用的网络安全审计模型，以支持负责任的AI采用和持续保证。
