控制社区亟须参与AI安全对话:弥合术语鸿沟,贡献安全保证,推动跨领域协作与政策参与
《IEEE Control Systems》:Safety in Controls [President’s Message]
【字体:
大
中
小
】
时间:2026年09月22日
来源:IEEE Control Systems 6.3
编辑推荐:
**摘要:** 提供社会信息,可能包括新闻、评论或技术笔记,这些内容应对从业者和研究人员具有参考价值。
---
关于自主系统和人工智能(AI)驱动系统的安全,主流媒体和政策讨论似乎主要在缺乏控制社区参与的情况下进行,尽管控制领域的研究人员已经花费数十年为许多这些问题奠定了
**摘要:** 提供社会信息,可能包括新闻、评论或技术笔记,这些内容应对从业者和研究人员具有参考价值。---关于自主系统和人工智能(AI)驱动系统的安全,主流媒体和政策讨论似乎主要在缺乏控制社区参与的情况下进行,尽管控制领域的研究人员已经花费数十年为许多这些问题奠定了数学基础。在主流媒体中快速搜索有关自主系统和AI安全的近期文章[^1]后,我们发现(并不令人惊讶地)这些文章引用的专家们来自计算机科学、统计机器学习(ML)、自然语言处理以及公共政策等领域。作为一个社区,控制社区需要付出更大的努力来阐明其对安全的贡献,将其专业知识转化为更广泛的受众能够理解的语言,并更深入地参与公共AI安全讨论。在这个阶段,这可能不仅仅是一个错失机遇的问题,而是可以被视为一种职业责任。一个障碍是术语。媒体中最受关注的语言与控制工程师和研究人员使用的语言不同。例如,《国际AI安全报告》[^1]以通用AI系统的**能力、风险和管理**为框架来阐述问题,包括**网络滥用、生物**和/或**化学滥用、欺骗、隐私损害**以及**系统性风险**。同样,NIST AI风险管理框架[^2]将关键问题框定为**管理对个人、组织和社会的风险**,而非避免特定的物理事件和危害。或者,在控制领域,我们更倾向于讨论可量化、可证明和/或与物理相关的方法。在控制领域,以及在机器人和自主系统社区中,安全意味着闭环系统避免一组危险或禁止的状态。这正是安全关键控制、可达性分析、控制屏障函数(CBFs)和形式验证方法所蕴含的含义。安全保证可能表述为:**如果初始状态位于已认证的安全区域内,扰动是有界的,并且控制器正确实施,则轨迹将保持在安全集内**。这些方法被描述为对自主系统执行约束或维持安全集的不变性。在工程标准术语中,安全通常以风险而非集合不变性来定义。例如,ISO 26262将道路车辆的功能安全定义为因电气/电子或其他部件系统故障行为导致的危害而造成的**不合理风险的缺失**。这一定义强调安全并非零风险;考虑到危害的严重程度和发生可能性,安全是将风险降低到可接受的水平。当通过设计、测试、冗余、监控、认证和运行限制将风险降低到某个特定领域的阈值以下时,系统被认为是足够安全的。然而,在ML赋能的自主系统中,安全通常结合了以上两种观点。这里的担忧不仅在于控制器在已知模型下是否安全,还在于学习到的感知、预测、规划或决策模块在分布偏移、对抗性输入、罕见场景、传感器故障或混淆环境下是否安全运行。ML在自主系统中的安全通常旨在解决以下问题:1)系统在噪声、扰动、罕见事件和分布偏移下是否表现可接受?2)我们能否证明或界定学习组件或闭环系统的行为?3)系统是否针对现实和对抗性场景进行了测试?4)系统能否检测到自己是否超出了已认证的运行范围?5)是否有证据表明系统是足够安全的?"AI安全"通常比其中任何一个概念都更宽泛,且数学上不够精确。然而,在各种术语之下,存在共同的目标:在不可预测或对抗性扰动下,维持期望行为的有界偏差;系统行为在保持在可预测和/或预设集合内的意义下保证稳定性;此外还包括可纠正性,即当系统行为离开稳定区域或危险行为即将出现时,允许人工接管。这些正是控制社区有能力解决的目标。过去70年来,控制社区在航空航天系统、核动力系统、医疗设备、汽车和车辆设计以及化工过程控制系统等领域的安全性和鲁棒性方面,贡献了一系列严格的理论和应用工作,此处仅举其中一些例子(参见[^3]和[^4])。我们发展了Lyapunov方法、屏障函数和CBFs、可达性分析、鲁棒和H∞设计方法以及具有约束满足保证的模型预测控制。最近,我们一直在贡献一系列专门针对以AI和ML为中心的安全问题的分析研究;在IEEE Xplore上搜索显示,过去三到四年间CSS期刊和会议发表了超过600篇关于安全性和设计与分析保证的文章,在最近的ACC 2026上有安全关键设计的特邀研讨会,在ECC 2026上有类似的特邀和普通研讨会,并在ACC 2025上有George Pappas做主旨演讲,题为"面向AI安全的控制"。控制工程师实际上设计了商业航空、核动力和人们日常依赖的汽车控制中所使用的安全系统。当我们说"保证"时,指的是经过分析证明、针对真实硬件测试并针对真实故障模式验证过的内容。这段历史赋予了我们的定义以理论论证单独所不具备的分量。AI/ML和控制社区之间显然存在重叠和共同基础,一些概念差异正在多个方面趋于一致。共形预测、用作学习控制器安全过滤器的CBFs以及基于可达性的验证,都是ML和控制之间真正的接触点(参见[^5]);安全强化学习一直是ML和控制社区之间极其活跃的交叉领域。研究正在进行,连接已经存在,但即便如此,许多控制领域的工作仍只在我们自己的会议和期刊上发表,未能找到它们应该获得的更广泛的受众。语言问题持续存在,部分原因在于控制社区一直满足于在我们自己的期刊和会议内部完成翻译工作,服务于我们自己的成员。发表在《IEEE自动控制汇刊》上的随机CBF文章会被控制研究人员阅读;但从事学习控制器设计、最需要安全过滤器的ML研究人员或工程师很少会阅读它。解决方案要求我们做的不仅仅是技术工作;我们需要将翻译后的成果带到其他平台,带到标准制定机构,带到正在进行决策的政策讨论中去。AI法规正在被编写:例如欧盟AI法案、美国行政命令和NIST框架、以及ISO和IEEE标准制定过程中。最终写入这些文件的安全技术定义可能影响未来多年的研究优先级和行业实践。CSS成员应该为这些定义的制定做出贡献,以使最终形成的框架反映工程师们实际能够保证的内容。CSS希望支持此类努力,因此欢迎大家与我们联系,提出想法和评论,告诉我们如何促进和做出贡献。---## 控制领域的领导者在另一个话题上,2026年3月的一次全国电气与计算机工程(ECE)系主任会议上,我发现有相当多的控制领域人士担任这些领导职务,我想借此机会祝贺他们以及我们的社区对工程研究和教育领导力的贡献;见图1。**图1** ECE系主任和CSS成员(从左至右):Oscar Gonzalez、ShiNung Ching、Randy Beard、Edwin Chong、Pablo Iglesias、Geir Dullerud和Bruno Sinopoli。**Carolyn L. Beck***CSS主席*
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号