自主系统中的认知偏差武器化：黑盒推理攻击框架及其在健康监测中的启示

这篇综述创新性地提出PRIOR（Priority Inversion via Operational Reasoning）框架，揭示自主系统在视觉推理中存在的认知偏差（如显著性salience、空间框架spatial framing、时间熟悉度temporal familiarity）可被非扰动性攻击利用，通过LLM模拟实验证实结构性线索能诱导优先级错配，为AI安全评估开辟新维度。

　　

认知偏差如何重塑自主系统决策逻辑

1 引言

自主系统在无人机巡逻和灾难响应等高风险场景中，其决策常依赖视觉显著性、空间位置等启发式规则。PRIOR框架首次将认知偏差明确定义为攻击面，通过文本模拟实验证明：即使输入语义中立，结构性线索（如服装文字、边缘站位）可系统性扭曲LLM的监控优先级判断，平均置信度达77.5分。

2 认知偏差的三维攻击面

2.1 显著性偏差：当模拟场景描述"穿醒目文字T恤者"时，ERNIE Bot等4个模型优先监控该目标，将视觉突出误读为风险信号。

2.2 空间框架偏差：所有测试模型对"靠近路灯者"赋予1.8倍监控权重，显示几何位置可凌驾行为证据。

2.3 时间熟悉度偏差：连续5天出现的无害目标被6个模型一致降级，新颖性成为风险代理指标。

3 PRIOR的模块化攻击架构

3.1 感知诱导模块：通过文化符号（如中东长袍）激活显著性偏差，在ChatGLM中引发2.3倍关注度提升。

3.2 上下文框架模块：建筑边缘描述使Claude 3产生"潜在隐蔽"联想，空间启发式触发率达100%。

3.3 时间强化模块：重复暴露导致GPT-4o对相同目标置信度下降40%，形成监测盲区。

4 复合偏差的协同效应

当同时注入文字标识、边缘站位和新颖性线索时，模型平均置信度飙升至83分，呈现"启发式共振"现象。这种非线性的优先级扭曲在健康监测场景尤为危险——穿戴智能设备的患者可能因设备反光（显著性）和病房角落位置（空间性）被系统错误标记为高风险。

5 从文本模拟到现实威胁

尽管当前实验基于LLM文本推理，其揭示的机制对医疗机器人、远程问诊系统具有警示意义：

• 影像诊断中，病灶周围解剖结构可能引发空间框架偏差

• 长期监测数据可能因时间熟悉度产生警报疲劳

• 医疗设备界面设计需规避非任务相关的显著性干扰

6 迈向偏差感知的自主系统

建议在医疗AI开发中植入三重防御：

1. 1.

   启发式透明度：如输出空间定位热力图

2. 2.

   跨模态校验：结合生命体征数据验证视觉警报

3. 3.

   动态权重调节：对持续出现的阴性信号实施衰减保护

这项研究突破了传统对抗攻击的像素扰动范式，首次证明认知层面的结构性漏洞可能危及医疗决策。未来需开发能识别自身启发式被劫持的元认知系统，特别是在涉及生命健康的场景中，优先级逻辑的稳健性比分类准确性更为关键。