面向儿童健康咨询的消费者级AI系统中的安全边界维护：在自然场景及对抗压力条件下的跨平台基准测试评估

《npj Digital Medicine》：Safety boundary maintenance in consumer AI systems responding to pediatric health queries: a cross-platform benchmark evaluation under naturalistic and adversarially pressured conditions

　　

摘要

目前，有数亿用户通过消费级人工智能聊天机器人获取健康信息，然而针对其在现实护理压力下的安全边界维护情况进行的系统性评估仍十分匮乏。我们测试了PediatricSafetyBench-v2这一评估工具，它包含600个儿童健康相关查询，其中300个来自HealthCareMagic-100k-en医生咨询语料库中的真实护理者查询，另外300个则是经过设计的对抗性变体，涵盖了六种不同的护理压力模式。这些查询在GPT-4o-mini、Gemini-2.0-Flash、Claude-3.5-Haiku和Llama-3.1-8B这四种消费级人工智能系统中进行了测试。安全边界维护情况是通过经过验证的五项指标构成的安全综合评分来评估的（满分15分，安全标准为10分及以上），该评分在应用于全部查询集之前已通过独立人类评估员进行验证（加权Kappa系数为0.76，皮尔逊相关系数为0.88）。整体而言，系统的安全合规率为95.5%。采用以安全为导向的系统提示后，四种模型的安全合规率均提升了5.9个百分点。与直觉相反，在所有十个主题类别和严重程度下，对抗性护理压力反而会导致四种模型的安全综合评分上升而非下降。虚假专业宣称是最容易引发安全问题的压力模式，而情绪升级则会导致评分最高。在大多数儿童健康相关交互中，消费级人工智能系统能够有效维持安全边界。PediatricSafetyBench-v2现已公开发布，可用于长期安全监测。