MindGuard：用于物理智能领域实时多模态威胁检测的嵌入式智能虚拟语言模型

《Neurocomputing》：MindGuard: Embedded agentic VLM for real-time multimodal threat detection in physical AI

　　摘要：随着服务机器人和自主监控代理等物理人工智能系统在公共空间中的广泛应用，确保与其交互的人类的安全与福祉成为一项重要挑战。现有方法通常分别处理语言威胁信号或视觉威胁，缺乏处理复杂现实场景所需的跨模态推理能力。在这项持续的研究中，我们提出了MindGuard，这是一种多模态智能体管道，通过文本和视觉信号的分层推理，实现心理与物理威胁的统一检测。该系统包含两个并行分支：文本分支结合关键词检测与经过微调的BERT分类器，用于评估心理健康威胁；视觉分支则结合实时物体检测与视觉语言模型，用于理解场景背景。这两个信号流由基于LLM的智能体融合，进行跨模态分析——例如，能够识别出“我想要死——在笑”搭配微笑的人是误报，而“我没事”搭配可见武器的情况则需要立即升级处理。该融合智能体会给出五级严重程度的统一决策，并以自然语言回应、适当行动以及带有摄像头截图的审计日志供人类审查。自主后台监控器可无需用户输入即可持续扫描环境，为物理人工智能系统的持续监控提供支持。我们在涵盖五种威胁类别的150个测试场景中对MindGuard进行了评估，其整体检测准确率为92.7%，而仅使用文本时为68.2%，仅使用视觉信息时为67.9%，同时通过跨模态验证降低了误报率。整个系统在本地硬件上运行，采用开源模型，无需依赖云端。我们通过在NVIDIA Jetson Orin AGX上对完整流程进行基准测试，验证了其在边缘设备上的部署可行性，端到端延迟仅为9.3秒，足以支持持续后台监控。记录下的交互数据可生成标记数据集，用于分类器重新训练，从而形成自我改进的安全系统，连接人工智能安全研究与实际物理人工智能应用。