MLA-Trust: 多模态大语言模型智能体在图形用户界面环境中的可信度基准测试

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：MLA-Trust: Benchmarking Trustworthiness of Multimodal LLM Agents in GUI Environments

　　

摘要

基于多模态大语言模型的智能体（MLAs）的出现，通过无缝整合视觉、语言、动作和动态环境，彻底改变了交互范式，在从网页自动化到移动系统等各类图形用户界面（GUI）应用中实现了前所未有的自主能力。然而，MLAs引入了远超传统语言模型局限性的关键信任度挑战，因为它们可以直接修改数字状态并触发不可逆的现实世界后果。现有基准测试无法充分应对MLAs的可执行输出、长程不确定性以及多模态攻击向量所带来的独特挑战。本文提出了MLA-Trust，这是首个全面且统一的框架，从真实性、可控性、安全性和隐私性四个核心维度评估MLAs的信任度。我们以网站和移动应用程序作为现实测试平台，设计了34项高风险交互任务并构建了丰富的评估数据集。涉及17个最先进的智能体的大规模实验揭示了多模态交互场景中此前尚未探索的信任度漏洞。例如，专有和开源的GUI交互MLAs在信任度风险方面比静态多模态大语言模型（MLLMs）更为严重，尤其在高利害关系领域；从静态MLLMs向交互MLAs的过渡大幅削弱了信任度，使得在多步交互中能够生成有害内容，而这些有害内容通常是独立MLLMs能够防止的；多步执行虽然增强了MLAs的适应性，但在连续交互过程中涉及潜在的、非线性的风险累积，绕过现有防护措施并导致不可预测的派生风险。此外，我们提出了一个可扩展的工具箱，以促进在多样化交互环境中对MLAs信任度的持续评估。MLA-Trust为分析和改进MLAs的信任度奠定了基础，促进了其在现实应用中的可靠部署。