《Behaviour & Information Technology》：End-user automation authoring in VR and AR through conversations: patterns, errors and user recovery strategies
编辑推荐：
为扩展现实（eXtended reality, XR）定义的自动化允许终端用户定制环境，但当前基于菜单的界面给终端用户开发者带来挑战。由大语言模型（Large Language Models, LLMs）驱动聊天机器人可简化自动化创建过程，然而用户如何表述其意
为扩展现实（eXtended reality, XR）定义的自动化允许终端用户定制环境，但当前基于菜单的界面给终端用户开发者带来挑战。由大语言模型（Large Language Models, LLMs）驱动聊天机器人可简化自动化创建过程，然而用户如何表述其意图仍待探索。本研究考察了终端用户在虚拟现实（Virtual Reality, VR）博物馆与增强现实（Augmented Reality, AR）智能家居中，通过一致任务集表达事件-条件-动作（Event-Condition-Action, ECA）自动化的方式。研究人员首先采用绿野仙踪（Wizard of Oz, WoZ）技术在研究中确定用户与假设智能体沟通方式并识别对话模式；在此基础上测试基于LLM的聊天机器人原型，揭示对话式自动化编写在XR场景中呈现一致的高层对话结构。与和人类智能体对话相比，同LLM交互引发更目标导向行为。错误分析表明系统错误更易导致级联效应，而用户对错误觉察有限。这些发现为XR环境中表达自动化的聊天机器人支持设计提供依据。
研究背景方面，终端用户开发（End-User Development, EUD）中基于规则的方法允许用户通过配置规则塑造系统行为，事件-条件-动作（Event-Condition-Action, ECA）范式在家居自动化与沉浸式扩展现实（eXtended reality, XR）中均有应用。现有工具多依赖可视化编程或受限语言模式（如if-this-then-that），将意图翻译为ECA规则对非技术用户存在抽象障碍。大语言模型（Large Language Models, LLMs）为自然语言对话式编写带来可能，但对话结构、模式与错误恢复机制在XR中尚缺系统刻画。为此，研究人员在《Behaviour》发表该研究，旨在填补这一空白。
关键技术方法上，研究人员先实施绿野仙踪（Wizard of Oz, WoZ）研究：在VR博物馆（14名意大利受试者，平均24岁，无编程经验为主）与AR智能家居（15名意大利受试者，40—62岁）中，由研究人员模拟LLM智能体与受试者完成熟悉化、简单ECA、复杂ECA、修改规则等6项任务，录制对话并依Braun与Clarke框架做演绎主题分析，计算阶段转移；随后基于Tell-XR原型（Carcangiu等2026）在真实VR/AR环境复测同类任务，对比LLM智能体与人类模拟智能体的差异，并对错误类型、级联性与用户恢复策略做定性标注。
研究结果部分，第3节WoZ研究显示：收集的VR规则112条（100条结构有效）、AR规则覆盖全任务且常将复杂目标拆为多条简单规则；对话可归为定义（Define）、探索（Explore）、细化（Refine）、确认（Confirm）、导出（Export）五阶段，VR共678次转移、AR共495次，主路径Define→Explore→Refine→Confirm→Export但含局部回环，VR细化回探索比例更高（8.4% vs 1.4%），AR确认回探索更多（8.1% vs 1.6%）；识别出Waterfall、ER-loop、Post-Confirm、No-R四种模式，ER-loop仅现于VR。第4节LLM原型研究印证五阶段结构跨模态稳定，LLM引导更目标导向。错误分析表明任务复杂度是主因，系统错误产生级联影响，VR更甚；两场景下用户错误觉察低且过度信赖系统。
讨论与结论翻译：研究人员指出，对话式自动化编写在XR中呈现可泛化高层结构（目标定义—对象探索—参数细化—规则确认—系统导出），LLM智能体比人类智能体促发更受引导的目标导向行为；系统错误易级联且用户恢复意识弱，意味着设计需内建显式确认、规则摘要与可逆修改。该工作首次系统刻画XR中自然语言ECA编写对话，为终端用户开发（EUD）提供聊天机器人支撑的设计原则，即透明化规则中间表示、支持多轮细化与用户侧校验，而非单次黑盒生成。
