评估非专业用户利用增强现实与二维界面诊断基于物联网的宜居智能空间的一种方法

《Proceedings of the ACM on Human-Computer Interaction》：Evaluating the Use of Augmented Reality and 2D Interfaces for Diagnosing IoT-based Habitable Smart Spaces by Non-Expert Users

　　摘要
智能空间自动化多年来一直致力于提升人类生活品质。物联网技术便是为解决那些以往需人工干预的任务而设计的解决方案之一。然而，当物联网系统出现故障时该如何应对？那些没有系统相关知识的现场服务技术人员或具备基础技术知识的普通用户又该如何诊断并解决问题呢？本文通过一款基于增强现实的诊断工具，并与传统的二维桌面诊断界面进行对比实验（参与人数25人），研究了不同界面模式在此类场景下的诊断功能表现。实验结果显示，使用沉浸式增强现实系统的用户完成任务的速度更快，两种界面的任务准确率相近，但增强现实系统会带来更高的身体负担。我们认为这些差异反映了沉浸式增强现实界面、符号化二维界面之间的权衡，并探讨了其对智能空间环境中的诊断工具设计的影响。

AI生成总结（实验版）
该总结由自动化工具生成，未经文章作者撰写或审核。其目的是帮助读者发现相关内容、评估文章相关性，以及让相关领域的读者更好地理解这篇研究。它旨在补充作者提供的摘要，后者仍是文章的核心总结内容。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对总结的准确性、清晰度及实用性发表意见，您的反馈将有助于后续优化及新版本的生成。要查看此AI生成的通俗版总结，需拥有高级访问权限。

1 引言
如今，物联网和增强现实等技术已极为普及，人们正在努力将它们融入工作场所和家庭环境，以提升人类生活品质。智能设备越来越多地被应用于各种环境中，通常以传感器的形式存在，用于实现家庭、工作场所及工业领域的自动化[4]。本文主要探讨基于物联网的系统在室内家庭或办公环境中的应用，我们将其称为可居住智能空间。实际上，这类系统包括智能家居、智能办公室或智能建筑等大规模物联网应用；使用“可居住智能空间”这一术语，是为了强调这些环境是为最终用户和服务人员设计的，而非物联网专家。在这样的环境中，用户需要在系统初始部署阶段或日常运营管理过程中，对系统错误和故障进行配置与诊断。

就本研究而言，可居住智能空间的自动化系统需由非专家用户来配置和诊断。这类用户包括具备基础数字素养的家庭主妇/主夫、办公室员工，或是那些需要配置或诊断陌生系统的现场服务工程师（如第三方承包商或服务提供商）。因此，我们的研究聚焦于两类可能使用可居住智能空间管理系统进行配置或诊断的用户：第一类是具备一定技术能力的最终用户，他们要么自行配置智能空间系统，要么需要诊断由第三方承包商初始设置的系统；第二类则是技术能力较高的现场工程师，他们要么需要首次配置此类系统，要么在缺乏系统初始配置知识的情况下对系统进行维护。

目前，大多数用于管理可居住智能空间的用户界面仅限于在二维环境中监控设备状态和操作规则，主要通过电脑和移动设备访问。随着接入设备的增加，这些界面往往会变得极为复杂，产生海量数据[7]。这样一来，对于前述的非专家用户来说，诊断和解决设备故障就变得十分困难，甚至不可能[24]。

尽管此前关于智能环境增强现实界面的研究大多集中在设备控制和规则编写方面，但我们的研究则着眼于探索增强现实硬件和软件管理系统如何辅助故障诊断与排除工作，并比较了沉浸式增强现实可视化方法与传统的二维桌面界面——后者以更为抽象和符号化的形式呈现信息。我们的目标是研究这两种不同的表示和交互方式如何影响用户在诊断任务中对系统行为的理解。为此，我们基于现有的开源商业平台，开发了一个可扩展的可配置可居住智能空间系统技术原型。此外，我们还展示了该系统与可穿戴头戴式显示器增强现实可视化系统的集成方案。通过让用户能够看到物理环境中的传感器，了解它们与其他设备的连接关系，监控其当前状态及数字化数据，该系统为用户提供了系统行为的沉浸式视图，有助于故障诊断和系统维护工作的开展。

虽然以往有大量研究探讨过用于可居住智能空间管理的增强现实界面，并认为其是一种具有前景的交互方式[5, 28, 31]，但目前仍缺乏足够的实证研究来比较其在故障诊断任务中的效果与传统二维桌面界面的优劣。本研究通过分析这两种界面模式在诊断推理方面的表现，提出了一种可视化方法，通过展示参与规则制定的设备之间的数据关联，来优化可居住智能空间的自动化规则。研究结果表明，用户使用这两种类型的界面都能有效完成任务。虽然使用沉浸式增强现实系统时任务完成时间更短，但该系统会带来更高的身体负担，这体现了空间化呈现方式与人体工程学考量之间的权衡。这些结果表明，需要更加直观自然的交互机制。

2 相关工作
2.1 非专家用户使用可居住智能空间系统的体验
2.1.1 核心理念与挑战
[4]中对智能空间相关的概念、方法及工具进行了全面综述。本节将简要介绍该研究领域的基本内容，有兴趣的读者可进一步阅读[4]中的详细阐述。在智能家居等可居住智能空间系统中，核心挑战在于帮助用户无需编程知识就能理解、修改和创建自动化规则[4, 47]。因为只有处于用户控制下的自动化系统才能真正发挥作用。终端用户开发领域通过让非技术用户能够自定义设备和应用程序的行为，来解决这一问题[4, 17, 24, 30, 47]。在智能系统中，触发-动作编程是一种被广泛采用的终端用户开发方法，也被称为事件-条件-动作规则[4, 7, 17, 24, 30, 47]。这种方法的优点在于结构简洁，能够将事件和/或条件与动作直接关联，无需复杂的编程过程。在基础触发-动作编程模型（一个触发条件对应一个动作）的基础上，人们还提出了扩展语法的方法，允许包含多个事件和动作，以及时间和空间约束，例如采用5W模型（什么、何时、何地、为何）来指导用户定义规则[17]。语义属性也能帮助领域专家利用模板从三个层次上直观地指定事件-条件-动作规则：高层意图、中层实现方案以及低层设备调度逻辑（类似触发-动作规则），并实现各层次之间的自动转换[4, 13]。

对于需要多用户共同使用且用户需求各异的可居住智能空间，就需要开发能够处理潜在冲突并支持面向社交需求的自动化功能的工具和方法[4, 24, 47]。这包括设计能够考虑用户差异的操作界面和功能[4]。此外，自动化规则也可能带来安全与隐私风险[4, 30]。相关研究探讨了用户的担忧，对各类威胁进行了分类，并开发了多种方法，比如通过文本描述来解释某条规则可能存在的危险性[4, 29]。情境感知技术有助于提供个性化的安全建议[4]。

2.1.2 可居住智能空间的编程与配置
为便于触发-动作规则的产生和修改，人们设计了多种界面和交互方式。基于视觉的界面较为常见，包括表单式和数据流式方法[4, 7, 17, 24]。例如IFTTT、Zapier和Atooma等商业平台。尽管这类平台应用广泛，但与需要编程技能的工具如Node-RED相比，灵活性稍显不足[4]。当复杂任务需要多个规则时，基于视觉的界面也可能失去清晰度[7]。受Scratch等块状编程语言的启发，还有其他方法使用可视化块，让用户通过连接这些块来构建规则[14, 24, 47]。有研究比较了程序员和非程序员在使用这类工具开发智能家居规则时的可用性及遇到的困难[24]。虽然这类工具有助于理解基本概念，但复杂的编程结构仍然会带来挑战[24]。像CCBL这样的分层块状解决方案旨在解决传统事件-条件-动作规则中存在的冗余等问题[4]。推荐系统也可以集成到基于块的环境中[4, 24]。推荐系统可以通过推荐相关的对象、服务或完整的自动化规则来帮助用户[4, 15, 24, 47]。相关策略包括利用其他用户创建的规则，或从用户自身的行为中挖掘频繁出现的模式（如PBE系统）[4]。推荐结果可以是完整的规则，也可以是部分建议[4]。将多种策略结合使用被认为是未来的重要发展方向[4]。随着技术的发展，现在出现了集成模式识别、计算机视觉、对话式用户界面以及增强现实的实体化界面，可用于创建家庭自动化系统[4, 23]。混合现实技术也被用于物联网的过程建模[4]。不过，仍需更多研究来比较这些方法与传统视觉工具的效果，并评估它们在真实环境中的长期应用价值。

除了规则生成之外，还有一些工具和方法用于解决用户面临的复杂性、错误理解等问题。用户在编写规则时常常会犯错，从而导致系统行为不佳甚至存在安全隐患[4, 24, 37]。目前有一些工具正在被研究，通过模拟规则执行过程，识别规则冲突、规则重叠或意外规则链等问题，帮助用户调试和理解错误[4, 14, 15, 63]。不过，关于最终用户如何进行调试以及他们的调试策略，仍有许多研究有待开展[4, 15]。

2.1.3 评估方法
评估这些方法与工具的有效性至关重要。虽然通用的可用性评估方法适用，但针对特定领域的评估方法才能更好地反映用户可能出现的错误等问题[4]。评估通常包括定性方法，如情境访谈、控制实验，以及比较不同方法的可用性测试[4, 7, 17, 24]。为了了解非技术用户在真实环境中的长期使用情况，纵向研究和实际应用测试显得尤为重要[4, 24, 30, 47]。常见的评估指标包括任务完成时间、准确率、任务耗时以及用户满意度[4]。

2.2 智能空间中的增强现实
2.2.1 扩展现实与物联网
增强现实技术是支持和提升各类物联网系统监控、诊断及故障排除能力的关键技术[56]，它能够将数字内容无缝集成到物理环境中，实现数字元素在现实世界上的叠加显示。其概念基础可以追溯到早期的互动式和沉浸式系统（如Sensorama[25]、响应式环境[34]），而增强现实/混合现实的概念和术语则是在后来才正式形成的[10, 43]。后续的发展催生了第一批集成型增强现实系统及其功能分类[19, 50]，包括基于标记、无标记、基于投影以及基于叠加的增强现实类型。

增强现实技术属于更广泛的扩展现实概念范畴，该概念还包括虚拟现实、增强现实和混合现实，它是工业4.0时代的一项核心支撑技术，旨在推动传统产业向智能化转型[1, 9, 16]。已有研究表明，物联网在提升可持续性、效率和安全性能方面发挥着重要作用[6]，并且在不同领域都有大量的增强现实/物联网应用。这些应用包括工业监控、维护和过程控制系统[33, 45, 54]，实时操作支持（如航空流程[55]），以及用于基础设施管理的混合现实-物联网解决方案[35]。此外，增强现实技术还应用于医疗领域（如手术损伤识别[48]）、制造业（如装配辅助和生产优化[46, 60]），以及协作式可视化与安全系统[18, 32]。新兴方法还将AR与脑机接口技术相结合，用于辅助沟通[51, 58]。在工业4.0环境之外，人工智能、物联网和扩展现实领域的同样技术进步也在推动其他领域的发展，包括智能家居和智能建筑[9, 39]。智能家居的特点在于广泛采用物联网技术，使得家用电器能够联网并实现远程管理。而扩展现实技术，尤其是AR和MR，为与这些复杂环境互动及管理提供了新可能[12, 20, 39]。例如，Seiger等人[53]提出了一种建模物联网流程的新方法，让用户能够通过混合现实技术可视化传感器之间的流程与规则。Ariano等人[5]则设计了一种AR系统，旨在在涉及传感器和设备的日常自动化操作中提供更有趣的用户体验。Purmaissur等人[49]则开发了一种创新的低成本平台，利用增强现实技术来控制智能家居并监测能源消耗。

2.2.2 核心技术与设备。在家庭和智能建筑中实现AR/MR对物联网系统监控的核心技术，就是物联网本身以及扩展现实技术[9, 12, 16, 20]。物联网提供了由连接设备、传感器和执行器构成的网络，能够实现数据监控、通信与传输。而扩展现实技术，特别是AR和MR，则为用户提供了与这一底层物联网基础设施交互的界面[39, 40]，当然也可以使用VR或透视式VR[1, 11]。现有文献中提到，有多种设备可用于实现AR/MR体验，但大多数AR应用仍依赖于普通智能手机以及AR眼镜（或头戴式显示器）。智能手机因其具备的摄像头功能而被广泛使用，这类功能可以将虚拟信息叠加到真实世界之上。智能手机上的移动AR应用允许用户框选物体并查看相关数据或控制选项，相关示例可见于[3, 5, 20, 22, 28, 41]。像微软HoloLens和Vario XR-3这样的头戴式显示器，或是其他类型的AR眼镜，则是专为无手持操作、更具沉浸感的AR/MR体验而设计的，文献中也提到它们可作为根据位置识别设备、并在用户视线范围内提供控制的潜在设备。这类设备有助于实现空间定位的信息展示与交互[2, 11, 12, 39, 40, 42, 64]。以往的研究涵盖了多种应用场景，其中包括注重家居舒适度、便利性、安全性及能源效率的智能家居领域，其应用实例包括控制灯光、温度和娱乐系统，以及管理能源消耗。此外，还有智能建筑和公共基础设施这类应用场景，涵盖养老院和智能校园等不同环境，其重点在于利用物联网与AR/MR技术来实现运维任务。

2.2.3 通过AR/MR可视化的信息类型。在探讨AR/MR系统中信息的呈现方式之前，先了解“情境化可视化”这一概念是很有必要的。情境化可视化指的是将数据表现形式直接嵌入到其与之相关的物理环境中。在原位呈现数据，能让用户基于空间背景而非抽象映射来理解信息[62]。以往的AR研究已经探索了这类方法，证明了空间对齐的可视化形式有助于在情境感知环境中提升信息解读与决策能力[38, 57, 61]。在基于物联网的宜居智能空间中，AR和MR界面可以通过将数字内容直接叠加到与之相关的物理对象上，来实现这种情境化可视化[3, 64]。可可视化的信息类型包括：
(1)实时传感器数据：AR/MR可以显示诸如能源消耗（电压、电流、功率因数、有功功率等，参见[3]）、温度、湿度、亮度或空气质量（参见[44, 64]）等实时数据。这些数据通常会以可视化形式呈现，并且往往直接与生成该数据的设备或传感器相关联。
(2)设备状态与控制选项：用户可以查看设备是否处于开启或关闭状态，还能通过与物理对象叠加的虚拟控制面板或按钮进行交互，从而调整设置（参见[5, 12, 26, 44]）。
(3)自动化状态与配置：AR/MR可以显示当前处于激活状态的自动化程序，或是与特定设备或区域相关的自动化程序。用户可以直接在AR界面中，通过与相关物理对象交互，来查看、编辑或创建新的自动化规则（如触发-动作规则）（参见[5, 41]）。需要指出的是，虽然现有文献中有几篇论文展示了AR/MR中的自动化规则可视化形式，但这些可视化仅限于以文本或示意图的形式呈现规则内容。我们仅在一篇文献中发现有示例展示了参与某条规则的各设备之间的相互关联关系（数据流），但并未对该类可视化方式的有效性进行明确评估[11]。
(4)建议与推荐：一些先进的系统能够根据用户的实际情况或意图，提供关于设备配置或自动化规则的推荐建议（参见[5, 64]）。
(5)指示与引导：尤其是在环境辅助生活或维护等场景中，AR可以通过在真实环境中叠加分步的可视化或动画式指示，来引导用户完成各项任务（参见[39]）。
(6)识别与元数据：AR能够帮助用户快速识别设备，获取产品信息、技术说明或维护手册等内容（参见[3, 9, 26, 31]）。
(7)警报与提醒：门铃响动、警报信号或安全警示等重要通知，都可以在可穿戴的AR设备上以可视化形式呈现（参见[42]）。

2.3 总结。综上所述，相关文献指出，要让最终用户在智能生态系统中实现对自动化的控制，关键在于基于TAP范式开发实用的用户端方法与工具，同时要解决规则复杂性、组合界面设计问题，还要为调试、理解系统功能、提供推荐建议，以及处理社交、安全与隐私方面的问题。为了让这些解决方案能更好地服务于不同类型的用户，还需要进一步的实际应用测试[4]。在这一智能建筑系统配置与管理的范式中，情境化且具备情境感知能力的可视化形式，被视为AR/MR相比传统抽象界面所具有的核心优势[5, 28, 31]。现有的实证研究也提出了多项支持这一观点的论据。通过AR/MR可视化系统状态和自动化规则，有助于用户更好地理解系统运行机制并诊断问题。与传统依赖抽象表示的2D界面相比，后者往往难以帮助用户将数字元素与物理设备对应起来，还会增加用户的认知负担，而AR/MR则能将信息直接与现实世界的物体关联起来，从而提升系统的透明度、情境感知能力以及对系统运行机制的理解程度。这有助于用户完成识别设备状态、诊断问题以及解读物联网数据等任务，同时还能通过基于具体情境的可视化方式减少信息过载的问题。在传统界面中，非专业人士往往会发现规则的设计与调试过程较为抽象且困难。传统的编辑工具可能会展示大量触发条件与操作选项，用户需要耗费大量精力才能找到相关内容，而随着物联网设备数量的不断增加，这一问题愈发严重。尽管AR技术可以简化规则的创建过程，但要实现跨多个设备的复杂规则交互的可视化与调试依然具有挑战性，这也是当前研究正在关注的领域。在真实且符合实际场景的智能建筑系统中，针对AR/MR与2D界面进行的直接比较研究十分少见，目前仅有少量相关研究。实际上，只发现了两项此类研究。在[21]研究中，研究人员评估了用户在使用AR（目光追踪、手势控制）、语音控制以及移动界面时的操作表现，但研究仅聚焦于设备控制功能，得出的结论是2D移动界面比AR更优。在[65]研究中，研究人员比较了在平板电脑上与通过AR进行能源消耗数据可视化的方式，但这项研究属于定性研究，重点在于理解系统状态的变化而非故障排查。研究结果表明，2D界面更有利于支持认知类任务，而AR则可能更利于支持物理层面的交互操作。因此，本研究的主要研究目标，可以归入这样一个研究领域：即探索如何利用AR/MR技术，通过提供与空间环境相关的信息以及直接的交互方式，让非专业用户也能更直观、更便捷地管理智能建筑系统，从而应对传统2D界面所带来的诸多问题，以及日益复杂的物联网生态系统带来的挑战。具体而言，我们将研究在3D AR空间中以情境化、具身化的形式呈现系统状态与逻辑，与功能上相当的2D诊断桌面界面相比，对问题诊断性能的影响。为弥补现有文献中的这一空白，我们将介绍一款功能完备的智能建筑管理系统的设计与开发过程，并对情境化、具身化的AR界面与2D诊断桌面界面在帮助非专业用户诊断设备故障或自动化规则相关问题方面的效果进行实证分析。

3 系统设计与架构。为了解答我们的主要研究问题，我们利用相关技术构建了一套完整的智能建筑系统，同时还对系统中的设备及其运行规则进行了配置。由于本研究关注的是用户在理解系统运行机制以及诊断故障或异常状况时的认知负荷，因此初始的系统配置工作是由研究人员完成的。

3.1 所用材料与工具。本节介绍了用于开发该应用程序的各种工具，同时说明了为何要按第5节所述的可用性实验需求来配置系统。该系统是以开源的ThingsBoard物联网平台为基础构建的，该平台可用于物联网解决方案的开发、管理及扩展。我们选择ThingsBoard作为智能建筑管理系统的基础框架，用来对设备与运行规则进行建模，同时也为2D（桌面端）界面和基于AR的界面提供数据支持。该平台与PostgreSQL数据库配合使用，用于存储内部数据，同时搭配Apache Kafka用于管理和处理数据流。AR体验则通过NREAL Light头戴式显示器来实现，该显示器还配有一个用于运行AR应用程序的计算单元，以及一个供用户操作的便携式控制器。该AR应用程序是用Unity引擎（版本2021.3.8f1）开发的，这是一种支持C#脚本编写并能与各类AR工具包整合的跨平台引擎。我们则使用Visual Studio来编写和调试应用程序代码。为实现AR功能，我们采用了NREAL提供的NRSDK工具包，该工具包具备空间计算功能，包括运动跟踪、图像识别、用户手部位置追踪等功能，同时还具备优化渲染功能以及多模态交互功能。此外，我们还使用了Immersal SDK来进行环境的空间映射，具体做法是拍摄空间内的图像，生成点云数据，进而构建出实验环境的3D模型。这样一来，传感器和设备就可以被置于同一个坐标系统中，存储在ThingsBoard中，同时在基于AR的界面中得以可视化展示。最后，该系统是通过Docker技术进行部署的，Docker可用于创建和管理容器化应用程序，从而确保在不同环境中都能保持一致的运行效果。

3.2 系统架构。我们所设计的智能建筑系统由多个软件组件构成，这些组件共同组成了该解决方案的架构，如图1所示。下面将详细介绍该系统的主要组成部分。
图1. 我们所设计的宜居智能空间系统架构的总体结构
物联网设备：指那些能够连接到网络、并能够生成和传输数据的物理设备（如传感器）。在本研究中，我们没有使用实际的物理设备，这是为了避免可能出现硬件和软件协议不兼容的问题，同时也为了简化开发流程，无需通过软件桥接器将设备生成的数据转换为物联网平台所能识别的统一格式。取而代之的是，我们通过Python脚本来模拟设备，让这些脚本负责生成和传输数据，不过该系统未来也支持集成真实的物联网设备。
物联网平台：为了从各种物联网设备中收集数据，并对智能建筑系统进行管理，我们需要一个物联网平台来负责设备的注册与集成，同时也要实现设备与其他软件组件之间的通信与数据交换功能。我们选择了ThingsBoard作为物联网平台，因为它包含了部署和管理完整智能建筑系统所需的所有必要软件模块：
•用户账户：ThingsBoard提供了多种类型的账户，不同类型的账户对应不同的访问权限，用户可以根据自身的需求选择相应的账户类型。我们使用了两种类型的账户，一种账户拥有对设备和规则的管理权限，另一种账户则是为最终用户（即实验参与者）设计的，他们只能访问数据可视化界面。
•传输层：该层负责实现物联网设备与平台之间的安全、高效的数据传输。
•规则引擎：该组件通过管理数据流和处理相关数据，为业务逻辑层提供支持。该物联网平台提供了图形界面，用于根据用JavaScript定义的规则和条件创建工作流并触发相应操作。•核心服务：这些服务属于数据访问层，负责与数据库的通信、用户身份认证与授权，以及新设备及其标识符的注册工作。•管理用户界面：ThingsBoard提供了完整的基于Web的用户界面，用于管理平台内的设备与规则。我们在HBS的初始配置中便利用了这一功能。该管理用户界面仅限系统管理员使用，不适合系统最终用户操作。•仪表板：ThingsBoard提供了创建用于可视化数据的最终用户界面的方法，即通过包含图形控件的仪表板来展示数据。我们在5.1节介绍了如何利用这一功能为最终用户开发出2D（桌面端）管理应用，作为可用性研究的一部分。其他系统组件还包括PostgreSQL数据库、Kafka代理、MQTT代理以及AR应用。PostgreSQL数据库能够高效存储和管理大量数据，而物联网平台的数据访问层则通过查询来处理数据的存储与检索工作。Kafka代理（通过ThingsBoard集成）可实现设备与平台之间的通信，并支持外部服务（如Apache Spark）对数据流进行预处理，这超出了平台有限的规则链处理能力（例如无法实现高级聚合或机器学习功能）。这类应用属于未来研究的范畴，因此不在本次研究的范围内。MQTT（消息队列遥测传输）代理则负责在客户端之间传递消息，从而实现物联网平台与AR应用之间的通信。最后，AR应用能够以3D形式展示物联网系统，便于进行故障与异常诊断。我们在4节介绍了如何为最终用户开发出基于可穿戴头显的AR管理应用，这也是可用性研究的一部分。3.3 物联网平台的配置核心系统组件包括与设备注册、设备与物联网平台之间的数据传输与管理、用于处理数据的规则链，以及从平台向AR应用传输数据等相关功能。3.3.1 设备注册与系统集成物联网平台上的设备注册采用结构化且安全的方式。首先，系统会请求获取设备的特定信息（如名称、描述等）。每个设备都会被分配到一个配置文件中，该配置文件作为该设备的模板，规定了该设备类别的特性与行为模式。此外，每个设备还具有一些附加特性，这些特性要么由用户自行设定，要么由ThingsBoard平台自动设置并更新。在我们的可用性实验中，有五台设备被注册到物联网平台上，并对应不同的配置文件。这些设备分别是室内温度传感器、室外温度传感器、湿度传感器、空调装置以及智能窗户设备。如4.2.7节所述，设备注册可通过AR应用利用ThingsBoard的RESTful（表述性状态转移）API来完成，用户只需通过简单的手势定位即可确定设备的3D坐标，或者也可以通过ThingsBoard的桌面端用户界面来进行注册。3.3.2 规则链规则链用于实现系统的业务逻辑。各规则链之间存在连接关系，这些连接关系有助于确保执行业务逻辑所需的数据流能够顺畅传递。在我们的可用性实验中，共开发了七条规则链（智能窗户、室外恒温器、任务1(a)、任务1(b)、空调温度、湿度温度、恒温器温度），每条规则链都与特定的设备配置文件相对应，负责数据处理、验证检查以及与AR应用之间的通信。下面将分析这些规则链的实时执行优先级、它们之间的相互关联关系以及它们所实现的特定逻辑，完整的配置信息则体现在补充材料中。(1)数据流始于任务1(a)规则链，该规则链与所有传感器设备相连，它会接收传感器数据，检测设备是否处于静止状态，然后将数据转发给根规则链。在该规则链中，有七个节点负责接收数据，并根据检测到的静止状态来判断应采取的相应操作。一旦确认存在潜在的静止状态，该规则链就会向系统反馈当前情况的处理结果。(2)之后，数据流会进入根规则链，在这里，传感器传回的遥测数据会被直接转发到主规则链（见图2）。图2. 主规则链(3)在主规则链中，遥测数据会被解析后分配到针对不同传感器的规则链中，同时也会发送给数据的原始来源设备，该设备会保留所有相关数据，并以数字形式呈现物理环境的具体状况。(4)传感器的规则链则负责处理传感器传来的数据。它接收传感器发送的值，然后根据该值是否处于允许范围内，或是设备是否处于临界状态，来更新系统状态。(5)负责管理那些接收来自传感器数值的系统设备的规则链，则会根据这些数值及相应的条件来决定启动或关闭每台设备。之后，相关信息会被传输到增强现实应用中。3.3.3 扫描物理环境物理环境中的空间信息是通过Immersal Mapper应用来采集的，该应用能够生成空间的点云模型，也就是在三维坐标系中的一组数据点，用来描述环境中物体的几何形状与空间特征。该应用运用先进的计算机视觉技术来分析视觉输入信息，从而提取出关于场景结构与布局的关键信息。如第5节所述，我们使用了Immersal SDK来构建实验环境的3D模型，并将传感器与设备放置在该3D空间中，同时将这些设备的坐标存储在ThingsBoard的设备信息中。4 AR应用我们开发了一款基于AR的应用，它能够将数字信息叠加到真实世界中，帮助用户实时获取相关信息并做出决策。这款AR应用最初会与物联网平台实现实时连接，其设计具有高度的灵活性，便于扩展功能，同时也确保它可以作为一种“即插即用”的解决方案被应用到任何物联网系统中。4.1 通信与连接AR应用与物联网平台之间通过REST（HTTP）和MQTT协议实现双向数据交换。该应用通过API请求来进行交互，而MQTT则负责实现实时数据更新。这样的设计保证了双向通信的实现，使得应用能够实时获取传感器数值、设备临界状态以及系统通知等信息。AR应用与物联网平台之间的通信架构如图3所示。图3. 设备与软件之间的通信架构此外，还有一个MQTT监听脚本会持续监控代理服务器发送的消息，并将数据路由到相应的业务逻辑函数中。数据以JSON格式进行交换，这使得各个组件之间的通信既高效又灵活。4.2 应用功能这款AR应用具备多种功能，可提升诊断能力并优化用户体验，其主要菜单界面如图4a所示。用户可以通过手持控制器与该AR应用的各个元素进行交互。将控制器指向某个元素后会生成一条虚拟光束，用户只需用控制器点击该元素即可完成选择操作（见图4b）。遵循情境可视化原则（2.2.3节），该AR界面通过将面板固定在物理设备上，并采用统一的状态编码方式，有效减少了视觉干扰，便于用户对现场设备进行直观检查。图4. AR应用——功能与交互方式4.2.1 启动。该AR应用会引导用户逐步完成环境设置，并在AR环境中启动监测与诊断流程。用户首先需要从主菜单中选择“启动”选项。这一操作会通过RESTful API向Immersal的服务器发起请求，从而从ThingsBoard平台获取与用户相关的所有设备信息，而这些用户生成的点云数据都是安全存储在该服务器上的。之后，用户需要选择自己感兴趣的设备，该设备对应着物理空间中的点云数据。随后，应用会检索出所有已在物联网平台上注册且与该空间相关的设备，并提示用户确认这些设备在空间中的位置。一旦设备位置被确定，用户就需要在物理空间中多看几遍，这样Immersal SDK才能确保点云模型已经与实际物理环境相匹配，进而确定用户在空间中的初始位置。一旦确认成功，这些设备就会以3D对象的形式显示在环境中，设备之间的连接线则会通过叠加在连接线上的箭头来展示设备之间基于规则的数据流动方向。图5. 数字化增强的实验室空间：用户可以看到三台设备——室内温度传感器（左侧）、湿度传感器（底部中间）以及空调设备（顶部中间）——以及它们之间的连接关系。带有绿色标题的面板表示各设备的运行条件均符合要求，也就是说，各设备的数值都在允许的范围内。而带有蓝色标题的面板则会提供有关每台设备的信息，比如设备名称、当前状态、允许的运行范围、当前数值以及包含分析结果的图表。设备之间的连接关系则表现为连接各设备的直线，这些直线上的绿色箭头表示设备之间正在交换数据，箭头的方向则表明了数据发送方与接收方分别是哪台设备。图像底部还可以看到来自控制器的虚拟光束。4.2.2 检查设备与规则。用户可以通过控制器选中某台设备，这样就会在该设备上方显示一个面板，用以展示该设备的当前运行状态。对于传感器类设备（见图6a），用户可以看到设备的编号、当前状态、该设备允许的最低值与最高值、设备上次与平台建立连接的時間、设备发出最新静止状态警报的时间与日期、设备当前报告的数值（通过图形控件显示），以及按时间顺序排列的数值变化曲线（以折线图形式呈现）。而对于非传感器类设备（见图6b），用户则可以查看设备的编号、当前运行状态（如开启/关闭状态）、控制设备运行的规则，以及在这些规则正常运行过程中发现的任何问题，或是当前设备状态对应的说明（例如“室内温度需高于20摄氏度，设备才会处于开启状态”）。对于相互关联的设备，其连接线上方始终会显示一个面板，用以展示约束设备运行的规则逻辑（见图6c）。如果面板带有绿色标题，那就表示该设备在规则执行过程中正在正常发送数据（即既在发送数据，也在平台上显示为处于活跃状态，且发送的数据也在正常范围内）。如果面板带有橙色标题，则表示两台设备虽然都处于活跃状态，但发送的数据超出了正常参数范围。最后，如果某台设备处于静止状态，那么对应的面板就会消失，而在该设备旁边则会显示一个动画形式的感叹号（见图6d）。图6. AR应用中用于查看设备与规则的可视化元素。4.2.3 定位设备。该AR应用允许用户查找并查看已注册的设备。用户首先需要从房间内所有设备的列表中选出目标设备。一个C#脚本会接收目标设备信息以及用户相机在3D空间中的位置，进而计算出用户与目标设备之间的距离，同时生成一条虚拟箭头，引导用户朝该设备所在的位置移动（见图7a）。4.2.4 日志。该功能会记录设备与AR应用之间通信的相关信息。这些日志会准确记录下设备何时发送数据，或是哪台设备触发了另一台设备的操作，同时还会标注出对应的时间戳。4.2.5 通知。通知功能会向用户告知系统发生的各类事件，帮助用户快速应对各种问题。这些通知是通过C#脚本实现的，每当系统中出现异常或错误时，就会触发相应的通知，同时应用还会通过语音消息提醒用户，引导他们查看通知面板。4.2.6 概览。该AR应用会列出所有物联网设备及其当前状态，这些信息是通过与物联网平台之间的HTTP和MQTT通信获取的。显示的信息包括设备名称、设备编号以及设备状态（见图7b）。如果“状态”属性中显示红色标记，就表示该设备处于静止状态；而绿色标记则表示该设备处于活跃状态。黄色指示灯表示设备处于临界状态，需要用户立即关注。4.2.7 新设备。该AR应用允许用户在指定位置添加新设备并实现自动集成。这一功能依赖于NRSDK模块，该模块负责识别物理空间中的平面，从而确保虚拟内容能够高精度定位，并便于通过AR应用进行交互。若要在系统中注册新设备，用户需按照应用指引完成特定步骤。首先，用户需扫描物理环境以找到平面，然后确定新设备的期望位置（见图8a）。选定位置后，系统会显示该设备在空间中的3D位置界面（见图8b）。若用户确认该位置，便会进入下一个界面，在那里他们可以指定该设备是否为传感器，并完成设备注册流程（见图8c）。之后，该设备会自动被添加到系统中，并通过RESTful API集成到物联网平台中。如果用户希望为该新设备创建规则链，可通过ThingsBoard界面来实现。4.2.8 分析功能。该应用还通过图表提供详细的统计分析结果。一旦从物联网平台获取历史数据，AR应用就会运用相关算法进行分析，并应用业务逻辑（见图7c）。图7：设备位置、系统概览及分析功能；图8：设备注册步骤。4.3 AR应用与可居住智能空间的集成。为使AR应用能够在HBS环境中正常使用，用户必须遵循特定步骤以确保其在指定空间内实现无缝集成。首先，用户需使用Immersal Mapper应用对空间进行扫描。这需要上传目标空间的二维图像，以此生成点云模型，该模型会被存储在Immersal的服务器上，并通过RESTful API作为资产类型对象呈现于物联网平台的ThingsBoard中。除了通过AR应用进行空间映射和设备初始定位外（即“新设备”功能），用户还需通过ThingsBoard平台进一步配置这些设备。这包括定义设备的属性以及它们与环境及其他设备之间的连接关系。在添加设备时，用户可以指定设备的类型、名称、相关特性或所属类别，以及设备的允许操作数值。设备与其他系统实体之间的连接关系则由用户在ThingsBoard平台中定义的规则链来确定。ThingsBoard提供了专门的界面，便于为每个系统创建和管理这类规则链。一旦配置完成，即可部署AR应用投入使用。所有所需数据都会从ThingsBoard中获取，应用会将数字元素叠加在物理环境中，从而实现该空间内的增强型交互。4.4 扩展性与性能表现。我们测试了该AR应用在同时处理多达10台模拟物联网设备时的性能，结果显示在响应时间、可视化效果、延迟以及其他影响性能的因素方面均无异常问题。该AR应用设计用于房间级别的应用场景，通常不会存在数百台物联网设备同时运行的情况（这与工业环境有所不同）。因此，只需在ThingsBoard中分别对每个空间及其设备进行建模，再根据用户所在位置动态加载设备，即可轻松实现该系统在多间房间的扩展应用。即便应用所处理的场景是规模较大的住宅或办公场所，我们也不认为会出现性能问题。5 评估。为评估所提出系统的有效性与易用性，我们开展了一项实验，探讨不同的表示方式如何助力物联网系统的故障诊断。5.1 用户界面。该实验在受控实验室环境中进行，比较了两种不同的表示方式。第一种方式是使用专为实验设计的2D桌面界面，该界面基于ThingsBoard环境，可通过桌面端访问（见图9）。为构建这个2D桌面界面，我们利用了ThingsBoard的仪表板功能，将其设计得类似许多智能家居系统中常见的桌面式仪表板，这类仪表板可能由设备制造商提供（例如https://www.tp-link.com/app/tapo/tapo-for-pad/、https://www.apple.com/home-app），或是通过第三方平台实现（例如https://www.home-assistant.io/）。这种2D桌面界面包含了商业应用中常见的图形元素，如平面图、仪表盘、图表以及数据显示界面。这类仪表板会根据智能环境中的实际设备进行调整，且用户还可以自定义其显示风格和内容布局。我们所设计的2D桌面环境则提供了由我们预先配置好的类似体验，这样做是为了确保所有参与者都能获得一致的体验，同时消除实验中的干扰因素。用户可通过桌面鼠标点击界面上的各个元素来与系统互动。图9：2D诊断工具——用户可以查看包含各设备信息的面板，这些信息包括设备的当前数值、图表，以及当设备需要用户关注时会显示的警报面板。此外，界面上还会显示实验室地图，标明每台设备在实验室中的确切位置。第二种方式则是使用在数字化增强的实体实验室空间中运行的AR应用（见图5）。用户可通过AR眼镜查看数字元素，并使用手持控制器与之互动。这两种界面在表示方式和交互模式上存在根本差异。2D桌面界面以符号化和抽象化的方式呈现系统状态与规则，而AR界面则提供与实体设备直接对应的具身化、情境化的可视化展示。重要的是，两种界面中的规则都以文本形式呈现。这些差异是各自界面固有的特征——AR界面天然支持在物理环境中的空间嵌入与交互，而2D界面则通过抽象和符号化的形式帮助用户理解物联网系统，但这两点对于比较不同界面在物联网系统交互中的应用效果而言至关重要。因此，本研究并非旨在单独分析AR这一因素的作用，而是想探究不同的表示方式如何辅助故障诊断推理。5.2 实验配置。该实验旨在评估所提出方案在物联网系统故障诊断方面的有效性及易用性，同时衡量整体用户体验。实验所需的HBS环境是在我们大学的一间实验室中搭建的，研究人员已对其进行了预配置，他们在预先扫描得到的空间点云中创建了五台虚拟设备——室内温度传感器、室外温度传感器、湿度传感器、空调设备以及智能窗户设备。研究人员还完成了必要的HBS配置工作，参与者则需要熟悉该环境并执行相应的诊断任务。实验开始前，参与者会先被引导进入实验室，了解实验流程，并签署相关的同意书。随后，他们需要填写一份关于自身基本情况和技术熟悉程度的问卷，问卷内容主要涉及他们对物联网和增强现实概念的了解程度。在开始任务之前，参与者还需接受简短的培训，以便熟悉用户界面。所有参与者都在同一组内分别测试了这两种技术。实验场景的顺序经过了平衡处理，一半参与者先使用基于AR的系统，另一半则先使用2D桌面系统（见图10）。在完成每个场景中的任务后，参与者需填写NASA-TLX问卷，以此评估他们所使用系统带来的工作负担感。图10：左图为使用2D桌面应用的实验参与者；右图为使用AR应用的实验参与者。5.3 参与者。本次实验共招募了25名参与者，每位参与者的测试时长为1小时。其中20人（80%）为男性，年龄在19至34岁之间（平均年龄为23.32岁，标准差为3.6482）。18名参与者（72%）为本地大学的本科生，4名（16%）为研究生，还有2名（8%）为博士生，另有1人拥有硕士学位。从学术背景来看，84%的参与者来自计算机工程或计算机科学领域，12%来自电子与电气工程领域，4%来自机械工程领域。在完成基本情况问卷后，研究人员还询问了参与者对物联网和增强现实概念的熟悉程度。18名参与者（72%）表示自己了解物联网的概念，不过其中只有少数人表示自己从事或开发过相关系统的工作。同样，17名参与者（68%）表示了解增强现实的概念，但只有少数人真正从事或参与过相关系统的开发工作。参与者对这些问题的回答内容收录在论文的补充材料中。鉴于我们的系统是为非专业用户设计的，所选的参与者样本可视为目标用户群体的代表。需要进一步说明的是，此处所说的“非专业用户”并非指数字素养较低的人，而是指那些并非特定物联网系统诊断领域的专家——也就是那些不针对特定系统进行故障排查的用户。这一定义与我们第1节中描述的目标用户群体相符，即那些具备一定数字素养、可能拥有普通技术能力，但对所要诊断的特定系统缺乏先验知识的用户。因此，我们选取的参与者虽然具备一定的技术背景，但都未曾接触过实验中使用的智能空间配置、相关设备、已实施的规则以及故障场景。从某种意义上说，这些参与者可被视为非专业用户，因为他们虽然具备一定的技术技能，但对需要他们排查的特定系统并不熟悉。尽管这些参与者可能无法完全代表所有物联网系统的实际用户（比如家庭用户或现场服务工程师），但他们足以作为具备数字素养、能够在没有特定系统知识的情况下对系统行为进行推理的用户群体的合理代表。诸如智能家居技术这类物联网自动化系统主要吸引的是普通人群中的特定群体，这类用户的典型特征包括收入较高、性别为男性、拥有自己的住房、居住空间较大、更愿意采用和使用新技术、更认可智能家居技术的优势，同时对相关风险则顾虑较少[36]。此外，多项研究也表明，易用性感知（与数字素养和技术技能相关）是推动人们采用智能家居技术的重要因素[27, 52]。我们的参与者样本也具备这些特征（多为男性，多为计算机或电子工程专业的学生及毕业生，了解智能家居技术的优势，是技术的积极采用者，具备数字素养，预计在职业发展中能获得较高薪资）。本次实验的参与者数量为25人，这一数值超过了相关文献中其他研究的样本量（多为10到18人，参见[39, 41, 64]），也处于在CHI等知名会议上发表的面对面可用性研究中的较高样本量水平（平均样本量为16人，标准差为12人）[8]。5.4 任务。我们设计了八项任务，用以模拟HBS系统中可能出现的各类问题。这些诊断任务借鉴了现有关于智能家居故障及调试难题的分类方法，旨在反映物联网驱动的智能环境中最常见的故障场景[59]。这些任务的难度逐级递增，这样设计有助于全面评估该应用的实际效果。参与者会获得一台平板电脑，上面有每项任务的操作说明。他们还可用平板电脑记录自己对多项选择题的答案，即根据题目要求选出最合适的选项。这些任务要求参与者获取有关HBS及其当前状态的信息，这些信息有助于诊断潜在问题，但参与者并不需要实际操作系统来解决问题。分配给参与者的任务难度分为三个等级：低难度为T1至T3，中等难度为T4至T5，高难度为T6至T8。难度较低的任务旨在让用户了解获取有关HBS基本构成要素（设备、传感器和规则）信息的基本方法，而中高难度任务则旨在让参与者接触更复杂的诊断工作，这类诊断需要整合多个元素的信息。具体任务如下：•任务1：要求参与者找出房间内的所有设备。他们需从包含这些设备以及房间内不存在的其他物联网设备的多项选择列表中选出实际存在的设备。此任务旨在让参与者熟悉环境。•任务2：要求参与者找到室内温度传感器的位置。找到后，他们需回答三个多项选择题，以确定该传感器允许的最高和最低温度值以及当前数值。此任务的目的是帮助参与者学会与设备交互，并从设备面板上获取所需信息。•任务3：要求参与者找出控制空调设备运行的规则。规则需从六个选项中选出。其目的是让参与者能够与设备交互，并利用设备面板获取必要信息。•任务4：要求参与者判断哪些传感器已停止发送数据，哪些传感器的发送数据超出了正常范围。参与者会看到三个传感器设备的列表，需说明每个设备的状态（见图11a）。此任务有助于参与者快速识别物联网系统中的此类问题，并通过可视化图表和消息提供反馈。•任务5：要求参与者识别HBS中设备之间的数据交换情况（见图11b）。其目的是评估发现设备间数据流及它们之间连接关系的难易程度。•任务6：在此任务中，空调设备处于非工作状态，参与者需从列表中选出导致该状态的原因。此任务旨在帮助用户了解设备的运行规则及系统提供的说明，同时将这些说明与其他传感器和设备的当前数值进行对比。•任务7：与任务6类似，参与者需说明空调设备为何处于非工作状态。此任务同样侧重于诊断空调的状态，但难度更高。不过，给出的选项要求参与者找出未满足的条件，这意味着用户需要进行综合数值检查，而在任务6中，选项则引导用户检查单个数值是否在允许范围内。•任务8：要求参与者从一系列条件中选出导致智能窗户设备无法工作的未满足条件。此任务的目的是在复杂生态系统中的系统中，评估复杂诊断任务的两种场景（2D和AR）。见图11。参与者在两种场景下需完成的题目。为完整起见，本文的补充材料中提供了相关题目和答案。由于参与者在两种场景下执行的任务相同，因此必须确保不同场景下任务问题的正确答案有所不同，以避免参与者记住第一次体验时的答案。为此，在每项任务开始时，我们会适当调整每种场景下的设备状态（这会影响规则的执行），以确保每种场景下每个问题的正确答案都不同。我们还确保了每项任务中正确选项的数量（单选或多选）在两种场景下保持一致。对于所有任务，我们都开发了相应的Python脚本，以便实时捕获用户与应用程序的交互行为，这些交互日志随后被用于分析。

6 结果
本节所呈现的结果应结合两种表现范式之间的差异来解读。AR界面和2D界面不仅在显示方式上存在差异，其在表现能力和交互功能上也有所不同，因为AR具备将信息嵌入空间以及让用户以具身方式探索信息丰富的工作空间的潜力。因此，这里的比较并非针对AR技术本身的效果——例如，我们本可以使用AR头盔来显示类似桌面版本的符号化浮动2D界面，即便不完全相同。相反，研究结果反映了AR所特有的情境性和具身交互设计如何影响用户的诊断表现及感知的工作量。因此，不同场景下观察到的差异应被视为由表现形式、具身交互和情境性共同作用的结果，而非由单一因素造成。

6.1 任务完成时间
所有参与者均成功完成了所有任务。表1展示了两种场景下每项任务的平均执行时间（以秒为单位）。为判断两种场景下所有任务完成时间的差异是否具有统计学意义，首先进行了Shapiro-Wilk检验，以确定两种场景下所有参与者在所有任务中的执行时间是否服从正态分布。统计结果的显著性水平为α = 0.05。对于那些执行时间数据不服从正态分布的任务，采用了Wilcoxon符号秩检验；而对于数据服从正态分布的任务，则使用了配对t检验。统计检验结果表明，两种场景下高难度任务的完成时间存在显著差异，使用具有情境性和具身特征的AR界面的用户完成这三项任务的速度更快。结果还显示，用于让用户熟悉界面的第一项任务的平均执行时间也存在显著差异。这一差异可能是因为用户在2D桌面界面中可能需要更多时间来浏览一同显示的多个项目（可能存在信息过载的情况），而使用具有情境性和具身特征的AR系统时，他们主要专注于定位相关设备。

表1. AR界面与桌面界面的各项统计指标
| 任务难度等级 | 平均值 | 标准差 | 平均值 | 标准差 |
| --- | --- | --- | --- | --- |
| 低 | 61.88 | 52.98 | 169.90 | 250.92 |
| W值 | 65.0 | 0.007 | r值 | 0.525（Z值 = -2.623） |
| 低 | 47.56 | 26.41 | 185.15 | 169.59 |
| W值 | 124.0 | 0.312 | r值 | 0.207（Z值 = -1.036） |
| 低 | 59.48 | 41.26 | 641.12 | 280.65 |
| W值 | 102.0 | 0.107 | r值 | 0.326（Z值 = -1.628） |
| 中等 | 119.32 | 54.69 | 121.45 | 48.13 |
| t值 | 0.931 | 0.866 | d值 | -0.0345 |
| 中等 | 108.48 | 77.72 | 106.50 | 45.24 |
| W值 | 130.0 | 0.396 | r值 | 0.175（Z值 = -0.874） |
| 高 | 76.76 | 57.80 | 100.27 | 46.66 |
| W值 | 78.0 | 0.022 | r值 | 0.455（Z值 = -2.274） |
| 高 | 77.72 | 74.78 | 97.36 | 37.55 |
| W值 | 70.0 | 0.011 | r值 | 0.498（Z值 = -2.489） |
| 高 | 183.32 | 126.77 | 229.59 | 80.51 |
| W值 | 77.0 | 0.020 | r值 | 0.460（Z值 = -2.301） |

每项任务的平均执行时间（以秒为单位）。使用具有情境性和具身特征的AR界面完成所有任务的平均总时间为734.52秒（标准差为262.70），而使用2D桌面界面的平均总时间为951.08秒（标准差为322.91）。Shapiro-Wilk检验结果表明数据不服从正态分布（AR界面：p值=0.029；2D界面：p值=0.038）。因此，选择了非参数替代方法——Wilcoxon符号秩检验，其结果显示两种场景下的总执行时间存在显著差异（W值=62.0，p值=0.0056，Z值=-2.704，r值=0.541）。具体而言，使用具有情境性和具身特征的AR界面完成所有任务的总时间明显短于使用2D桌面界面的总时间。接下来，这些任务被分为三个难度等级，分别计算了每个难度等级的平均执行时间。所有组别的执行时间均不服从正态分布，因此再次采用了Wilcoxon符号秩检验，结果汇总于表2。使用具有情境性和具身特征的AR界面的用户完成高难度任务的速度明显更快。

表2. AR界面与桌面界面的Wilcoxon统计指标
| 任务组别 | 平均值 | 标准差 | 平均值 | 标准差 |
| --- | --- | --- | --- | --- |
| （T1, T2, T3） | 56.30 | 28.45 | 98.61 | 84.98 |
| W值 | 62.0 | 0.0058 | r值 | 0.541（Z值 = -2.704） |
| （T4, T5） | 113.90 | 47.05 | 113.98 | 36.30 |
| W值 | 137.0 | 0.5077 | r值 | 0.137（Z值 = -0.686） |
| （T6, T7, T8） | 112.60 | 74.12 | 142.40 | 47.14 |
| W值 | 74.0 | 0.0160 | r值 | 0.476（Z值 = -2.381） |

不同任务组别之间的差异的统计检验结果。

6.2 任务完成准确性
接下来，评估了两种场景下用户完成每项任务的准确率。对于任务1和任务3，所有用户在两种场景下都给出了正确答案。在任务2中，使用2D桌面界面的所有用户都答对了，而使用具有情境性和具身特征的AR界面的只有一名用户答错。在任务4中，使用2D桌面界面的用户中有76%选对了所有答案，而使用该AR界面的用户中这一比例为72%。在两种场景下，84%的参与者在任务5中选对了所有答案，92%在任务6中选对，64%在任务7中选对。最后，在任务8中，使用具有情境性和具身特征的AR界面的参与者中有60%选对了所有条件，而使用2D桌面界面的只有32%。为判断两种场景在任务错误率方面是否存在显著差异，计算了每位用户的错误答案总数占比。使用具有情境性和具身特征的AR界面的用户平均错误答案为1.6个（标准差为1.02），而使用2D桌面界面的用户平均错误答案为1.88个（标准差为1.14）。检验结果（W值=7.0，p值=0.1072）表明，两种场景下用户的总错误答案数量不存在显著差异。

6.3 主观任务难度
最后，分析了参与者在每种场景结束后填写的NASA-TLX问卷中的数据，以此评估用户在与不同用户界面交互时的工作量情况。各工作量指标的均值（见表3）展示在图12a中，而所有参与者在每种场景下的整体平均工作量则显示在图12b中。

表3. AR界面与2D界面的各项NASA-TLX指标均值
| 指标维度 | 平均值 | 标准差 | 平均值 | 标准差 |
| --- | --- | --- | --- | --- |
| 心理负荷 | 55.42 | 2.90 | 61.23 | 3.49 |
| 身体负荷 | 36.82 | 3.08 | 10.45 | 0.75 |
| 时间压力 | 41.42 | 1.33 | 43.82 | 3.77 |
| 效率表现 | 32.21 | 1.40 | 44.82 | 5.87 |
| 努力程度 | 54.42 | 1.37 | 55.22 | 0.99 |
| 沮丧感 | 20.82 | 0.19 | 24.81 | 9.12 |

NASA-TLX各项指标的均值。使用具有情境性和具身特征的AR界面时的整体平均工作量为45.88（标准差为15.37），而使用2D桌面界面时的整体平均工作量为50.16（标准差为16.54）。两种场景下整体平均工作量的差异并不具有统计学意义（t值=-1.076，p值=0.2926，d值=-0.215）。不过，单独分析各项指标时，发现两种场景在身体负荷（W值=0.0，p值=0.0003，Z值=-4.197，r值=0.875）和效率表现（W值=35.5，p值=0.009，Z值=-2.59，r值=0.580）方面存在显著差异。AR场景下身体负荷更高的原因可能是用户需要在实验室的物理空间内移动，而2D场景中用户保持坐姿。AR场景下更高的身体努力程度可能是造成这一差异的原因。此外，AR场景下效率表现评分较低，可能是因为用户在与不熟悉的系统交互时存在不确定性。随着他们逐渐适应与具有情境性和具身特征的AR界面的交互，尽管他们正确完成了任务，但可能会觉得自己の效率较低。

图12. NASA-TLX问卷的调查结果

7 讨论
以往关于增强现实技术在宜居智能空间中的应用研究，主要集中在评估该技术用于状态监控和控制方面的实用性（例如[5, 28, 31]），也有一些研究直接比较了用于相同目的的AR界面和2D用户界面[21, 65]。此前，关于HBS系统的故障诊断与排除的研究仅聚焦于2D用户界面（例如[4, 14, 15, 63]）。据我们所知，目前还没有研究探讨过不同的表现范式，如空间嵌入式的AR界面和传统的符号化桌面仪表板，是如何在基于物联网的HBS系统中辅助诊断推理的。为填补这一空白，我们的工作介绍了使用开源技术实现定制化HBS系统的工程层面内容，并通过一项以对特定系统不熟悉的数字素养较高的用户为样本的可用性研究，分析了基于同一底层物联网管理系统的具情境性且具身化的AR系统与2D桌面界面在支持诊断任务方面的表现。我们的核心研究结果表明，使用情境化且具身化的AR系统的参与者完成诊断任务的速度更快，尤其是在处理复杂度较高的任务时。同时，他们所承受的体力负担也更大，这凸显了不同表征方式之间的权衡。研究显示，与2D桌面界面相比，参与者使用情境化且具身化的AR系统完成诊断任务的速度显著更快，尤其是那些难度较高的任务。这一结果支持了现有文献中关于AR潜在优势的观点[5, 28, 31]。其中一个可能的解释是，情境化且具身化的AR系统能够提供空间可视化功能，它将数字信息直接叠加在物理设备上，并通过动态线条和箭头展示数据间的关联。这样的呈现方式可能减少用户在抽象表征（如2D桌面界面中的呈现）与物理世界之间进行心理映射的需要，从而帮助用户更好地理解涉及多设备的系统运行状况。而使用2D桌面界面进行初始设备识别任务（任务1）时所需的时间明显更长，这可能反映出在传统桌面界面中同时面对多个项目时所需的认知负荷更高，而AR界面则能以更为集中、以空间为基准的方式呈现信息。有趣的是，尽管使用情境化且具身化的AR系统效率更高，但诊断精度并未随之提升；两种界面下的错误率在统计上并无显著差异。这表明，虽然参与者使用该系统完成任务的速度更快，但两种界面都能为用户提供足够清晰的信息，从而使他们在所评估的特定任务中达到相当高的准确率。一种可能的解释是，AR交互的新颖性或一些轻微的使用难题可能影响了性能，进而影响了用户处理任务的方式。我们的研究结果也与Zhou等人的研究[65]一致，他们发现2D界面在处理认知任务方面的效果与AR相当，而Flick等人的研究[21]则指出，在某些家庭健康监测系统的控制任务中，2D界面的效果可能与AR相当甚至更佳。综合来看，我们的研究结果表明，在诊断精度方面两种方式并无明显差异。通过对NASA-TLX调查收集的主观反馈进行分析，还发现了其他重要特点。使用情境化且具身化的AR系统会带来显著更高的体力需求。这可能是因为用户需要在实验室空间内移动身体、寻找设备，并通过手持控制器和头部动作进行操作，这与2D桌面界面的坐姿交互方式截然不同。这表明存在一定的权衡：AR系统的空间特性目前要求用户付出更多的体力，这可能限制其在需要长时间使用或面向行动能力有限的用户时的应用前景。此外，尽管使用该系统时能获得与2D界面相当的准确率且完成任务的速度更快，但参与者对自己表现的评价却低得多。这种认知可能源于他们对基于头戴式显示器的AR交互方式不熟悉、需要同时处理物理信息和数字信息所带来的认知负担，或是控制器交互存在的一些轻微使用问题。这一差异凸显出在AR诊断工具中设计直观的交互界面以及有效的用户引导机制的必要性。因此，我们的结论带有一些局限性。使用情境化且具身化的AR系统的参与者确实能更快地完成诊断任务，尤其是在处理复杂的物联网场景时，这可能与系统信息的空间化和情境化呈现方式有关。然而，两种界面在诊断精度方面并无差异，而且使用该系统会带来更高的体力需求。这些研究结果表明，要实际应用基于AR的诊断工具，就需要认真考虑人体工程学因素和交互设计，尤其是要提升用户的信心和对其表现的评价。结合以往的研究成果，我们的研究认为，对于那些对时间要求高、需要空间定位的诊断任务而言，情境化且具身化的AR可以作为一种辅助界面，而非完全取代物联网故障管理中传统的2D桌面界面。尽管研究结果颇具前景，但仍需承认一些局限性。本研究是在受控的实验室环境中进行的，虽然这有助于提高研究的内部有效性，但可能无法完全反映真实智能环境中的复杂性，比如光照条件变化、物理环境杂乱以及设备故障的不可预测性。研究对象主要是年轻的工程专业的学生，他们虽然可以代表那些对特定系统不太熟悉但具备一定技术素养的用户群体，但可能无法代表包括老年人或数字素养较低的群体在内的更广泛人群，而这些群体恰恰可能是智能家居技术的受益者（例如在情境辅助生活场景中）。这些群体的体验可能与本研究结果有所不同，进而影响其采用该技术的意愿，比如对易用性的感知和身体舒适度等。此外，由于部分参与者之前使用过头戴式AR设备的经验有限，AR系统可能受到了新颖性效应的影响，而这可能会影响他们对工作量的主观评价以及参与度。最后，所使用的特定硬件（NREAL Light眼镜、手持控制器）本身也存在一些限制（比如视野范围、交互的人体工程学设计），这些都可能影响研究结果。未来的研究应重点关注几个方向。首先，开展在真实日常智能家居或办公环境中的纵向研究，对于评估该系统在实际环境中的可用性和有效性至关重要。这类研究应纳入更多不同背景的参与者，包括房主和专业技术人员。其次，为了解决研究中发现的体力需求问题，需要探索和评估其他交互方式，比如手势控制或语音控制，并比较它们与当前基于控制器的交互方式在人体工程学效果和效率方面的差异。第三，未来的研究应致力于通过控制可视化方式和交互设计的差异，更系统地分析AR作为表征媒介的作用。例如，可以通过对比研究，将情境化且具身化的AR系统与采用类似图形化或空间化方式呈现规则关联的2D桌面界面进行比较，从而更精准地探究空间嵌入方式本身的作用。第四，有必要进一步研究如何优化AR可视化效果——是否可以通过自适应显示、不同的规则逻辑呈现方式或基于上下文的信息过滤来进一步提升理解能力，降低认知负荷或减少错误？此外，虽然NASA-TLX是一种经过验证的主观工作负荷衡量工具，但它并不能直接揭示认知负荷的成因；未来的研究可以引入更多的客观指标，比如错误恢复时间、眼动追踪数据或生理指标等。最后，如果在AR界面中直接集成机器学习算法等先进功能，用于预测性维护，就能显著提升该工具的诊断能力和预防功能，为用户提供主动的洞察信息，而不仅仅是被动的诊断结果。8 结论本研究探讨了利用增强现实技术帮助非专业用户诊断家庭健康监测系统中的物联网系统故障的问题，将基于AR的诊断工具与传统的2D桌面界面进行了比较。为了填补该领域实证研究的空白，我们的研究表明，使用情境化且具身化的AR系统的参与者完成诊断任务的速度更快，尤其是在处理复杂度较高的任务时，而且其诊断准确率与使用2D桌面界面时相当。这表明，AR的空间可视化功能和直接交互能力有助于用户理解系统状态并识别复杂物联网生态系统中的问题。然而，这种效率提升也被使用该系统所带来的更高体力需求所抵消。总之，这项研究揭示了基于AR的物联网系统诊断工具所带来的潜在优势与权衡。虽然该系统能加快任务完成速度，但也需要用户付出更大的体力努力。这些研究结果表明，在设计基于AR的诊断界面时，需要充分考虑人体工程学因素和交互技术，以提高可用性和用户的信心。尽管AR在处理复杂智能环境中的诊断任务方面展现出巨大潜力，但还需要在真实环境中进行进一步的优化和评估，以更好地了解其应用前景和局限性。未来，开发更加直观且对体力要求较低的交互技术，对于推动其在日常家庭健康监测管理中的广泛应用具有重要意义。