《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：An Approach to Modeling Cybersickness and Task Performance in Augmented Reality Using Discrete-Time Markov Chains
编辑推荐：
晕动症（Cybersickness）是增强现实（AR）系统可靠应用的主要挑战，因其可损害操作员的认知与任务绩效。然而，现有晕动症模型主要依赖预测性方法，缺乏可形式化验证的手段来评估晕动症及其对任务绩效的影响。本文提出一种形式化建模方法，采用离散时间马尔可夫链（
晕动症（Cybersickness）是增强现实（AR）系统可靠应用的主要挑战，因其可损害操作员的认知与任务绩效。然而，现有晕动症模型主要依赖预测性方法，缺乏可形式化验证的手段来评估晕动症及其对任务绩效的影响。本文提出一种形式化建模方法，采用离散时间马尔可夫链（DTMC）表征检查站监视场景中晕动症的时间演进及其对任务绩效的影响。该模型将暴露时长作为关键的晕动症诱发因素，并利用初步实验数据生成模拟数据集以用于模型构建与验证。该模型能够对诸如晕动症发作界限与任务绩效界限等性质进行概率验证。该方法证明了应用形式化方法建模人与AR系统交互、并对操作员晕动症与任务绩效生成概率性保证的可行性。
晕动症（Cybersickness）是开发安全可靠增强现实（AR）应用的主要挑战，因其可损害操作员的生理与认知功能。在高风险场景中，如军事训练与作战，晕动症可对操作员的绩效与安全产生不利影响。因此，AR系统必须通过识别操作员在各任务条件下的安全操作界限并实时自适应来缓解晕动症。形式化数学方法常用于评估软硬件系统，依赖严谨逻辑与数学定义的模型来分析并验证系统在不利条件下的行为，并提供系统性能的概率性保证。然而，AR中晕动症研究缺乏一种形式化、可验证的建模方法，该方法需纳入人操作员及其与系统的交互，以提供关于操作员晕动症与绩效的概率性保证。为弥补这一空白，本文引入一种数学上可验证的晕动症模型，并结合通过离散时间马尔可夫链（DTMC）实现的任务绩效模型。组合DTMC对操作员随时间发展的晕动症及其在正常与不利条件下安全关键任务中对任务绩效的影响进行建模。该模型将暴露时长作为关键参数纳入，暴露时长是AR诱发晕动症的主要贡献因素。该建模方法的目标是通过形式化验证推导认知系统的概率性安全保证，从而为AR系统设计提供依据，使系统在操作员经验证的安全操作界限内运行。
背景方面，AR应用在训练操作员以增强态势感知与支持决策方面具有显著潜力。然而，晕动症仍是AR中的障碍，引发恶心、定向障碍与眼疲劳等症状，损害操作员认知与绩效。在对抗环境中，敌对方可能通过操纵延迟等AR系统参数来故意诱发或放大症状，从而利用晕动症。形式化方法为建模与验证系统行为及开发概率性性能保证提供了数学工具。尽管在航空电子与自主系统等关键领域，形式化方法常用于建模系统行为及对安全与性能标准的符合性，但其应用于认知系统建模是一个新的研究领域。初步结果表明，形式化方法在建模晕动症、感知与注意等认知状态方面具有一定前景。晕动症建模工作主要依赖机器学习预测其发作与严重程度。近期研究开始将形式化方法应用于虚拟现实（VR）诱发的晕动症。例如，Smith（2024）采用马尔可夫链，Wu等（2025）采用贝叶斯网络来建模晕动症并开发形式化保证。尽管这些工作标志着重要进展，但它们通常孤立地处理晕动症，未将其时间演进与操作员任务绩效明确关联，对系统对抗性操纵的洞察也有限。本文针对这些局限，引入一种在正常与对抗条件下基于AR的军事任务场景中晕动症与任务绩效的形式化模型。
在模型开发方面，为构建模型，研究人员开展了文献综述以识别与AR晕动症相关的关键因素，随后设计了军事相关任务场景。综述强调暴露时长是AR中晕动症的关键贡献因素，其后被纳入作为主要模型参数。已有工作表明晕动症强烈依赖于时间，通常在暴露前10分钟内出现，并在30至40分钟内加剧。这促使需要一种时间依赖的晕动症模型，以捕捉长时间暴露下晕动症的时间动态。基于综述，研究人员开发了一个任务场景，以考虑晕动症的时间依赖性进展，并进一步为模型中人与AR交互的构建奠定基础。该场景是在透视式AR中实现的检查站监视任务，模拟真实防御任务。在该场景中，操作员位于高处佩戴AR头戴式显示器，须在40分钟内监视下方人群中的每个经过实体，并将其分类为敌对（携带背包）或友好（未携带背包）。操作员在任务中的动作经过三个阶段：扫描与选择实体、做出决策、最终确定分类。该模型分为两个功能单元：晕动症模块与任务模块。晕动症模块捕捉晕动症的时间依赖演进，任务模块捕捉晕动症对任务绩效的影响。晕动症模块与任务模块之间的有限耦合提供了一种直接方法，可在不改变晕动症模块的情况下更改或添加任务到整体模型。两个模块均采用离散时间马尔可夫链（DTMC）表述，DTMC常用于工程与自然科学中建模随机系统行为。DTMC将系统表示为具有概率转移的有限状态集，其中转移到下一状态的概率仅取决于当前状态。给定一个状态，下一状态在离散时间间隔内根据输出转移中的概率进行概率性选择。晕动症模块使用两个状态序列——未患病（Not Sick）与患病（Sick）——表示操作员随时间的晕动症，并通过两个序列之间的转移捕捉操作员患病状态变化的可能性。由于暴露时长影响晕动症，该模块通过无环序列纳入此因素，其中每个后续状态表示每个时间步的晕动症。换言之，序列中的每个状态表示特定时间点（如5分钟间隔）的晕动症水平，从而可在整个暴露期内追踪症状进展。该晕动症组件可轻松扩展以包含更细的时间分辨率或更长的持续时间（更长的序列）、从患病到未患病状态的额外转移，或多级患病程度。需注意，模型越复杂（状态与转移数量越多），Prism（概率模型检查器）等模型检查工具验证保证所需时间越长。对于非常大的模型，该时间可能妨碍验证。因此，在定义模型时必须考虑验证时间与模型保真度之间的权衡。任务绩效模块捕捉操作员在三个阶段的动作：扫描/选择（Scanning/Selecting）、决策（Deciding）与已决策（Decided），反映任务中实现的工作流：扫描与选择实体、做出决策（友好或敌对）、最终确定分类。在此情况下，将这两个模块组合为单一DTMC是有问题的，因为所有状态以相同速率转移。在绩效模型中，选择与决策时间在秒量级，而患病状态仅每5分钟变化一次。为解决此问题，可在患病状态之间插入延迟链以计入以秒计的时间。延迟链简单而言是一个状态序列，其中每个状态以概率1转移到序列中的下一状态。任务DTMC组件建模了三个绩效指标：扫描/选择时间、决策时间与决策正确性。决策正确性可通过在模型中添加正确决策状态与错误决策状态直接建模。扫描/选择的响应时间通过从扫描/选择状态到决策状态的转移序列建模，决策时间类似建模。该序列中的每个状态可选择移动到序列中的下一状态或决策序列。通过指定这些概率，可实现任意有限响应分布曲线。由于循环的单次遍历时间可能不同，在晕动症DTMC的一个5分钟周期内可能发生多个循环（决策）。此外，通过使用与时间无关的循环，响应模型不考虑任务中的总体时间。由于操作员患病时绩效可能不同，定义了第二个DTMC来建模操作员患病时的响应时间。这两个响应DTMC通过晕动症DTMC中的状态（患病或未患病）链接。晕动症DTMC与任务DTMC通过状态叉积构造组合，该构造在大多数模型检查工具中通常自动构建。需注意，若响应曲线可由指数分布表示，则模型可使用连续时间马尔可夫链构建，并使用Erlang分布的近似来产生对上述DTMC晕动症模型的近似。
在方法演示过程中，该方法可通过利用初步研究数据生成足够的模拟数据来创建模型及其转移概率进行演示。模型随后被转换为PRISM语句以对所需性质进行模型检查。总体而言，该过程需要：（1）执行少量初步实验；（2）从实验数据中提取相关统计数据；（3）利用这些统计量生成具有相似统计量的模拟参与者数据；（4）将模拟参与者数据当作真实数据处理；（5）生成Prism代码并验证性质。实验数据收集方面，研究人员对18名参与者（8名男性，10名女性）进行了有限数量的实验，平均年龄24岁（范围：18–39）。参与者执行检查站监视任务40分钟。晕动症采用Keshavarz与Hecht（2011）开发的改编快速晕动症（FMS）量表测量，参与者对其晕动症严重程度从0（无晕动症）到10（严重晕动症）进行评分。任务绩效通过AR应用记录的事件收集的响应时间与决策正确性测量。模拟数据生成方面，利用初步研究数据生成模拟数据以创建模型，算法包括：提取每分钟及每名参与者的FMS值；按实验期间最大FMS值对每名参与者的FMS数据排序；使用最大FMS值范围对参与者聚类并确定各聚类中参与者的百分比；对每个范围内的参与者聚类，计算每分钟的平均FMS值及标准差；对每个参与者聚类，拟合三次多项式到每分钟平均FMS值；对所有参与者，对每个FMS值计算每个1分钟时间块内的平均扫描/选择时间与平均决策时间；对所有参与者，对每个FMS值计算每个1分钟时间块内正确与错误决策的百分比；运行模拟数据生成软件，使用上述6和7的数据生成与统计量近似一致的参与者模拟数据。模型生成与保证测试方面，运行模型生成软件从生成的模拟数据产生晕动症马尔可夫模型与任务马尔可夫模型；生成Prism代码并验证性质；运行转换器软件将晕动症模型转换为Prism源代码；使用生成的模型与所需性质运行Prism以验证模型。
在结果方面，实验数据分析（步骤2）得出三个 distinct 聚类。第一聚类代表29%的参与者在整个实验期间维持FMS值为0（即无晕动症）。第二聚类代表中间43%的参与者，最大FMS值范围为0至3。第三聚类代表最高29%的参与者，其最大FMS值达到5至6之间。由于实验数据未一致覆盖所示完整数学空间，为解决此问题，研究人员使用Excel曲线拟合工具用多项式拟合数据。测试了从线性到四次多项式的模型，并根据R^2值选择最佳拟合。三次多项式提供最高R^2，因此用于为患病与未患病组生成FMS值，填补数学空间中的空白。模拟数据生成与晕动症模型方面，使用定制软件从模拟数据生成马尔可夫模型，生成了晕动症模块。绩效模型方面，当FMS评分在0至3之间（未患病）时，模型计算平均扫描/选择时间为10.99秒，平均决策时间为3.0秒，决策正确性为97.7%。当FMS评分在4至10之间（患病）时，模型计算平均扫描/选择时间为13.42秒，平均决策时间为3.0秒，决策正确性为98.5%。基于PRISM模型检查的保证方面，从晕动症模块使用定制软件将其转换为PRISM代码。随后使用样本保证测试PRISM模型。从两个模型组合导出的两个示例保证（括号内为数学表达式）为：小于或等于35%的操作员最终患病（p ≤ .35 [ F G Sick = 1 ]）；小于5%的操作员在20分钟 elapsed 之前患病（p ≤ .05 [ F (t < 1,200 & Sick = 1) ]）。
在讨论与结论部分，本文提出了一种初步方法，应用形式化方法采用DTMC建模AR环境中的晕动症及其对任务绩效的影响。该模型通过使用从初步实验数据生成的模拟数据，能够对晕动症发作与操作员绩效退化的界限进行概率验证。模型表明绩效随晕动症发作而退化，具体表现在扫描与选择时间上（决策时间恒定，决策正确性保持高位）。该建模方法使得能够超越纯预测性晕动症模型，转向提供操作员在晕动症下患病与绩效的可量化保证的方法。尽管当前模型基于从有限初步数据集生成的模拟数据，但它为更全面的数据驱动建模奠定了基础。未来工作将聚焦于纳入更大的经验数据集、额外贡献因素与更复杂的任务场景，以提高模型保真度与适用性。
