《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Cognitive Walkthrough Versus Usability Testing: Evaluating a GI Symptom-Tracking Application for Caregivers
编辑推荐：
本研究比较了两种可用性评估方法——认知走查（Cognitive Walkthrough, CW）和可用性测试（Usability Testing, UT）——在识别一款面向神经发育障碍（neurodevelopmental disorders, NDDs）患者
本研究比较了两种可用性评估方法——认知走查（Cognitive Walkthrough, CW）和可用性测试（Usability Testing, UT）——在识别一款面向神经发育障碍（neurodevelopmental disorders, NDDs）患者照护者的胃肠道（GI）症状追踪应用中的设计问题方面的效果。数字健康工具日益支持照护者追踪症状和管理照护，但不良的可用性可能损害这些工具旨在捕获的健康数据的完整性。三名CW评估者和七名UT参与者使用该应用完成了相同的六项任务。两种方法共识别出17个可用性问题：其中6个被CW和UT同时发现，4个仅由CW发现，7个仅由UT发现。CW揭示了系统层面和工作流问题，如流程中断、缺少反馈和误导性导航；而UT则揭示了体验层面的挑战，包括困惑、沮丧以及对应用预期目的的误解。本研究还描述了如何将两种方法确认的问题用于在资源受限条件下优先安排重新设计决策。
数字健康工具在照护领域日益普及，尤其是用于支持慢性病或特殊人群的症状追踪。这些工具可帮助照护者记录和管理症状，辅助护理决策。然而，如果应用可用性差，用户可能录入错误或不完整的数据，进而损害健康数据完整性，削弱嵌入式研究（如肠道运动研究）的数据有效性，并增加照护者负担。因此，需对症状追踪应用进行严格的可用性评估。认知走查（Cognitive Walkthrough, CW）和可用性测试（Usability Testing, UT）是两种常用方法：CW由专家评估者模拟新手用户的认知过程，预测潜在困难；UT则观察真实用户在交互中出现的行为和问题。因专家与用户视角不同，二者可能识别出不同类型的可用性问题。既往文献提示，用户测试通常只能揭示阻碍用户实际完成工作、任务或目标的问题，而专家评估有助于识别更广泛的系统级问题。因此，单一评估方法可能无法全面揭示系统的可用性问题。本研究针对一款面向神经发育障碍（neurodevelopmental disorders, NDDs）患者照护者的胃肠道（GI）症状追踪应用，比较CW和UT在相同任务下检出的可用性问题，旨在为评估方法选择及重新设计优先级提供实证依据。
研究人员使用同一套六项任务评估这款GI症状追踪应用。两种方法共识别出17个可用性问题，其中6个由CW和UT共同发现，4个仅由CW发现，7个仅由UT发现。CW主要揭示系统层面和工作流问题，如流程中断、缺失反馈和误导性导航；UT则揭示体验层面的问题，如困惑、沮丧和对应用目的的错误理解。在重新设计资源有限的条件下，团队将两种方法共同确认的问题列为更高优先级。该研究表明，单独使用一种方法无法全面覆盖可用性问题，两种方法结合能提供互补视角，重叠发现可作为资源受限时实际可行的优先化信号。
**关键方法**
研究人员采用CW和UT评估同一款GI症状追踪应用。CW由三名具有用户体验研究和设计学术训练但CW经验有限的评估者独立执行，运用四问题框架对六项任务逐步分析，记录动作成败并合并分类。UT招募了七名经迈阿密大学机构审查委员会批准并知情同意的NDD患者照护者，通过Userlytics平台进行远程有主持测试，要求参与者出声思考完成相同任务。两种方法使用相同的六项任务和场景，任务涵盖查找肠道运动（motility）研究信息、启动研究、记录排便、完成两个研究阶段等。数据通过电子表格汇总和主题提取分析。
**结果与讨论**
总共识别出17个可用性问题，其中6个重叠，4个为CW独有，7个为UT独有。UT识别的独特问题多于CW，这一模式与既往文献相反，可能受CW评估者新手身份或应用面向照护者的特性影响。
按问题类别分析，导航、指导清晰度和功能性出现频率最高，术语/标签和缺乏反馈也较常见，而设计和布局问题较少。该分布表明，用户的主要障碍更多来自交互流程和理解层面，而非视觉呈现。
CW尤其善于发现用户未能察觉或无法表述的系统结构问题，包括意外重定向、缺少操作确认、系统反馈不清、任务描述不完整、误导性导航以及功能缺失。因为CW评估者依据四问题框架逐步检查每个动作，可能探索到用户任务完成之外的替代路径。
UT则展示了真实用户的操作表现和情感反应，包括困惑、沮丧和犹豫。任务完成结果显示，多数参与者无法完成排便记录任务，且许多参与者认为该应用适用于一次性或短期使用，而非长期日常追踪。这种理解偏差影响了他们的交互方式。UT还发现了与真实世界使用和用户期望相关的独特问题，如应用记录方式与用户既有追踪习惯不一致、多步骤重复录入负担，以及用户对何时记录和如何记录的不确定性。
在重新设计资源受限的条件下，团队优先处理由两种方法共同确认的问题。这些问题既被CW评估者认定为设计缺陷，也被UT用户在任务中实际经历，因此被赋予更高优先级。重叠问题主要集中在导航、标签和视觉层次方面。
**讨论与结论**
讨论指出，CW和UT在可用性问题上有明显重叠，但各自也提供了独特见解：CW聚焦于系统和结构层面，UT强调用户体验层面。重叠部分突出了关键的设计缺陷，非重叠部分则反映各方法的特定优势。研究局限性包括CW评估者为新手，可能影响问题识别深度；然而结构化四问题框架可能部分弥补经验不足。此外，两种方法样本量较小，因此仅作描述性比较，结果应视为探索性而非可推广性结论。
CW和UT为照护者健康应用提供了重叠但不同的可用性发现。二者识别的共同主题包括导航、可学习性、术语、指导清晰度、数据输入和系统反馈，但揭示的问题类型不同：CW强调结构性问题，如流程中断、步骤不清和功能缺口；UT则显示真实用户在何处犹豫、困惑或误解应用目的。尽管CW通常建议由经验丰富的评估者使用，本研究的CW评估者虽为新手，但拥有用户体验设计训练。总体而言，两种方法结合比单独使用更能呈现应用的完整可用性图景。当重新设计资源有限时，方法间重叠可作为一种实用的优先级判断依据。
