设计以用户为中心的评价:利用Beta测试(β-testing)结果制定AMPLIFY项目的过程评价(Process Evaluation)访谈问题

《PLOS Digital Health》:Designing user-centered evaluations: Leveraging beta-testing results to develop process evaluation interview questions for the AMPLIFY program

【字体: 大 中 小 】 时间:2026年07月08日 来源:PLOS Digital Health 7.7

编辑推荐:

  在数字化健康项目(Digital Health Program)全生命周期中,结合终端用户反馈进行完善是确保项目开发全程纳入用户视角的关键。研究人员通过Beta测试阶段的"出声思维(Think Aloud)"访谈探索受试者对项目参与度(Engagement)、

  
在数字化健康项目(Digital Health Program)全生命周期中,结合终端用户反馈进行完善是确保项目开发全程纳入用户视角的关键。研究人员通过Beta测试阶段的"出声思维(Think Aloud)"访谈探索受试者对项目参与度(Engagement)、满意度(Satisfaction)、动机(Motivation)及有用性(Usefulness)的感受,其结果可用于辅助制定后续在疗效验证(Efficacy Testing)阶段实施的过程评价(Process Evaluation)访谈提纲。本文描述了如何利用Beta测试"出声思维"访谈结果,指导针对AMPLIFY(一款面向老年癌症幸存者的网络饮食与运动项目)疗效试验中所用用户中心化过程评价半结构化访谈问题的设计。Beta测试受试者(n=15)需在6个月内通过视频会议平台完成三次"出声思维"访谈;最终完成40次访谈(含早期退出者)。研究人员对转录文本采用多步分析:1)将Beta测试"出声思维"结果中建议的改进点按受试者的喜好(喜欢、不喜欢或困惑)分类整理;2)按采纳可行性(可行/不可行)、建议变更类型(格式Formatting/内容Content)及潜在改进目标(参与度、满意度、动机、有用性)对建议归类。判定可行的改进分为格式改进(呈现/组织方式变更)和内容改进(信息的新增、删除或修改),并按四个过程评价构念——参与度、满意度、动机、有用性——进行映射。基于上述结果制定了疗效试验阶段使用的用户中心化过程评价半结构化访谈问题。该方法为其他数字健康干预(Digital Health Intervention, DHI)的开发与评价提供了参考范式。
一、研究背景与目的
在数字健康干预(Digital Health Intervention, DHI)的开发流程中,Beta测试(β-testing)是项目 refinement(完善)的关键环节,通常在正式疗效或有效性检验前进行,常采用"出声思维(Think Aloud)"访谈收集终端用户使用体验并据此优化程序。然而,现有文献缺乏将Beta测试所得定性数据系统转化为后续疗效试验中过程评价(Process Evaluation)访谈提纲的方法学指导。过程评价旨在从参与者角度考察干预可接受性(Acceptability)与使用行为,而Beta测试中暴露的用户痛点及改进目标(如影响参与度Engagement、满意度Satisfaction、动机Motivation、感知有用性Perceived Usefulness的要素)恰可为过程评价指标提供实证依据。若能将二者关联,既可保持研究中用户视角的连续性,又能验证Beta阶段提出的问题是否在更大样本中得以解决。为此,研究人员以面向≥50岁肥胖相关癌症幸存者设计的网络饮食与运动综合项目AMPLIFY(AiM, Plan, and act on LIFestYles)为例,提出一套将Beta测试"出声思维"访谈结果链接至过程评价访谈问题开发的系统化流程,确保评价聚焦于用户真实关注点。该论文发表于《PLOS Digital Health》。
二、主要关键技术方法
研究人员采用分层抽样招募15名符合纳入标准的老年癌症幸存者(≥50岁、肥胖相关癌种、有无线网络),随机分入单纯饮食、单纯运动或饮食+运动联合干预组,进行7–12个月Beta测试。通过Zoom开展三阶段"出声思维"访谈(使用第1月后Phase 1、第2–6月后Phase 2、第7–12月后Phase 3),含可用性任务与半结构化追问,共完成40次访谈并逐字转录。采用NVivo 12 Plus进行定性内容分析(Qualitative Content Analysis),由两名编码员达成≥90%编码一致性,按用户态度(喜欢/不喜欢/困惑)标记改进建议;再由项目组评估可行性(技术上/预算内可行或不可行)、变更类型(格式Formatting vs. 内容Content)及改进目标(提升Engagement、Satisfaction、Motivation、Usefulness)。可行改进进一步映射至基于系统综述确定的四个过程评价构念——参与度(Engagement)、满意度(Satisfaction)、动机(Motivation)、有用性(Usefulness),据此编制疗效试验阶段半结构化过程评价访谈提纲。
三、研究结果
Results(结果概述)
15名Beta测试者(平均64±10岁,53%女性,41%非裔美国人)完成40次访谈。共记录1081条评论,50.87%为正面(喜欢),49.12%为负面或建议修改。其中94.4%(n=501)的建议被开发团队判定为可行采纳。可行改进中27.9%(n=140)为格式改进,70.5%(n=353)为内容改进,并按四构念映射。各阶段建议数随程序迭代递减(Phase 1: 245条;Phase 2: 144条;Phase 3: 112条)。
Formatting refinements(格式改进)
Phase 1格式建议侧重增强有用性、满意度及网站参与度;Phase 2聚焦跨设备(手机/电脑/平板)适配以降低使用障碍;Phase 3集中于工具清晰度与易用性以提升有用性与满意度。例如按建议增加页面返回箭头(Back Arrow)。
Content refinements(内容改进)
Phase 1建议包括增加族裔多样性素材、增设用户交流论坛(后开通AMPLIFY Facebook页)以提升动机与参与;Phase 2要求明确目标预期、预览后续课程、减少过度自我监测(如My Progress页每日步数记录频率);Phase 3强调针对不同体能限制增加可替代运动示范、社交就餐饮食技巧及解释重复信息之教育目的,以强化参与、动机与有用性。所有内容变更经注册营养师及肿瘤学、老年医学专家审核以保证干预保真度(Program Fidelity)。
Application to the process evaluation interview questions(过程评价访谈问题的应用)
将Beta测试中按构念归类之改进条目直接转化为半结构化访谈题。如针对导航困难建议加返回箭头这一Satisfaction与Usefulness相关改进,制定过程评价问句"What features made navigating the website easy/difficult?"。问题保持开放性使用户可自由表达对Engagement、Satisfaction、Motivation、Usefulness的看法。
四、讨论与结论翻译
讨论指出,将Beta测试"出声思维"结果经定性内容分析—可行性筛选—构念映射的流程链接至过程评价访谈设计,填补了方法学空白并可推广至其他网络饮食运动干预的过程评价。因不同构念在各Beta阶段侧重不同,提示过程评价也宜在多时间点收集定性数据。局限性含样本量较小、部分用户难以精确表达修改诉求、"参与度/满意度/动机/有用性"定义存在重叠。研究优势在于聚焦高龄癌症幸存者这一高需求群体,样本具性别与种族多样性,且完整呈现分析步骤链路。
结论(翻译):
过程评价日益常用于从参与者及终端用户视角评估干预可接受性与使用情况。本研究表明,将疗效试验前Beta测试"出声思维"访谈结果关联至后续研究阶段,可有效指导用户中心化过程评价访谈问题的制定。开展网络饮食与运动项目疗效试验的过程评价研究者可借鉴此法以保持评价的用户中心导向。未来需进一步探究Beta测试方法、假设与各构念间关联对该方法价值的界定,包括大语言模型(Large Language Model, LLM)与生成式人工智能(Generative AI)在提升泛化性与效率方面的潜力。但需注意并非所有数字项目开发情境均适用此跨阶段链接,后续用户中心化过程评价研究应明确该方法适用场景与价值。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号