《Scientific Reports》：Chatbot rating scale (CHARS): Development and validation of a new tool for assessing the quality of health and social care chatbots
编辑推荐：
聊天机器人（chatbots）在医疗保健领域的部署日益增多，然而用于评估其质量的标准化工具仍然匮乏。本研究旨在开发并验证一种新型多维评估工具——聊天机器人评定量表（Chatbot Rating Scale, CHARS），用于全面评估健康与社会照护聊天机器人的
聊天机器人（chatbots）在医疗保健领域的部署日益增多，然而用于评估其质量的标准化工具仍然匮乏。本研究旨在开发并验证一种新型多维评估工具——聊天机器人评定量表（Chatbot Rating Scale, CHARS），用于全面评估健康与社会照护聊天机器人的质量。本研究采用序贯多方法设计开发和验证CHARS。第一阶段通过快速与全面文献综述及改良德尔菲法（modified Delphi process）识别聊天机器人质量的关键域并生成量表条目。第二阶段进行心理测量学评价，包括预测试、结构效度评估、信度分析及因子结构确定。经三轮德尔菲法（由24名专家参与，包括临床医生、心理测量学家、信息技术专家、研究生及终端用户）对条目进行精炼。在对10个聊天机器人进行预测试后，979名参与者（包括卫生专业人员、研究人员、心理健康专家及终端用户）使用CHARS（5点Likert量表）对36个健康与心理健康聊天机器人进行评价。因子效度采用平行分析（parallel analysis）、探索性因子分析（exploratory factor analysis, EFA）和验证性因子分析（confirmatory factor analysis, CFA）进行评估，内部一致性采用Cronbach's alpha在R软件（版本4.4.2）中评价。改良德尔菲研究最终形成包含25个条目、分布于5个初始维度的精炼量表。实证分析支持三因子结构，即：（1）设计（Design），（2）交互式用户体验（Interactive User Experience，包括个性化、参与度和可用性），（3）功能性（Functionality），其内部一致性（Cronbach's alpha）分别为0.90、0.88和0.90，均表现优异。CHARS全部25个条目的因子载荷和评分者间相关系数均较高，因子2（设计，ICC = 0.88）的标准化载荷范围为0.79至0.87，因子1（交互式用户体验，ICC = 0.98）为0.77至0.87，因子3（功能性，ICC = 0.90）为0.83至0.87，均具有统计学显著性（p < .001）。全部25个德尔菲法衍生条目均被保留并在三个因子间重新分配，保持了对聊天机器人质量维度的全面覆盖。CHARS是一种新型的、心理测量学稳健的、以用户为中心的评估工具，将关键体验与功能属性整合为简洁的三维模型。其开发过程凸显了用户感知在整合性体验品质上的趋同性，为聊天机器人评估提供了实用且具有理论依据的工具。未来研究应在不同文化和技术背景下检验其普适性，并考察其对用户参与度的预测效度。
研究背景：聊天机器人（chatbots）是人工智能驱动的对话代理（conversational agents），能够通过文本、语音和/或图像理解并回应用户查询。全球已有超过100万个聊天机器人服务逾14亿用户。在医疗保健领域，聊天机器人已应用于健康促进、疾病预防、患者监测、心理健康支持和行政任务等场景，具有个性化指导、优化工作流程和支持临床决策等潜在优势。然而，关于其有效性的证据仍不一致，存在准确性有限、患者隐私风险、患者信任度不一以及难以整合到现有临床工作流程等问题。聊天机器人质量评估面临的突出问题是缺乏标准化工具：多数用户依赖应用商店的"星级评分"等流行度指标，缺乏有意义的质量证据；系统可用性量表（System Usability Scale, SUS）虽应用广泛，但为单维度工具，高度主观，不适用于聊天机器人等先进技术，且排除了美学、个性化和参与度等关键要素；移动应用评定量表（Mobile App Rating Scale, MARS）专为静态移动应用设计，未充分考虑聊天机器人特有的自然语言交互、可信度和个性化等特征，且未经验证性因子分析验证其因子结构。已有的聊天机器人特异性评定量表（如Borsci等开发的可用性量表）仅关注可用性和功能性，忽略了美学和个性化等维度。因此，亟需在现有工具优势基础上，开发一种简洁、多维、以用户为中心的健康与社会照护聊天机器人质量评估工具。研究目的为开发并验证CHARS——一种简洁、可靠、多维的评估工具，用于评价健康与社会照护聊天机器人的质量，使其便于研究人员、开发者和医疗从业者在最少培训条件下使用。
研究人员开展了序贯多方法研究：第一阶段通过快速综述和全面文献综述（检索PubMed、Scopus、PsycINFO、Web of Science、ScienceDirect和IEEE Xplore六个数据库，时间范围为2001年1月至2024年12月）生成条目池，并通过三轮改良德尔菲法（24名多学科专家参与，预设共识阈值为80%）精炼条目；第二阶段进行心理测量学评价，包括对10个聊天机器人的预测试和由979名参与者对36个健康与心理健康聊天机器人的正式评定，采用平行分析、探索性因子分析（EFA）和验证性因子分析（CFA）评估因子结构，以Cronbach's alpha评价内部一致性，并进行性别组的测量不变性检验。研究结论为：CHARS是一种新型的、心理测量学稳健的、以用户为中心的评估工具，将关键体验与功能属性整合为简洁的三维模型（设计、交互式用户体验、功能性），为聊天机器人评估提供了实用且具有理论依据的工具。其重要意义在于：CHARS是首个专为评估健康与心理健康聊天机器人多维质量而开发的综合量表，超越了现有仅关注单一维度的窄域工具，整合了交互式用户体验、设计和功能性于一体，为研究人员、开发者和医疗从业者提供了标准化框架，有助于系统评估和比较数字健康聊天机器人，最终支持更安全、更有效的部署。
关键技术方法：研究人员采用序贯多方法设计。第一阶段通过快速综述与全面文献综述（检索六个电子数据库，2001年1月至2024年12月）生成67个初始条目，经三轮改良德尔菲法（24名多学科专家，预设80%共识阈值）精炼为25个条目。第二阶段对10个聊天机器人进行预测试后，招募979名参与者（年龄20–35岁，便利抽样，来自专业网络和在线社区）对36个聊天机器人进行评定，采用"提示链"（prompt chaining）标准化交互协议，通过KoboCollect平台采集数据，使用R软件（版本4.4.2）进行平行分析、EFA、CFA、Cronbach's alpha信度分析及测量不变性检验。
研究结果：
聊天机器人评定量表的开发：初步检索获得3678篇文献，经去重和筛选后32篇符合纳入标准，内容分析生成67个聊天机器人评估条目，迭代映射为五维框架。
德尔菲研究结果：经三轮迭代专家评估，67个条目被系统精炼，最终形成25个条目、分布于5个概念相关的构念（设计、个性化、参与度、可用性和功能性），所有保留条目在相关性、清晰性和适当性方面均达到至少80%的专家共识，内容效度良好。
聊天机器人的系统评价与量表预测试：通过主要应用商店系统检索，初步识别314个聊天机器人，经筛选后36个符合条件的健康与心理健康聊天机器人纳入验证研究，其中10个用于预测试以完善CHARS评定流程。
CHARS心理测量学验证——参与者信息：大多数参与者为女性（69.6%），男性占30.4%；48.8%为聊天机器人初学者，38.0%具有中级经验，仅10.1%报告高级熟练度；31.6%每日使用聊天机器人，87.2%主要通过智能手机访问。
KMO与Bartlett检验：KMO取样适切性量为0.98，各条目MSA值范围为0.96至0.99；Bartlett球形检验显著（χ2 = 21,132.85，df = 300，p < 0.001），确认适合进行因子分析。
平行分析：平行分析揭示清晰的三因子结构，因子1（MR1）解释最大方差（32.9%），以可用性和参与度条目为主（载荷0.576–0.901）；因子3（MR3）解释12.6%方差，代表功能性（载荷0.716–0.881）；因子2（MR2）解释10.0%方差，对应设计（载荷0.631–0.806）。三因子共解释55.5%的总方差，交叉载荷极小。碎石图确认保留三个因子。
探索性因子分析：采用最小残差法（minres）配合oblimin旋转的EFA确认三因子解，共解释68%的总方差（因子1为38%，因子2为17%，因子3为13%）。因子1包含全部可用性和参与度条目及多数个性化条目，形成整合的用户体验构念；因子2代表功能性（载荷0.72–0.88）；因子3反映设计（载荷0.63–0.81）。因子间相关性显著（MR1–MR3 = 0.77；MR1–MR2 = 0.71），模型拟合良好（RMSEA = 0.055，TLI = 0.958，RMSR = 0.02）。
验证性因子分析：CFA结果强力支持三因子模型结构，CFI = 0.998（scaled = 0.978），TLI = 0.998（scaled = 0.975），RMSEA = 0.049（90% CI：0.043–0.054），SRMR = 0.033。全部条目因子载荷高且统计显著（p < 0.001），标准化载荷范围为因子1：0.77–0.87，因子2：0.79–0.87，因子3：0.83–0.87。校正条目-总分相关系数范围为0.705至0.814，潜在因子间标准化协方差为0.73至0.88，均显著（p < 0.001）。
信度：因子1（交互式用户体验）Cronbach's alpha为0.88，因子2（设计）为0.90，因子3（功能性）为0.90，均超过0.70的最低推荐阈值。平均评分者的组内相关系数（ICC）为0.97（95% CI：0.97–0.98），评分者间信度极高。
测量不变性评估：男性基线模型（χ2 = 975.842，df = 272，CFI = 0.976，RMSEA = 0.073）和女性基线模型（χ2 = 942.163，df = 272，CFI = 0.980，RMSEA = 0.071）均拟合良好。形态不变性（CFI = 0.979，RMSEA = 0.071）、度量不变性（CFI = 0.983，RMSEA = 0.063；ΔCFI = 0.004，ΔRMSEA = 0.008）、标量不变性（CFI = 0.981，RMSEA = 0.063；ΔCFI = –0.002）及严格不变性（χ2 = 972.469，df = 647，CFI = 0.990，TLI = 0.991，RMSEA = 0.045，SRMR = 0.039）均得到支持，表明测量误差和残差方差在性别间亦等价。
模型拟合指数：CFI和TLI分别为0.95和0.94，超过0.90的可接受阈值；RMSEA为0.045（90% CI < 0.06）；SRMR为0.041，远低于0.08的 cutoff 值，表明模型拟合良好。
讨论部分总结：本研究提供了CHARS开发和验证的证据。初始概念化基于严格的改良德尔菲法产生五个理论维度（设计、个性化、参与度、可用性和功能性），但后续探索性和验证性因子分析揭示了更为简洁的三因子结构，其中EFA将原个性化、参与度和可用性维度合并为单一维度，重新命名为交互式用户体验（Interactive User Experience），与设计（因子2）和功能性（因子3）并列。这一合并反映这些维度在终端用户感知中概念交织，代表整合性体验构念而非独立品质。据研究人员所知，CHARS是首个为评估健康与心理健康聊天机器人多维质量而开发的综合量表，超越了现有主要关注单一领域的窄域工具。与MARS相比，CHARS提供了更全面的评估框架，捕捉聊天机器人独特的交互、设计和功能特征。与BUS-15（主要强调可用性而省略设计和功能性等关键领域）和AICSQ（聚焦功能性和服务交互）以及CASUX（强调体验方面而未涉及性能或技术稳健性）相比，CHARS将交互式用户体验、设计和功能性整合为单一验证工具。本研究还引入了"提示链"（prompt chaining）程序以标准化用户与聊天机器人的交互，确保更客观可靠的评估，这是以往心理测量学研究未明确报告的方法学创新。研究结果具有理论和实践意义：CHARS的多维结构表明终端用户对聊天机器人质量的评估涵盖多个相互关联的维度；最终结构提供了简洁而全面的评估工具；对从业者而言，结果强调需要优先采用整合性设计策略。研究局限性包括：维度的重构需要在不同文化、语言和技术背景下进一步研究以确保普适性；未来应检验预测效度，包括CHARS维度与持续使用、信任形成和用户满意度等行为结局的关系；纵向研究可阐明这些维度的感知是否随时间保持稳定；交互式用户体验维度整合了多个子领域，可能掩盖用户感知的细微差异。CHARS对多样化人群、新兴聊天机器人技术和纵向用户体验的适用性仍是未来评估的重要领域。
研究结论翻译：总之，CHARS量表是一种新型的、心理测量学合理的、具有理论依据和实证验证的评估工具，用于评估对话式和人工智能聊天机器人的质量。虽然基于专家共识，但其最终结构反映了用户对交互质量的整体感知，将重叠领域整合为精简的三因子模型，同时不损害内容覆盖度。从五个概念维度到三个实证因子的演变，不仅强化了以用户为中心的验证在量表开发中的首要地位，也为设计兼顾功能性、个性化和体验流畅性的下一代对话代理提供了可操作的见解。
