《PLOS Digital Health》：Evaluating user experiences with an AI chatbot for health-related social needs: A cross-sectional mixed methods study
编辑推荐：
未满足的健康相关社会需求（health-related social needs, HRSNs）显著影响健康。尽管筛查工具已经存在，但将个体与资源相连接仍然困难。聊天机器人（chatbots）为个性化、实时导航提供了潜在解决方案，但其可用性和可信度，尤其是在高
未满足的健康相关社会需求（health-related social needs, HRSNs）显著影响健康。尽管筛查工具已经存在，但将个体与资源相连接仍然困难。聊天机器人（chatbots）为个性化、实时导航提供了潜在解决方案，但其可用性和可信度，尤其是在高需求人群中，仍需进一步研究。研究人员开展了一项混合方法研究，纳入128名照护者，以评估一款旨在识别HRSNs并推荐资源的AI聊天机器人DAPHNE。收集了关于可用性、任务负荷、满意度和信任度的数据，以及定性反馈和对话转录文本。回归分析和配对分析探讨了人口学特征、HRSNs与用户体验之间的关联。参与者大多为女性（68%）、30–49岁（71%）、白人（44%）或黑人或非裔美国人（36%），依赖医疗补助或医疗保险（Medicaid/Medicare，83%），并照护有特殊医疗保健需求的儿童（78%）。他们报告了高可用性（系统可用性量表（System Usability Scale, SUS）= 84.7）、低任务负荷（美国国家航空航天局任务负荷指数（National Aeronautics and Space Administration Task Load Index, NASA-TLX）= 6.8）、高满意度（净推荐值（Net Promoter Score, NPS）= 8.0）和高信任度（均值 = 4.1）。几乎所有参与者（98%）报告存在未满足的HRSNs，包括食物不安全（76%）和经济限制（75%）。聊天机器人会话平均持续3分钟/20轮对话。DAPHNE在1,523轮对话中实现了99%的意图准确率，重点关注经济、住房和食物需求。可用性和信任度在不同人口学特征间保持一致，尽管较高教育程度和较低收入群体的可用性略有下降。某些HRSNs（交通、公用事业中断）与更高的信任度和满意度相关，提示其对照护者面临结构性障碍时具有特定价值。DAPHNE在多样化群体中表现出较强的可用性和信任度。未来设计应关注纵向影响和有效性，以改善可及性和实际实施。该研究支持数字社会照护实践，并提供实证证据表明聊天机器人能够吸引弱势人群参与，以支持未满足的HRSNs。
**研究背景与问题**
健康相关社会需求（health-related social needs, HRSNs），如住房稳定、交通、食物保障、医疗可及性和经济稳定性，占可改变健康结局的一半以上，并与发病率升高、医疗利用增加和过早死亡密切相关。这些需求沿收入、种族和地理界线聚集，加剧了健康结局的不平等。儿童尤为脆弱：持续的物质剥夺损害身体、情感和认知发育，并预测较差的成年健康结局。尽管儿科和成人医疗环境中普遍推荐常规HRSN筛查，且初级保健、急诊和住院单元广泛采用了简短的筛查工具，但仅靠筛查并不充分；将家庭与社区资源相连接仍是一项关键挑战。在许多诊所，阳性筛查仅产生简短的提供者指导和一张打印的"资源表"，使患者和照护者不得不自行在碎片化的支持网络中导航。人员限制、语言不一致和资格要求的不断变化常常使这种被动模式失效——不到一半的转诊患者最终获得服务。虽然嵌入电子健康记录的筛查工具和患者门户增强了数据采集，但若未整合到动态转诊系统中，其有效性有限。对话式代理（chatbots）通过将自然语言处理与自适应对话相结合，可大规模提供定制化指导，从而弥合理解需求与导航资源之间的差距。研究人员先前对半功能性、基于规则的HRSN聊天机器人DAPHNE（Dialog-based Assistant Platform for Healthcare and Needs Ecosystem）进行的迭代设计与评估研究显示了资源链接的感知效用，但也突出了对照护者中准确性、资源共享和用户信任的担忧。本研究在此前工作的基础上，采用改进功能的聊天机器人（基于大语言模型（large language model, LLM）的应用），旨在评估DAPHNE聊天机器人在存在未满足HRSNs的照护者中的用户体验，了解用户如何与AI驱动的社会照护助手互动，并识别与不同用户体验相关的人口学或情境因素。
**研究方法**
研究人员开展了一项趋同平行设计的混合方法研究以评估DAPHNE聊天机器人。主要结局为用户体验，包括可用性、满意度、任务负荷和信任度，同时考察社会人口学因素和已识别的HRSNs如何调节这些结局。研究遵循STROBE（Strengthening The Reporting of OBservational studies in Epidemiology）清单进行报告。DAPHNE聊天机器人旨在识别未满足的HRSNs并通过首选自然语言提供个性化、基于位置的社区资源推荐。该聊天机器人采用半结构化对话界面，支持自由文本和按钮输入。在AWS上测试对话流程并探索早期LLM能力（包括意图识别和对话响应）后，聊天机器人被适配为基于Voiceflow平台的网页应用。为适应用户互动风格的差异，聊天机器人采用混合对话架构，将结构化流程的基于规则逻辑与自然语言理解（Natural Language Understanding, NLU）相结合以处理更开放的查询。NLU和自然语言生成（Natural Language Generation, NLG）由大语言模型（OpenAI的GPT-3.5 Turbo和Anthropic的Claude 3.5 Haiku）驱动。双模型方法基于先前实验：GPT-3.5 Turbo在意图识别方面表现更好，而Claude 3.5 Haiku在响应生成方面表现更好。推荐基于从实时社会照护API（Findhelp.org）检索的数据生成，聊天机器人仅使用API返回的信息而不独立生成推荐，确保响应准确性和基于现实世界的可用性。该结构化查询-响应设计遵循检索增强生成（Retrieval-Augmented Generation, RAG）框架。通过在线研究平台Prolific.com按照目的性抽样方法招募参与者，招募和研究参与时间为2025年1月1日至3月30日。纳入标准要求参与者为19岁及以上的照护者、居住在美国、照护至少一名受抚养子女、年家庭收入< $40,000（<2025年美国联邦贫困线的200%）。通过HIPAA合规的在线调查平台REDCap收集数据。参与者获得$12补偿。在数据收集前，招募了8名试点参与者测试调查问题、场景和聊天机器人对话的可理解性和清晰度。研究团队设计了四个场景以模拟真实世界案例并展示聊天机器人的能力，场景主题包括食物不安全、医疗可及性和住房不稳定。定量数据收集包括人口学特征、HRSNs和用户体验。HRSNs评估包括食物不安全、住房不稳定、交通障碍、经济压力、社会隔离和健康素养不足。用户体验使用四种标准化工具评估：NASA-TLX（6项测量任务完成期间感知的认知和工作负荷需求）、SUS（10项评估交互系统感知可用性的量表）、NPS（满意度和推荐意愿的单条目问题）以及改编自Jian等的信任量表。定性数据通过REDCap中的开放式回答收集。数据分析包括描述性统计、定性分析（情感分析和主题分析）、对话分析、意图准确率计算以及通过单变量回归模型进行的探索性分析。
**研究结果**
*人口学特征*：研究招募了167名参与者，128名（76.6%）完成了所有活动并纳入分析。样本主要為白人（44%）和黑人或非裔美国人（36%），27%自认为西班牙裔或拉丁裔。大多数为女性（68%）、30–49岁（71%）、仅说英语（78%）。69%完成了部分大学或副学士/学士学位。60%在职，73%报告年家庭收入在$20,000至$39,999之间。83%依赖Medicaid或Medicare。97%照护至少一名受抚养子女，78%报告自己或受抚养者有特殊医疗保健需求。95%有聊天机器人使用经验。
*健康相关社会需求*：几乎所有参与者（98%）报告至少一项未满足的HRSN。最常见的短期（过去30天内）需求包括食物不安全（75%）、经济限制（75%）和交通障碍（57%）。食物不安全（71%）也是最常见的长期（过去12个月内）需求，其次是交通障碍（48%）和经济限制（38%）。65%报告持续的社会隔离感。
*用户体验*：参与者将聊天机器人评为高度可用（均值=84.7，SD=12.4）、可信（均值=4.1，SD=0.8）和满意（均值=8.0，SD=2.4）。任务负荷指数约为最低三分之一（均值=6.8，SD=2.8）。
*探索性分析——人口学因素与用户体验*：感知负担（任务负荷）在离婚（β = –2.7；95% CI: –4.6, –0.85）、从未结婚（β = –1.3；95% CI: –2.4, –0.14）和未婚（β = –1.4；95% CI: –2.8, 0.00）参与者中显著低于已婚者。汇总后，所有非已婚状态与显著较低的任务负荷评分相关（β = –1.5；95% CI: –2.5, –0.46）。中年参与者的满意度评分显著高于年轻成人（β = 0.99；95% CI: 0.14, 1.8）。可用性和信任度与人口学变量之间未观察到统计学显著关联。在单调趋势方面，大多数指标从$10k收入起随收入增加而上升。教育方面，"硕士"与"部分大学无学位"之间在任务负荷上观察到显著估计差异（Estimate = 3.17, SE = 1.00）。
*健康相关社会需求与用户体验*：报告交通问题妨碍就医的参与者相比无此类障碍者信任度显著更高（OR = 3.21；95% CI: 1.03, 10.7）。报告"非常经常担心食物"的用户任务负荷评分显著低于从不担心者（β = –1.8；95% CI: –3.6, –0.11）。报告任何类型交通相关可及问题的参与者满意度评分显著更高（β = 0.89；95% CI: 0.06, 1.7）。HRSNs与可用性之间未观察到统计学显著关联。
*对话分析*：参与者在自由互动场景中产生了204份聊天机器人转录文本，每次会话约3分钟（M = 3分8秒，SD = 4分59秒），平均20轮对话（范围：3–49）。参与者强烈偏好使用辅助按钮（N = 2,749次按钮按压）而非自由文本输入（N = 1,151）。聊天机器人在1,523条消息中成功识别用户意图1,511条（99.21%）。对话主题主要关注经济问题（18%）、住房（17%）和营养需求（16%）。
*用户偏好*：自由文本评论被分为5个定性领域：知识、交付、正面反馈、负面反馈和建议。情感分析表明总体正面反馈（M = 3.41, SD = 0.97），强度分析显示中等情感表达（M = 3.02, SD = 0.46）。完成最后一个场景后，94%的参与者报告DAPHNE聊天机器人有助于识别相关社区资源。参与者表达了额外功能的兴趣，包括"历史和收藏"（19%）、个人档案（17%）、密码保护（15%）、每日提示和个性化更新（15%）、多语言支持（12%）、与个人医疗记录整合（11%）和电话通知（10%）。
**讨论与结论**
本混合方法评估旨在调查AI聊天机器人DAPHNE在低收入照护者中的用户体验，该聊天机器人帮助识别未满足的HRSNs并分享实时、基于社区的 resource推荐。研究提供了首批实证演示之一，表明规则引导、LLM支持的聊天机器人可以以高可接受性（可用性、满意度和信任度方面）和最小认知负担（任务负荷）提供即时HRSN指导。研究样本在很大程度上代表了当前美国筛查建议所针对的种族和族裔多样化、低收入照护者人群。多种需求（包括交通障碍和慢性社会隔离）的共现凸显了这些家庭面临的多层脆弱性，以及整合转诊机制而非孤立干预的重要性。标准化工具显示聊天机器人具有高可用性、低任务负荷、高满意度和较强的感知可信度。对话分析强化了这些定量评分。人口学和HRSN协变量揭示了有限但有信息量的关联。可用性和信任度在性别、年龄和保险状态间广泛一致。任务负荷方面最明显的人口学模式是非已婚参与者报告显著较低的任务负荷。较低收入参与者显示可用性降低的趋势，较高教育参与者趋势向较低可用性和较高任务负荷。报告交通限制或近期公用事业中断的参与者报告更高的信任度和满意度，表明当常规可及性被打断时，快速、基于位置导航的感知效用可能增加。这些发现挑战了未满足需求统一损害数字参与的假设，反而表明数字工具可能为用户导航结构性障碍提供独特且有时放大的价值。从设计角度看，研究结果暗示社会照护聊天机器人应追求快速、低负荷的按钮提示，同时保留捕捉细微情况的自由文本渠道。AI驱动的聊天机器人可以实质性地减轻实施负担。然而，DAPHNE并非自主平台，其设计功能在于公共卫生和服务生态系统内运作，依赖于由公共卫生和社会照护服务提供者常规策划和维护的可用且最新的地方、区域或国家社区资源。研究优势包括混合方法趋同设计以及在具有实时资源数据的真实情境中部署聊天机器人。局限性包括：结局通过自我报告工具测量且仅为英语短期任务表现；缺乏对照组；样本量和设置限制普遍性；聊天机器人仅能基于单一API资源提供指导；未调查基于扎根理论行为模型的人类行为；未正式评估聊天机器人响应或推荐的准确性。研究结论：本研究表明AI聊天机器人DAPHNE以可接受和用户友好的方式识别HRSNs并将家庭与社区资源相连接具有前景。它为数字社会照护实践和整合的不断增长的文献做出了贡献，提供实证证据表明聊天机器人能够以高可用性、信任度和满意度及低负担吸引弱势人群参与。为充分实现这一潜力，未来工作必须严格评估有效性、确保设计和部署中的公平性，并解决实际实施挑战。
