《Behaviour & Information Technology》:‘It's like when you play the whispering game’: exploring perceptions of conversational agents as trustworthy mediators in digital wellbeing interventions
编辑推荐:
在无人类医疗保健专业人员(HCP)参与的情况下,患者与人工智能驱动会话智能体(CA)的独立交互引发了与信任相关的担忧。将会话智能体定位为患者与HCP之间的中介可应对这些担忧。然而,有限的研究探讨了患者与HCP如何感知CA中介在支持医疗交付中的可信度。基于一项真
在无人类医疗保健专业人员(HCP)参与的情况下,患者与人工智能驱动会话智能体(CA)的独立交互引发了与信任相关的担忧。将会话智能体定位为患者与HCP之间的中介可应对这些担忧。然而,有限的研究探讨了患者与HCP如何感知CA中介在支持医疗交付中的可信度。基于一项真实的健康干预项目,研究人员让确诊癌症的女性与肿瘤专科护士参与协同设计活动,以引出其对可信CA中介角色的见解。研究结果显示,可信度障碍涉及识别边界情境、有效且高效地沟通、处理升级(escalation)以及保护隐私等方面。这些障碍在患者与HCP于安全医疗交付中所重视的四个维度上引发担忧:及时性(timeliness)、效率(efficiency)、自主性(autonomy)与隐私(privacy)。基于上述发现,研究人员提出了支持CA作为患者与HCP之间可信中介设计的考量建议。
研究背景与问题提出
随着医疗服务需求增长与HCP短缺,数字健康干预亟需扩展可及性与个性化支持。澳大利亚昆士兰“癌症后女性健康计划”(WWACP)在数字化转型中引入人工智能驱动会话智能体(CA)以辅助肿瘤专科护士,但无HCP参与的独立CA交互存在显著信任缺陷:患者易产生欠信任(质疑信息可信度、数据处理与沟通能力)或过度信任(拟人化设计诱发误判权威),甚至延误风险识别。现有CA中介研究多聚焦原型可用性,缺乏从人机交互(HCI)视角探究患者与HCP对CA中介可信度的价值认知。为此,研究人员以WWACP为案例,通过协同设计与思辨设计方法,揭示CA作为患者—HCP中介时的可信度障碍与关切。
研究开展与总体结论
研究人员组织三次协同设计工作坊,邀请9名癌症治疗后女性(服务接受者)与4名资深肿瘤专科护士,借助情境卡、需求卡、角色卡(Mindy、Peeri、Cora、Jani)及Joker卡,推演近未来CA中介场景。采用反思性主题分析(NVivo辅助)归纳数据。研究发现,即便HCP在环,CA中介仍引入四类可信度障碍:误解与信息失真、升级失败、隐私边界差异;这些障碍映射到及时性、效率、自主性、隐私四维安全关切。论文发表于《Behaviour & Information Technology》,意义在于首次从供需双侧提炼CA中介可信设计维度,为安全规模化数字干预提供基础。
关键技术方法(<250字)
研究采用解释主义范式下参与式设计(Participatory Design)与思辨设计(Speculative Design)融合路径;样本为澳大利亚卫斯理医院Choices Cancer Support Centre招募的WWACP项目亲历者(9女术后患者+4名≥15年资肿瘤护士),分三场2–3小时工作坊;刺激材料为自研场景/需求/角色/Joker卡;活动含经验回溯、故事创作、CA身份揭示后信任批判、个性化角色再设计;音频转录去标识化后由第一作者主导、临床作者校验,做归纳取向反思性主题分析,跨工作坊代码整合而非对立处理。
研究结果(保留小标题)
4.1 误解与信息失真令服务接受者不安且浪费精力
通过SR3电信机器人负向经历与N1“传声筒”隐喻,研究人员指出CA在前端误读患者表达、后端向HCP转述失真(“双重处理丢失保真度”),致患者需向护士重复陈述;建议CA具备情绪触发转人工选项与回述确认机制。
4.2 未能升级需求可致健康恶化并增护士负担
4.2.1 未识别紧急情境:以Mindy例,护士指出CA在患者明示拒绝时仍应越权上报红标(overwhelmed),人类中介会主动介入。
4.2.2 未识别细微求助信号:N3/N4担忧拟人化致患者过度信任,CA“听见”但未“听懂”隐性哭救(失眠、厌食),延迟求助。
4.2.3 未辨异质信息增负:以维生素C输注为例,CA需识辨循证红标但易低阈值过度标记,反令HCP审查负担上升;护士主张CA做分诊枢纽、语境理解留人。
4.3 隐私关切限于同伴共享不影响向护士共享
患者因既有的护士关系信任,不介意CA转对话给HCP,但要求知情与末端授权(SR5);同伴共享时SR1/N3要求同意开关与隐身模式,因超个人议题(阴道干涩)即便去标识仍有可识别感。
讨论与结论翻译
讨论部分将障碍归入安全中心四维:及时性(何时中介,需情绪触发与边界学习)、效率(如何中介,CA需澄清歧义、随HCP反馈迭代共建共识)、自主性(是否中介,紧急升级中患者自主与HCP安全职责张力,需分型协议)、隐私(中介何物与对谁,向HCP共享倚关系信任+知情,向同伴共享需粒度控制)。四维相互依赖:及时性牵效率与自主,隐私与控制共生,隐私保障反促效率披露。
结论部分译文:本研究探索患者与HCP对医疗交付中CA中介可信度的感知。基于独立CA与中介原型既有工作,研究拓展可信度障碍与关切认知,揭示CA中介引介专业参与时双边重视之价值。为支持可信CA中介设计,研究人员提出一套可在设计流程前置与回溯应用之考量。面对人力短缺与负荷上升,设计可信CA中介对安全扩展干预交付至为关键,研究为规避医患暴露于非优体验提供基础,并倡未来跨情境延展与行为化操作。