《Journal of Evaluation in Clinical Practice》：Developing a Theory-Driven Construct of Clinical Usefulness for Evaluating Post-Hoc Explainable AI: Foundational Work for a Multi-Phase Instrument Program
编辑推荐：
理由与目标：以模型为中心的可解释人工智能（XAI）评价很少考虑临床医生在临床决策中如何解释和使用解释。本研究推进一种系统探究临床实践的新方法，通过定义和操作化临床有用性（CX）——一个理论驱动、以临床医生为中心的构念，反映医疗服务提供者在情境中如何评价人工智能
理由与目标：以模型为中心的可解释人工智能（XAI）评价很少考虑临床医生在临床决策中如何解释和使用解释。本研究推进一种系统探究临床实践的新方法，通过定义和操作化临床有用性（CX）——一个理论驱动、以临床医生为中心的构念，反映医疗服务提供者在情境中如何评价人工智能（AI）生成解释的有用性。受实用解释理论（pragmatic explanation theory）和当代可解释性学术研究指导，本工作代表多阶段工具开发项目的基础步骤。方法：遵循MEASURE框架，使用主题分析开发构念并识别其核心维度。通过条目生成程序将定性发现系统转化为定量指标，将主题编码映射到可测量的评价判断。国际专家小组审查所得维度和条目池，对条目清晰性和相关性提供结构化反馈。成员核查（member checking）支持定性主题、构念定义和条目措辞之间的解释一致性。使用内容效度指数（CVI）评估内容效度。结果：分析揭示了临床医生评价XAI解释时使用的三个相互依赖维度：理解（comprehension）、证据支持（evidence support）和病例相关性（case relevance）。这些维度反映临床医生关于解释是否临床简洁、有据和具有洞察力的实用推理。定性主题被操作化为代表潜在构念的初始定量条目集。专家评分用于将条目池精炼为17个条目，显示出强内容效度。结论：本研究建立了以临床医生为中心的XAI解释评价构念的理论基础和初步操作化。它通过提供理论驱动、情境化的解释评价方法填补关键空白，并为多阶段工具开发项目中后续心理测量测试提供基础。
研究背景：XAI评价长期依赖模型中心指标，主要判断解释从开发视角看是否技术合理。这类脱离情境的评价虽必要，却忽视医疗服务提供者在决策流程中如何解释和使用解释。以人为中心的评价关注解释是否支持直接照护提供者的需要。尽管可解释性被认为本质上是人本问题，已有研究指出，超过70%聚焦临床决策的XAI研究未纳入提供者（护士、医生、药师）对解释有用性的判断。关键障碍是缺乏定义清晰的人本构念及测量工具，限制了按真实临床需要评价解释质量的能力。实用解释理论把解释视为支持推理、判断和行动的情境依赖工具，但尚未被操作化为可测量构念。为此，研究人员推进多阶段工具开发项目，聚焦点诊、患者特异性临床决策，尤其是急性、急诊和专科医疗环境，定义并操作化CX，整合定性分析、专家审查和结构化内容验证，以补充而非替代模型中心评价。
研究开展与结论意义：研究人员通过MEASURE框架的第一链“MEASU”将定性资料转化为可检验的定量资料，后续“RE”阶段用于评估和精炼工具。研究一开发CX评价构念，包括提出理论蓝图以及综合内容与量表开发；研究二通过专家评审建立CX条目池的内容效度。研究得出，CX由理解、证据支持和病例相关三个相互依赖维度构成，并形成17个具强内容效度的初始条目。该工作为后续心理测量测试奠基，填补以临床医生为中心、理论驱动且情境化的XAI解释评价空白，支持将提供者判断纳入XAI评价研究。
关键技术方法：研究一采用选择性抽样，样本为截至2025年5月已发表的同行评审医疗XAI研究，来源于此前报告的检索策略；纳入医生、护士、药师对解释用于临床决策的评价性逐字引述、转述及研究分析。采用文献沉浸、演绎编码框架（预设理解、证据支持、病例相关三维度）与开放编码备用，进行主题分析、递归编码、备忘录、资深研究者咨询和意义饱和度判断，使用MAXQDA 2024组织资料，并将主题映射为条目。研究二采用目的性抽样，邀请评价工具开发、健康信息学或XAI医疗研究专家（国际来源：欧洲、北美、南美；17人邀请、6人响应）评审条目清晰性和相关性（4点序数量表），计算内容效度指数（CVI；可接受界值0.83），并进行成员核查。
研究结果：
2.2 研究一结果：通过主题分析，共纳入10篇同行评审研究，均包含医生评价，一篇另含护士，一篇另含药师；XAI方法均为事后解释，涉及特征图、文本和基于示例的形式，用于解释预测和分类模型输出。全部资料均纳入预设演绎编码框架而无需开放编码，提示样本在此阶段较好覆盖构念空间；后期资料强化既有主题而未增加维度或改变结构，表明达到意义饱和。
2.2.1 主题1：理解：通过主题分析得出，提供者以解释是否“临床简洁”判断理解。临床简洁指解释以清晰简短格式包含足够相关细节，帮助提供者理解AI模型结果的原因或推理。子主题为简洁（concise）、情境化（contextualized）和贴切（pertinent）。
2.2.2 主题2：证据支持：通过主题分析得出，提供者以解释是否“临床有据”判断证据支持。临床有据指解释反映领域知识和科学证据，被视为可信和值得信任。子主题为权威性（authoritative）和基于证据（evidence-based）。
2.2.3 主题3：病例相关性：通过主题分析得出，提供者以解释是否“临床有洞察力”判断病例相关性。临床有洞察力指解释利用个体患者特征、病史和/或临床情境，提供有意义的新信息以支持临床决策。子主题为临床扎根（clinically grounded）和新颖（novel）。
2.3 内容与量表：通过结构化定性到定量转化，将评价主题转为候选条目，并根据主题出现频率决定条目数量；理解与病例相关主题出现频率约为证据支持的两倍。共开发41个调查条目：理解15个、证据支持8个、病例相关18个。
2.5 研究二结果：通过国际专家评审和CVI评价内容效度。17名专家受邀，6名响应，来自欧洲、北美和南美，具备评价、护理、健康信息学和XAI等专长，且为项目外部、非纳入定性分析研究的作者。相关性评分专家一致性高，范围0.67—1.00，四分位距（IQR）0.83—1.00，均值0.87，中位数1.00；清晰度评分显示强但未饱和共识，范围0.67—1.00，IQR 0.67—0.83，均值0.83，中位数0.83。定性反馈用于识别冗余、解释评分并指导措辞，如将量表标签“somehow”改为“somewhat”。基于反馈分析并考虑条目冗余、复杂性和概念合理性，删除24个条目，保留17个概念一致条目；成员核查中3名专家回应并确认条目准确反映构念维度及先前反馈，另3名未回应，故仅为部分验证。
讨论部分总结：本研究开发CX构念和内容效度条目池，并通过专家审查和CVI建立内容效度。定性综合达到意义饱和，专家审查支持构念边界，支持早期保留聚焦条目池；条目代表初始结构，随领域演变而演化。CX被定义为医疗提供者认为XAI生成解释有助于其理解AI模型输出并增强临床决策的程度。理解指解释临床简洁、阐明模型结果原因和推理，在临床情境中广泛“讲得通”；证据支持指解释临床有据，包含支撑和证明模型结果的科学证据，在可接受临床证据基础中“讲得通”；病例相关指解释临床有洞察力，将模型输出置于个体患者病例中，提供新见解并支持诊断或照护决策，对该特定患者“讲得通”。三维度相互依赖，CX随三维度评分升高而升高，评价沿主观连续体展开。主题分析虽基于预设框架，却具生成作用，细化各维度定义和子主题：理解区分简洁、情境化和贴切；证据支持区分权威性根据和证据基础；病例相关突出新颖性为独立评价标准。CX不表示AI模型准确性，而反映提供者在情境中判断解释及模型输出是否符合临床情况；它补充而非替代模型中心评价，并可提醒提供者注意模型输出问题、支持批判性思维以防自动化偏差。CX评价可能处于提供者认知序列早期，似乎先于并可能影响行动性（actionability）等下游结果；也可能成为信任建设的前因，低信任见于解释困惑、缺关键细节、不准确或不可信时；AI技术信任与接受理论（TrAAIT）和统一技术接受与使用理论（UTAUT）中，信任与接受相关但区别于CX，CX是建立可信立场之必要条件，信任是接受之必要条件，但高CX不保证下游结果。局限性包括：XAI解释质量研究尚处早期，CX仅反映样本资料主题并需随领域发展；条目池尚未经终端用户测试；专家样本量适合CVI但响应率低；CX不评价解释对模型计算的忠实性，高CX可与错误解释兼容，故须与fidelity等模型中心指标并用；样本以机器学习模型输出和事后XAI为主，主要聚焦医生诊断和预后决策，护理和药学代表性不足；专家评审材料中的解释示例均为叙述性文本，专家判断可能对文本格式更敏感。未来需试点、确认性测试、跨学科和多样解释格式验证，并继续结合定性资料以防过早窄化。结论部分译文：本研究详述了CX构念及初始、经内容效度验证的条目池的开发，以推进医疗提供者评价支持其点诊临床决策的XAI解释。严格的定性方法和专家评审反馈有助于建立内容效度。未来研究将在此基础上，从对条目池可信性和内容效度的定性评估，转向对内部一致性和效度的定量评价。
