机器符号学实践:临床医生解读AI生成可视化解释的策略
《Proceedings of the ACM on Human-Computer Interaction》:Machine Semiology in Practice: Clinician Strategies for Interpreting AI-Generated Visual Explanations
【字体:
大
中
小
】
时间:2026年10月17日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
随着基于AI的决策支持系统在高利害专业场景中的日益普及,人们对可解释人工智能(XAI)的兴趣也随之增强,尤其是在人类问责制仍然处于核心地位的领域。在医学影像领域,显著性图等可视化解释技术被广泛推广,作为使不透明模型对临床医生可解释的一种手段。然而,尽管它们广受欢迎,但
摘要
随着基于AI的决策支持系统在高利害专业场景中的日益普及,人们对可解释人工智能(XAI)的兴趣也随之增强,尤其是在人类问责制仍然处于核心地位的领域。在医学影像领域,显著性图等可视化解释技术被广泛推广,作为使不透明模型对临床医生可解释的一种手段。然而,尽管它们广受欢迎,但对于此类解释在放射学实践中究竟是如何被理解和赋予意义的,却鲜有研究。本研究通过引入并实证考察“机器符号学”这一概念来弥补这一空白,该概念被定义为研究AI系统所产生的符号库,以及从业者通过情境化的解释工作为这些符号赋予意义并将其与既有的专业视觉和诊断实践相协调的过程。在这里,我们报告了一项定性研究,考察临床医生如何与基于AI的决策支持系统(用于脊柱骨折检测)所产生的显著性图进行互动和解释。基于对使用真实X光片和Grad-CAM解释的骨科医生、脊柱外科医生和放射科医生进行的八次深度半结构化访谈,我们发现显著性图充当了一种未充分规定的、具有索引性的符号系统,常常与放射学符号学发生冲突。临床医生进行了大量的解释工作以解决语义和语用上的不一致,并发展出临时的“机器理论”来解释系统行为和错误。这些发现表明,可解释性是一种社会技术成就,这对设计交互式的、与实践相一致的可解释AI系统具有重要启示意义。
AI 摘要
(实验性)此摘要由自动化工具生成,未经本文作者撰写或审阅。它旨在支持发现、帮助读者评估相关性,并协助相邻研究领域的读者理解本工作。它旨在补充作者提供的摘要,后者仍然是论文的主要摘要。完整文章仍然是权威的记录版本。点击此处了解更多。点击此处对摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进未来重新生成的版本。如需查看此AI生成的简明语言摘要,您必须拥有高级访问权限。
1 引言
决策支持系统(DSSs)是计算交互系统,通常旨在协助解释或分类需要人类决策的案例。通常情况下,这些系统被要求产出与最终决策格式相一致的结果,例如医学影像中的诊断分类,或者关于抵押贷款申请的"是/否"二元决定。在这方面,决策者及其系统的组合可以被同化为一种"法官-顾问"配置,即一个静态的、分层的协作参与者集合,这些参与者必须在分类方案、约定和资源方面共享共同基础。
在某些情况下,除了提供类似建议的输出外,系统还会提供补充信息,以扩展、增强、语境化或解释所给建议。这是所谓的可解释系统的特征,例如可解释人工智能(XAI)讨论中所涉及的那些系统,这些系统旨在阐明其建议背后的理由。这类信息可能包括系统对其推荐的置信度、系统考虑的最具影响力的特征,或者图像中对系统输出贡献最大的区域。
当这些附加信息与系统建议一同呈现时,会产生重要的问题。例如,用户是否能够以支持更知情决策的方式来理解和解释这些信息?这种理解超越了案例本身,包括是否信任系统的推荐并遵循它,还是做出不同的选择。
我们的分析植根于医学领域。在医学中,当患者受到特定疾病影响时可能表现出的身体和生理症状集合,以及通过临床推理、解释过程、规则和标准将这些症状识别和分类为诊断类别的过程,被称为医学符号学或医学半学。该术语也指医学教育中的一个主题,特别是在内科学和放射学领域。在后一种情况下,医学符号学研究的符号包括在诊断成像中识别出的符号。与一种将此类图像视为仅是身体结构"原始图片"的简化观点相反,这些图像实际上是复杂的病理生理表现,其正确解释需要大量训练和多年的临床经验。类推地,我们提出存在一种机器符号学,用于研究机器在分析放射影像时产生的输出库(即符号系统),以及从业者为这些输出赋予意义并使其对诊断具有意义所需的解释工作。其最终目的是通过将机器生成的符号纳入临床意义建构中,支持对患者状况形成连贯且全面的理解。在这方面,机器符号学补充了传统的医学符号学,后者关注患者的症状、症状和叙述说明,通过将符号分析扩展到基于AI的系统的输出来实现。
在本文中,我们关注显著性图,这是一种在医学影像XAI中广泛使用的视觉解释类别,通过像素归因方法生成。显著性图通常作为彩色叠加层呈现于放射影像上,通过色相、亮度和透明度的变化指示与分类模型输出最相关的区域(即特定像素或像素组),因此被认为对诊断建议最具相关性、显著性或信息性。我们将显著性图视为一个具体的实证入口,用于考察从业者在专业环境中如何与黑箱模型的视觉化和索引化渲染解释进行互动、解释和赋予意义,以及他们如何将这些算法生成的视觉线索与既定实践相协调。这一视角与社会技术研究相一致,这些研究——尤其是在放射学中,该学科经常被描绘为处于自动化边缘——表明医学影像中"可见性"的"构建"与不可见工作形式密不可分。
通过强调解释、实践和技术之间的这种纠缠,我们力求为解构"可解释性是AI系统和XAI技术的内在属性"这一假设做出贡献。相反,我们表明可解释性并不存在于显著性图本身,也不存在于生成它的算法机制中,而是通过人类用户、计算人工制品及其所嵌入环境之间的互动而涌现的。相应地,我们将本研究置于一个新兴的工作体系中,该体系将AI解释视为通过互动共同定义的产物,而非模型逻辑的透明窗口。我们的方法论取向与解释主义和建构主义视角相一致,这些视角强调技术并非通过抽象技术属性,而是通过其在情境化实践中的实施来获得意义和实际价值。
在此背景下,我们设计了这项定性研究,以实证探索以下一般研究问题,采用扎根理论方法:
精通阅读放射影像的从业者如何与基于AI的决策支持系统在显著性图中编码的丰富符号库和视觉线索进行互动、解释、语境化和赋予意义,作为其建议的视觉解释?
虽然研究问题提供了一个指导焦点,但它也为从实证分析中自下而上涌现的概念阐述留下了空间。这一过程引导我们构建了一个具有实证基础且更具普遍性的概念结构,描述了临床医生——以及更广泛地说,其他实践社群中的用户——如何理解机器产生的符号系统并使其与专业实践相协调。我们将这一概念模型设想为一个可转移的分析框架,用于考察解释性产物(尤其是视觉化的)如何通过情境化的解释工作获得意义。
在接下来的内容中,我们将首先将我们的工作在相关文献和更广泛的CSCW传统中进行定位,识别本研究解决的概念和实证空白。然后,我们将详细说明我们的方法论方法,描述定性框架、数据收集策略和数据分析程序。论文的核心呈现我们的实证发现,并基于这些洞察提出设计启示,既涉及可解释AI工具的视觉和交互设计,也涉及将其整合到放射学实践中所需的社会技术条件。最后,我们通过承认研究的局限性并提出未来研究方向来结束。
2 背景和相关工作
2.1 医学XAI中的显著性图
在AI增强的临床决策支持系统日益普及的医疗保健环境中,决策通常发生在"法官-顾问"配置中。在这种安排中,临床医生保留对诊断决策的最终责任,而AI系统作为顾问通过提供建议来知情和可能补充但从不取代人类判断。这种配置中的一个核心挑战在于高性能AI模型的不透明性——通常被称为"黑箱"——特别是深度学习系统,由于其复杂性,其内部决策过程在很大程度上难以理解。在医疗保健等高利害领域,理解决策背后的理由从技术期望转变为可接受性的基本要求,因为即使决策受到算法输出的支持或影响,临床医生仍然对所有决策承担法律和道德责任。因此,可解释AI的整合——包括旨在使不透明模型的决策过程对人类用户可理解的方法和技法——日益被推广为支持监督、信任校准和负责任决策的手段。
然而,越来越多的实证研究表明,解释并不能固有地确保可解释性或有效的人类-AI互动。相反,解释可能引入歧义、认知负担甚至误导。在某些情况下,解释可能悖论性地强化了对AI的过度依赖,特别是当它们看起来合理或具有修辞说服力但输出不正确时。莫里森及其同事的相关发现强调,当AI预测准确时,错误的解释仍然可能欺骗用户。综合来看,这些研究表明解释的影响不仅取决于其信息内容,还取决于它如何被框定、感知并整合到情境化实践中。
这些解释性张力在放射学等视觉领域中尤为突出,其中显著性图已成为商业系统中最广泛采用的XAI形式之一。通过突出被认为对模型预测最具影响力的图像区域,显著性图将算法注意力转化为空间化的热力图叠加层。原则上,这种表示可以支持临床医生识别意外的模型行为、校准对算法输出的信任,并将AI推荐整合到临床决策工作流程中。然而,大量研究对其在医学影像中的局限性提出了严重关切。研究表明显著性图不稳定、与临床相关特征相关性弱,且容易出现错误定位。它们往往与既定的放射学实践和专家标注不一致,在安全关键环境中提供的可操作见解有限。此外,仅可视化高亮区域并不等同于对AI系统底层逻辑的有意义理解。相反,高及其同事和孙及其同事的工作表明,显著性图的有效性关键取决于临床医生理解模型运作的能力——一种解释负担,当前的系统设计很少提供支持。
更广泛地说,这些局限性可以通过阿克曼的社会技术差距概念来理解,该概念描述了技术设计要实现的功能、实际实现的功能、用户如何感知技术以及技术如何最终整合到工作实践中之间持续存在的不一致。就显著性图而言,旨在突出支持正确诊断的放射特征的解释机制被实现为计算节点激活的可视化,临床医生通过自己的专业框架来感知它,并且通常仅微弱或含糊地整合到既定的放射学例程中。
2.2 作为情境化实践的可解释性
放射学中的诊断工作——理解为"确定和分类问题以及确定如何应对的工作"——本质上是协作性的,分布在从业者和人工制品之间。这种协作不仅仅通过专家之间显式的协调、咨询或谈判行为展开,还嵌入在共享和历史形成的实践中,这些实践塑造了诊断判断如何产生,无论是正式的还
在这方面,古德温(Goodwin)提出了“专业视觉”(professional vision)这一概念,将其定义为“一种社会性地组织起来的观看和理解事件的方式,它回应着特定社会群体的独特利益”[50]。这个实践共同体[117]的成员彼此期望对方能够“以与工作、工具和人工制品相关的独特方式来观察和分类世界”[50]。因此,即使在诊断工作看似由个人独立完成的情况下,在复杂的视觉环境中所行使的感知和解释技能仍然是根本性的社会性的,植根于共享的专业实践和期望之中。如既往研究广泛讨论的那样[4, 5, 33, 51, 74, 75],视觉也是一种社会情境化的、专业培育的胜任力。因此,在图像中——包括放射学扫描和人工智能生成的显著性图——什么变得可见、有意义或具有诊断相关性,并非图像本身所固有的,而是通过集体实践、专业社群内的社会化过程以及与工具的物质性互动而涌现的[5, 87]。当视觉符号未完全确定[25]时,即当它们是指示性的而非象征性的,并缺乏约定俗成的意义时[15],这一议题变得尤为突出。在这种情况下,可解释性不能被简化为透明度或信息披露。相反,它关乎一个系统支持临床医生情境化的社会认知活动的程度,通过这些活动,算法输出与专业实践相协调,并与为特定患者做出及时且适当决策的总体目标相关联,从而变得具有临床意义和可操作性[22]。实现这种对齐需要面对并跨越解释者(即人工智能系统)与被解释者(即临床医生)之间的根本性鸿沟,通过就解释对象(即系统输出)的意义达成语义上的协调,从而使决策者和技术人工制品能够共同作为联合认知系统发挥作用[46, 61]。最初由施密特和班农提出[101],“解释工作”(interpretation work)这一概念凸显了用户在共同信息空间[10]内主动建构人工制品意义的情境化活动——即一个具体的或抽象的空间,支持不同从业者之间的协作实践,这些从业者与共享的人工制品互动并参与同一决策过程。尽管人工制品(例如备忘、文件、病历、放射图像或显著性图)被视为客观实体并被感知和操作,但“由人工制品所承载的信息的语义,简而言之,是存在于观察者‘头脑中的’,而接收者对人工制品所传递信息的获取则需要一种解释活动”[101]。从符号学的角度来看,这种区分与经典理论相呼应,这些经典理论区分了符号的物质形式(即能指)与通过解释行为产生的意义(即所指)[37]。然而,正如诠释学中关于距离化的论述[95]所指出的,意义可能在人工制品被铭刻于其中并在新的使用情境中被动员时脱离其原始制作者的意图。同样,施迈德提出的未完全确定概念[100]强调了人工制品必然使其意义的某些方面保持开放,要求用户在其情境化实践中对其予以完善、适应或重新诠释。例如,在人工智能生成的显著性图的案例中,设计者关于什么构成有意义的视觉线索的假设可能与临床医生的专业视觉和诊断常规存在显著分歧。当这种解释工作植根于存在分歧的专业实践时,意义和理解必须在使用中被主动解决。总而言之,可解释性并非解释性人工制品的内在属性,而是一种社会技术成就,它源于表征形式、专业视觉以及从业者使解释变得可理解且可操作的互动劳动之间的对齐。
2.3 对计算机支持的协同工作的贡献
置于计算机支持的协同工作(CSCW)关于临床决策支持系统(CDSSs)采纳的文献中[5, 6, 60, 68, 69, 91],本研究推进了对实践者在充当“法官-顾问”(judge-advisor)配置中的评判者时所进行解释工作的经验性理解[101],在这种配置中,顾问是一个基于人工智能的决策支持系统,生成未完全确定的视觉解释(在本研究中为AI生成的显著性图),以支持二元推荐。这些指示性解释往往缺乏语义锚点或人类读者可识别的诊断惯例,因此其实用性取决于临床医生在结合情境化的专业知识、技能、实践和视觉方面对它们进行解释的能力。然而,这一关键节点仍缺乏经验性探索,留下了CSCW关于医学可解释人工智能(XAI)文献中的一个重要空白。通过提供首批深入定性研究之一,本研究探讨了临床医生如何理解机器“看到”的内容,以及其视觉线索如何在情境化实践中获得对决策的实用相关性,从而细化了CSCW关于社会技术鸿沟的论述[1],表明不一致性也在符号学惯例和意义赋予层面产生。此外,本论文通过阐述“机器符号学”(machine semiology)的概念为CSCW提供了概念词汇。通过机器符号学,我们指的是既研究人工智能系统使案例的某些方面变得可见且可操作的符号体系,也研究实践者赋予这些符号意义并将其转化为临床可理解性的情境化解释工作,以便理解机器的推荐及其背后的推理。它因此不仅包括系统的符号系统——其视觉的、指示性的且往往未完全确定的输出——还包括在实践中对这些符号进行解释、情境化和评估的社会认知过程。这种双重焦点将解释置于人工智能生成表征获得——或未能获得——临床相关性的核心位置。因此,我们进一步阐述了“机器理论”(Theory of Machine)的概念,以捕捉在这一解释劳动过程中,实践者如何持续构建、测试并修正对人工智能系统底层且很大程度上不可见功能的心理模型。这些机器理论被调动起来以弥合人类推理形式和算法推理形式之间的符号学鸿沟,使临床医生能够在情境化的专业行动中决定何时依赖、限定或忽略机器生成的线索。最后,通过将可解释性框定为一种社会技术成就而非人工智能系统的内在属性,我们的工作为CSCW的设计导向话语做出了贡献。我们强调,有效的人机交互取决于使临床医生和计算人工制品能够作为联合认知系统发挥作用,在此系统中,共享的——或至少可协调的——语义对于连贯的行动是必要的。这一视角将关注点从孤立地优化解释技术转向设计解释性人工制品和互动安排,以支持人工智能系统在临床工作中变得有意义的可使用的、情境化的解释实践。
3 方法论
3.1 研究现场与组织背景
本研究与位于意大利米兰的加埃塔诺·皮尼医院的临床医生合作开展。选择该临床环境是因为其在肌肉骨骼系统诊断和外科手术方面具有高度专业化,尤其专注于胸腰椎病变。该机构为与诊断成像日常协作且日益参与将人工智能融入临床工作流程讨论的骨科医生、脊柱外科医生和放射科医生提供了访问机会,从而为研究基于AI的DSSs相关的解释实践提供了丰富的真实世界环境。
3.2 参与者招募
我们招募了八名执业资格证书齐全的医疗专业人员,涵盖不同的临床专业领域和经验级别(见表1)。样本包括骨科医生、脊柱外科医生和放射科医生,有目的地选取以捕捉不同的专业经验和观点。参与者的确定采用滚雪球抽样技术:选择的初始信息提供者——因其与研究环境的关联性——被要求推荐具有相似特征或相关研究的同事。这种方法促进了更广泛网络的访问,而这些网络通常难以触及。纳入标准要求至少有的一年诊断成像临床经验。该组在资历方面是均衡的,包括资深专家和住院医师。为降低权力失衡和社会赞许性偏差的风险——后者对住院医师相对于其主管尤其突出——我们确保进行研究的学者与任何参与者均无先前关系,且所有收集到的信息对任何人——包括其他参与者——均保持匿名和不可识别。
表1.参与者ID | 医学专业 | 角色
A | 骨科医生 | 专家
B | 骨科医生 | 住院医师
C | 骨科医生 | 住院医师
D | 骨科医生 | 住院医师
E | 脊柱外科医生 | 住院医师
F | 放射科医生 | 专家
G | 放射科医生 | 住院医师
H | 骨科医生 | 住院医师
参与访谈的临床医生列表,详细说明了他们的医学专业和专业资历。
3.3 数据收集材料
我们使用真实的胸腰椎X光片和人工智能生成的显著性图进行了半结构化访谈。在会谈期间,参与者被要求在检查X光片时口头表达自己的想法,遵循出声思考协议以捕捉他们与机器生成输出接触时的即时解释过程。通过将视觉人工制品直接嵌入访谈协议,我们引发了关于参与者如何理解显著性图、评估其效用、可信度和相关性,以及这些解释如何随临床案例、图的视觉特征和参与者的临床推理而变化的丰富叙述。这种方法使我们能够追踪显著性图如何从由设计者脚本产生的技术可视化转变为符号和意义载体,X光阅读者必须与这些符号和意义协调并整合到其解释实践和专业判断中。
视觉材料由精选的12张胸腰椎X光片数据集(800×800像素)组成,这些图像于2010年至2020年间在Niguarda综合医院脊柱外科中心收集(见图1和表2)。每张图像要么显示经确认的脊柱骨折(n = 8),要么显示无脊柱骨折(n = 4),真值诊断由先前研究[27]中参与的一位高级脊柱外科医生小组确立。这些X光片被选为代表在专业临床环境中常见的各种案例,在复杂度和是否存在骨折方面有所不同。
表2. X光ID | 真值 | AI分类 | 案例类型
01 | 无 | 存在 | 假阳性
02 | 存在 | 存在 | 真阳性
03 | 存在 | 存在 | 真阳性
04 | 无 | 无 | 真阴性
06 | 存在 | 存在 | 真阳性
06 | 无 | 无 | 真阴性
07 | 存在 | 存在 | 真阳性
08 | 存在 | 无 | 假阴性
09 | 存在 | 存在 | 真阳性
10 | 存在 | 无 | 假阴性
11 | 存在 | 存在 | 真阳性
12 | 无 | 无 | 真阴性
访谈中讨论的十二张胸腰椎X光片概述。每一行对应一张X光片,由其唯一代码标识。表格报告了真值诊断(脊柱骨折的存在与否)、AI的推荐以及案例的相应分类(真阳性、假阳性、真阴性或假阴性)。
图1. 访谈中讨论的十二张胸腰椎X光片概述(编号01–12),其中八张显示脊柱骨折。12张X光片排列成4x3矩阵。
为了模拟一个真实的决策情境,每张X光片都与使用Grad-CAM[102]生成的显著性图配对,Grad-CAM是医学影像中广泛使用的XAI方法。重要的是,选择显著性图是因为它们仍然是商业放射AI系统中最常见且可识别的XAI技术之一[52]。此外,当精心设计并适当整合到临床工作流程中时,它们有潜力成为支持更知情、负责和可问责决策的有价值工具。它们被广泛使用但又常存在问题[9, 98, 99]的状况使其成为一个分析上有价值的视角,用于考察此类工具与临床医生的符号学和诊断实践相一致——或未能一致——的情况。选择Grad-CAM还因为其学术文献中的突出地位,根据最近的系统综述[81],它约在60%的医学影像可解释性研究中被采用。该技术应用于ResNeXt-50卷积神经网络(CNN),这是一种常用于医学图像分类任务的最先进架构[47]。如表2所示,AI系统在12个案例中正确分类了9个(准确率76%),其中2个假阴性和1个假阳性。
为了系统探索临床医生如何解释视觉说明,数据集中的每张X光片都与四种不同的显著性图配对(见图2)。这些图是通过改变两个实验维度生成的:提取图的CNN层深度以及用于可视化模型分类的彩色编码方案。
第一个维度反映了XAI研究中的一个核心见解:可解释性不仅仅是视觉清晰度的问题,还受到被可视化特征抽象程度的影响[13, 41]。对于每张图像,我们生成了源自ResNeXt-50架构不同层的两个Grad-CAM显著性图。细粒度显著性图源自第3层,突出了低层结构特征,如纹理、边缘和像素级强度变化。相反,高层显著性图源自第4层,强调了更抽象的特征,包括形状、结构和解剖配置,反映了网络与模型分类输出相关的较高级别的表征。尽管由于高层与概念类别的对齐通常被认为是人类用户更“直观”的[125],但新出现的证据表明存在更细致的关系。
例如,Famiglini及其同事[41]近期的研究表明,经验丰富的临床医生可能从底层显著性图中提取更多与诊断相关的线索,因为这类图能更好地保留细粒度的临床细节。第二个维度涉及用于可视化模型归因的颜色编码方案。除了传统的梯度方案——即暖色调(例如红色)表示相关性较高的区域,冷色调(例如蓝色)表示相关性较低的区域,无论预测类别如何——我们采用了一种语义双色调方案。在后一种设计中,颜色映射到预测类别,而亮度编码相关性,较低的亮度表示较高的相关性。具体来说,在分类为"存在骨折"的案例中,用红色突出显示相关区域,而在分类为"不存在骨折"的案例中则使用蓝色。该方案旨在探究具有语义意义的颜色关联是否能增强用户理解AI决策过程,或者相反,引入新的视觉和认知偏差形式[23]。通过系统性地变化显著性图的表现深度和视觉语义,该研究旨在凸显可解释性实践中嵌入的解释性假设。这些变化使我们能够考察不同视觉和语义线索的组合如何不仅影响临床医生的阅读和解释策略,还影响他们对系统的信任以及对其行为进行推理的能力——从而促进对诊断情境中人与AI意义建构的更细致理解。图2。与单个X光片(ID 05)相关的四个真阳性显著性图,由卷积神经网络的不同层生成,并采用不同的颜色编码方案。显著性图显示的顺序与在访谈中呈现给参与者的顺序一致。从左到右,X光片后依次排列四个相关显著性图。第一张从第3层提取,使用传统颜色编码。第二张从第4层提取,使用传统颜色编码。第三张从第3层提取,使用语义颜色编码。第四张从第4层提取,使用语义颜色编码。3.4 数据收集程序数据通过一对一的半结构化访谈收集,时间为2024年12月至2025年3月。每次访谈持续60至90分钟,在安静的医院办公室或私人诊室进行。访谈方案(见附录A)分为三个递进阶段。在初步探索阶段,参与者被要求回答一系列关于其临床背景、诊断经验年限以及对X光片解读和AI辅助决策系统接触情况的问题。除了建立对技术的基线熟悉度外,这一阶段还鼓励临床医生反思此类系统的感知临床效用、其初始信任或怀疑水平,以及任何关于诊断情境中自动化的担忧。这些反思提供了参与者对AI态度取向的见解——他们如何在诊断工作中定位自己与机器智能的关系——并揭示了围绕XAI在临床工作流中整合、可靠性和风险的更广泛想象。这种情境接地对于理解参与者随后如何与显著性图互动至关重要——不仅将其视为认知工具,更作为嵌入在更广泛的医学决策生态中的社会技术产物。本研究采用仅包含静态视觉产物而非交互式CDSS的受控工作流,因为我们的目标是隔离临床医生与解释性可视化的解读工作。对于12张X光片中的每一张,参与者首先被要求独立评估图像,并使用数字绘图板标注他们认为与诊断相关的区域。在任务期间可随时参考X光片。经过验证的诊断——表明图像是否描绘了骨折——从一开始就予以披露。这一设计选择基于几方面的考虑。首先,我们希望创造一个不让参与者感到在评估其诊断表现的环境。我们旨在避免访谈变成诊断测试情境,这可能抑制开放的推理,引入社会期望偏差(特别是对住院医师),或给参与者带来不必要的认知负荷。知道诊断结果使他们能够专注于工作的解读和解释维度,而这正是我们研究目标的核心方面。此外,这种设置与显著性图形成了刻意的平行:正如这些图指示模型认为与其分类相关的区域,临床医生也被要求标记他们认为是已知诊断证据显著的区域。他们的标注因此成为一种"解释性标记",使得人类和机器生成的视觉解释在视觉形式上能够更直接地进行比较。揭示诊断结果还确保了所有参与者围绕同一诊断目标进行推理。没有这一共享参考点,同一张X光片可能引发多种合理的诊断假设,将诊断解读的变异性与临床医生如何论证诊断的变异性交织在一起。保持诊断目标恒定使我们能够隔离并考察临床医生构建身体状况与视觉发现之间联系的解读过程。总体而言,通过明确结果,该任务凸显了参与者的解读策略和视觉启发式方法,这些方法完全基于临床专业知识和视觉评估。这种设计使我们能够观察在没有计算支持的情况下临床医生如何构建其推理过程。随后,参与者被展示同一图像的两张Grad-CAM显著性图——分别来自模型的第3层和第4层。我们提供了对这些图所代表内容的简要非技术性解释。参与者被告知,突出显示的区域表示模型认为与提示骨折存在或不存在最相关的区域。为确保最少但足够的背景信息,我们还说明第3层图强调更精细的感知元素(例如纹理、对比度),而第4层图突出更全局或基于形状的特征。然而,我们有意没有提供更多关于如何解释梯度幅度的详细指导,也没有强调显著性图也可能指示与骨折不存在相关的区域。做出这一选择是为了观察这些解释对临床医生而言的直觉性、可解释性和自明性如何,并更好地理解他们在与不同形式的基于显著性的视觉解释互动时的自然解读策略。在查看模型的分类之前,参与者被要求解读这些图并基于突出显示的区域预测AI可能的决策。首先单独呈现这些图,以便参与者对每个可视化进行单独反思。然后披露AI的实际预测。对于每个案例,参与者被要求说明这些图是有用、无信息还是可能具有误导性,并被邀请解释无论突出显示的区域与他们的预期一致还是相悖,他们对模型推理的解读如何发生转变。为了便于直接比较并促进推理而不致参与者超载,在第二项任务中,两张图并排呈现。通过呈现同一案例的替代语义显著性图(同样来自第3层和第4层),这种反思得到了进一步深化,遵循相同的呈现结构。我们再次提供了关于这些双色调语义图中颜色分类使用的信息。通过这种多步骤的互动,参与者逐步阐明了他们对显著性图代表什么及其与人类诊断推理之间关系的心理模型。所有显著性图均以静态图像形式呈现,不包含置信度评分、概率输出或关于病例的其他临床信息。它们按照固定的研究者控制的顺序在计算机上显示,尽管允许在请求时返回之前显示的图像。此外,不允许进行交互式操作(例如缩放、亮度调整)。在最终阶段,参与者被要求反思此类AI支持在临床决策中潜在整合的可能性。具体来说,他们被邀请考虑是否以及如何将显著性图和AI生成的建议纳入其诊断常规中。所有访谈随后进行录音并逐字转录。参与者在访谈前提供了知情同意,并明确同意对访谈过程进行录音(见附录B)。严格遵守伦理标准,包括对参与者的匿名化处理以及对机构数据保护协议的严格遵循。3.5 分析过程我们的数据分析遵循扎根理论方法论[34, 109],这是一种旨在基于实证数据发展理论的成熟的定性研究方法。具体而言,我们采用了一种观点,该观点偏离了对扎根理论严格的格拉瑟式解释——根据该解释,见解应在不与先前概念进行互动的情况下涌现[49]——而是与Strauss和Corbin[108]阐述的立场相一致。该观点承认理论预先理解不可避免地影响定性研究,但不预先决定其结果。在这种观点下,先前概念不作为固定的分析类别运作,而是作为敏化概念,在导向研究者注意力的同时,允许通过系统地参与数据来涌现类别及其关系。遵循该传统的后续发展[93],我们的分析认识到归纳编码与溯因推理时刻之间富有成效的互动,在实证材料与涌现的理论见解之间的迭代运动中进行。由于这种方法特别适合探索情境化实践而非验证假设,我们在本研究中采用它来发展对医学专业人士如何感知、理解和与X光解读中基于视觉的AI决策支持系统互动的语境化理解。分析分三个阶段进行。3.5.1 开放式编码。我们的发现基于开放式编码阶段,该阶段涉及对所有访谈逐行逐句进行检查,旨在浮现临床医生在与AI解释互动时采用的广泛解读策略、反应和概念化。代码以归纳方式生成,在整个过程中迭代完善,并始终紧密锚定在参与者的语言和表达上。作为一个说明性例子,考虑以下摘录:"它似乎指示了致密的骨区域。如果说有骨折,那是因为它在看错误的地方。[……] 我认为它误解了暗区并正确猜测,但纯属偶然。"(脊柱外科医生E)在开放式编码期间,此类陈述被归入临时标签"AI在不存在异常的地方检测到异常"。该标签捕捉的不是单一观点,而是一种反复出现的解读动作,临床医生通过它评估自身诊断推理与模型视觉解释之间的一致性。在本特定案例中,该评论指的是临床医生感知模型有时偶然得出正确诊断。表3。代码及其描述与医学专业。它描述了受试者的专业特长。资历。它描述了受试者在其专业中的资历水平。对X光片的熟悉程度。它描述了受试者是否以及多大程度上习惯解读放射学图像。对AI的熟悉程度。它描述了受试者对医疗环境中AI的先前知识或经验(包括培训课程)。对AI的信任。它描述了受试者对AI建议的一般信任或不信任态度。对AI在医疗中实用性的感知。它描述了受试者对AI作为改进临床实践特别是提高诊断准确性工具的感知。对AI在医疗中问题的担忧。它描述了与将AI整合到医疗实践中相关的问题。颜色方案解读。它描述了受试者归因于显著性图突出显示区域的含义。机器理论。它描述了用户通过与AI系统直接互动来构建、更新和完善对其运作方式的心智模型的能力。理解AI错误。它描述了归因于系统的错误类型及其原因。层解读。它描述了对从神经网络第3层和第4层提取的显著性图的意见,这些层分别侧重于细粒度的结构特征和高层的概念特征。语义地图解读。它描述了对使用红蓝颜色分别指示骨折存在和不存在显著性图的美学和功能判断。无骨折。它描述了对与无骨折X光片相关联显著性图的判断。显著性图在实践中的角色和影响。它描述了显著性图在诊断决策中的影响和整合。我们在开放式和轴心式编码期间确定的代码,以及它们的描述和它们向模型簇的映射。3.5.2 轴心式编码。轴心式编码涉及重新组织和关联初始代码,以识别更广泛的概念类别。通过迭代参与访谈记录,我们开发了一套分析上不同的类别(见表3)。这些类别应被理解为允许广泛表达、立场和经验的主题容器。参与者在同一主题领域内往往阐述不同观点,反映了他们视角的多面性。与其抹平这种多样性,我们的呈现更突出它。
每个类别的详细分析见附录C,其中包含来自访谈的代表性摘录。延续上例,相关子代码(例如"AI误解某些图像伪影"、"AI似乎感到困惑"、"AI因X光质量不佳而犯错")被归入更高层级的类别"理解AI错误"。该类别捕捉了临床医生试图解释模型的错误行为或异常表现,并调和人类诊断推理与机器生成的视觉线索之间差异的尝试。重要的是,在轴心编码阶段,该类别并未被当作一个孤立的主题集群来处理,而是被分析性地与"机器理论"类别相关联——即临床医生逐步深入理解AI系统运作的尝试。参与者对错误的解释往往源于并受到他们对系统内部逻辑、局限性和感知能力的假设的影响。通过这种迭代的、相互影响的关系,轴心编码使我们不仅能够明确临床医生感知到的错误类型,还能揭示围绕错误的意义建构与关于机器的理论建构如何作为更广泛的解释过程的一部分共同演化。
**3.5.3 选择性编码**
在最后阶段,我们识别出了一个概念框架,综合了临床医生在与显著性图交互时的解释工作,将不同的概念类别整合为一个连贯的理论模型(见图3)。该框架在第四节中进行了广泛讨论和示例说明。
分析持续到理论饱和为止——即当额外的访谈不再产生实质性的新类别或新关系时。
**4 研究发现**
本节呈现我们的实证发现。我们首先描述一个从数据中横向抽象出的概念模型(见图3),这是一个组织多个相互关联概念的高层级概念结构,它捕捉了解释性工具(尤其是视觉工具)在专业实践中获得意义的解释动态,并具有向其他情境和技术迁移的潜力。随后,我们用研究中收集的实证数据填充这一框架,直接回应研究问题,阐明从业者解读显著性图并使其在放射学实践中具有意义的动态过程。
**图3.** 从实证数据中抽象出的概念结构,说明临床医生如何通过解释工作,既赋予机器通过显著性图呈现的机器生成符号系统以意义,又将这些意义与放射学诊断实践进行调和,从而试图弥合机器视觉与放射科医生专业视觉之间的符号错位。
该图呈现了研究发现中所描述动态的视觉表征。显著性图连同其机器视觉和机器生成符号系统被置于一侧,而装备有专业视觉的从业者被置于另一侧。两者之间是一个符号错位空间,其中解释工作和机器理论在此展开。
**4.1 机器符号学的概念模型**
符号学可以理解为同时包含一个符号系统(即一组结构化的能指及其关系)以及在特定实践领域中使这些符号获得意义的解释过程。在医学领域,医学符号学恰恰指涉这一双重结构:不仅是被用来指示病理的躯体或视觉符号,也包括临床医生在学习诊断工作中识别、定位和推理这些符号时所积累的历史性解释劳动。类比而言,我们引入"机器符号学"的概念,将其定义为研究机器产生的视觉的、符号的或指示性符号所意指的状况存在、程度或缺失,以及在实践中使这些符号具有诊断意义(或无法使其具有诊断意义)所需的处境化解释工作(见图3)。
在基于显著性的放射学XAI系统中,机器的符号学词汇主要由指示性符号系统[43]构成。显著性图不提供符号性或显式编码的解释,而是指向被认为在计算上与给定分类相关的图像区域[125]。颜色、强度、不透明度和空间分布的变化作为能指,其预期所指是模型内部的重要性归因。然而,这些能指与具有临床意义的所指之间的关系仍然是开放的,且往往是模糊的。例如,在一张被分类为骨折的X光片中,显著性图突出显示跨越椎体的区域,从系统的角度来看,这可能表示对输出具有强统计贡献的区域,可能反映了不可见的、间接的甚至是虚假的相关性。正如古德温的"专业视觉"概念[50]所描述的——实践共同体成员通过共享实践学会以专业相关的方式看待世界,使某些现象变得可见而使另一些现象变得无关紧要——机器视觉可以被理解为机器被构建者通过设计、训练和实施实践使其"看见"的方式所构成的实践性存在。此处的相关实践共同体不是临床医生,而是决定什么算作数据、图像如何预处理、使用哪些标签、优先优化目标是什么以及哪些内部表征被作为解释呈现出来的设计者、工程师和数据科学家。从这个角度来看,显著性图是由一种独特的专业视觉所塑造的产物,这种视觉植根于机器学习实践。例如,从机器学习的角度来看,如果上下文特征或全局纹理模式能提升分类准确率,那么模型关注这些特征是完全可以自洽的。当这些注意力模式通过显著性图作为一种符号系统被外化时,它们忠实地反映了机器的视觉。
然而,从临床医生的角度来看,诊断相关性锚定于一种高度结构化且经专业培养的观察方式。在评估疑似椎体骨折时,参与我们研究的所有放射科医生都系统地检查了椎体作为有组织的解剖和生物力学单元的整体性。这包括验证皮质边缘是否连续且边界清晰、所有椎体角是否保留完好,以及椎体的整体形状是否连贯并与脊柱轴上相邻节段对齐。如一位从业者在研究中指出的,椎体之间的对齐作为关键的关联性符号,使临床医生能够检测出在孤立观察单个椎体时可能不会立即察觉的细微中断。在某些情况下,如爆裂性骨折,椎体完整性的破坏是显而易见的,椎体表现为塌陷、碎裂或不规则扩张,对于病理的存在几乎没有歧义。然而,在许多其他情况下,骨折表现为与预期形态的更加微妙的偏离。当整体完整性看起来基本保留时,放射科医生会关注与特定骨折模式相关的更具体且不频繁的符号,利用积累经验和共享的专业启发式知识来区分正常的解剖变异与早期或模糊的病理。
如图3所示,显著性图及其机器生成符号系统可以被分析性地置于一侧,而装备有专业视觉的从业者被置于另一侧。两者之间是一个潜在的符号错位空间——或按照阿克曼的说法,是一个社会技术鸿沟[1]——存在于异质的符号系统和"看见"实践之间。总体而言,放射学专业视觉面向形式、连续性和对齐的结构化配置。当显著性图突出显示不对应这些预期诊断部位的区域——或在临床医生预期没有局部符号的情况下强调某些区域时——它们引入了一种符号摩擦。机器突出显示为显著的内容可能在临床医生的专业视觉中无法被识别为有意义的,不是因为它不可见,而是因为它不符合通常用来识别和推理椎体病理的符号学逻辑。正是在这个符号错位的空间中,解释工作——我们称之为机器符号学的一个组成部分——作为一个处境化的过程展开,临床医生尝试为机器生成的符号赋予意义并将其与诊断工作的实践逻辑进行调和,无论是通过将某个符号在其推理中赋予功能性意义,还是相反地将其视为误导性的、虚假的或与诊断无关的。换言之,临床医生从事的是一种诊断工作,其对象不仅是患者或X光片,而是解释性工具本身。此外,随着他们持续与系统交互并观察其行为中的规律和失败,从业者构建并迭代完善了我们所称的"机器理论"(ToMac),即用户通过直接交互构建、更新和完善对AI系统如何运作的心理模型的能力(例如其行为模式、解释逻辑和潜在失败模式),这代表了一种指向机器的"心智理论"。反过来,这个过程又有助于塑造后续机器生成的符号如何被解释和实践。
在以下各节中,我们将详细展开这些分析构建,将其植根于我们研究的实证材料中。我们用访谈摘录来填充这一概念结构,说明当临床医生与基于显著性的解释交互时,符号错位、解释工作和ToMac的建构如何在实践中被 enactment(实践/行动化)。通过这种实证阐述,我们展示了上述抽象动态如何从处境化的解释劳动中产生,并由这种解释劳动所维持——正是通过这些劳动,机器生成的符号系统在放射学工作中被赋予意义,或相反地被判定为不可用。
**4.2 符号错位**
符号错位指的是技术系统产生的符号与专业实践中预期或实际执行的含义之间无法对应的一种状态,即系统所呈现的能指无法稳定地或有操作性地映射到其预期用户的解释范畴、符号学逻辑和实际目标上。因此,XAI文献中记录的许多可解释性问题都可以被重新框架为系统所实现的功能与临床医生如何感知和解释该功能之间社会技术鸿沟的表现,以及这种被感知到的功能与其如何能够有意义地整合到既定放射学实践中的方式之间社会技术鸿沟的表现[1]。前者可称为语义鸿沟或语义错位,而后者则构成语用鸿沟或语用错位。
例如,虽然阳性病例中临床医生通常预期并接受了显著性图会聚焦于提示病理的区域,但在阴性病例中,显著性图的解释逻辑经常让人感到失调。红色高亮区域作为一种强大的感知线索,通常被解读为异常、紧急或诊断相关的信号。红色承载着强烈的直觉符号权重——引发警报或病理的联想——临床医生主要将其解读为AI指示骨折或异常。然而,即使在不存在骨折的情况下,模型仍然会突出显示它认为对阴性分类最相关的区域(见图4)。虽然从模型的角度来看这是自洽的,但这种对"非病理"相关性的指示性标记与临床医生的诊断预期相矛盾,引入了困惑,引发了不必要的疑虑,并扰乱了诊断的解释节奏。在放射学实践中,"缺失"很少被显式标记;相反,它是从显著符号的缺乏中被推断出来的。当显著性图在阴性病例中仍然突出显示特定区域时,它们违反了一条隐含规则,即高亮意味着异常。机器试图通过视觉注意力来意指"正常"的做法在符号学上变得不连贯。这种张力在参与者的表述中得到了生动的体现。一位骨科医生评论道:
"如果它高亮的是正常部位,那是不是意味着它认为其他部位是骨折的?这说不通啊。"(骨科医生C)
在这些情况下,显著性图变成了噪音的来源而非清晰的来源。渲染为蓝色的语义图通过视觉确认正常性而带来了一些缓解,但当它们未能涵盖整个解剖结构时,即使这些图也引发了矛盾情绪。一位临床医生表示:
"它不应该只用蓝色点亮一个区域。如果椎体是正常的,我预期整个椎体都应该是蓝色的。"(放射科医生G)
**图4.** 两个真阴性病例(不存在骨折)的显著性图示例,分别由模型的第三层和第四层生成。高亮区域代表模型认为指示病理缺失的区域。
该图展示了两对显著性图,每一对对应一个模型预测不存在骨折的不同病例。在每对中,第一张图反映了神经网络第三层的激活,而第二张显示了第四层的激活。
在这种情况下,符号在语义上仍然是不稳定的,因为其预期所指无法干净地映射到放射学中临床医生既定的诊断类别和符号学预期上。
显著性图信号向模型传达了"此处重要"的信息,但并未指明该信号应如何解读,也未说明其意指何种病理性特征(如果有的话)。从实用角度看,这种语义不稳定性导致模型产生的伪影所传达的信息与放射学实践的需求之间产生了严重的错位。例如,在一幅看似正常的扫描图像中高亮显示某一特定椎体区域,可能会引发不必要的怀疑、额外的审视,或让人怀疑存在被遗漏的骨折,从而使解释偏离了高效排除病理这一实用目标。重要的是,能指与所指之间的完美语义对齐既不可行也非必要,因为有效的实用对齐往往依赖于那些"足够好"的近似,足以支撑知识性的、负责任的决定或行动[76]。
**4.3 意指工作与协调工作**
基于Schmidt和Bannon[101]对计算机支持协同工作(CSCW)中"诠释工作"的论述,我们的分析表明,需要沿着两个相互关联的过程进一步阐明这一概念,即机器生成的符号在临床实践中如何被赋予意义并变得可操作。意指工作的语义维度,指的是临床医生建立机器生成的视觉、符号性或指示性线索(即能指)与相应的医学概念或行动(即所指,如诊断、风险等级,或进一步检查或治疗的触发信号)之间的情境化关系的過程。这一过程本质上是情境化的,依赖于临床医生根据当下临床情境解读机器输出的能力。另一方面,协调工作的实用维度指的是,后续为使这一被赋予的意义与放射学诊断的具体目标和约束条件相一致——或在必要时主动拒绝这一意义——所付出的努力。这一诠释过程反映了临床医生在判断机器推导的诠释应在何种程度及以何种方式纳入既有临床工作流程与决策常规时所表现出的判断力。实证观察表明,这两个维度受情境线索、先验预期或知识、以及病例特有的模糊性或复杂性的制约和中介,且极少单独展开。相反,它们总是在意义建构的情境化时刻中共同运作,此时对符号意义的理解与对这一意义能否及如何付诸实践的评判密不可分。
这种纠缠在临床医生与不同类型显著性图的互动中表现得尤为明显。当使用保留像素级详细激活的高粒度显著性图时,临床医生经常将视觉输出描述为碎片化、噪声化或弥散化的,需要大量的认知努力来过滤掉看似无关的激活区域——尤其是那些位于椎体之外的激活,这是常见的观察现象。在这些情况下,临床医生难以确定该符号究竟意指什么:它是否指示了细微的病理、上下文影响、暂定的怀疑,还是仅仅是模型内部相关性的伪影。相反,将激活汇聚为更广泛、更抽象模式的高层次显著性图,并未解决诠释难题,而是转移了诠释挑战。尽管这种抽象化与面向分类的推理方式一致[125],但它往往无法提供肌肉骨骼系统诊断所需的解剖精度,而在该领域中,细粒度的解剖特异性至关重要。因此,临床医生经常发现这些高层次图过于笼统而无法付诸行动,从而削弱了其实际效用。
不同显著性图设计所采用的色彩编码策略也进一步塑造了解读工作。传统热力图依赖连续色渐变(通常从冷色调到暖色调)来编码相关性的程度。尽管这种渐变被广泛使用且通常被认为是直观的[41],但我们的访谈揭示了相当大的解读差异。虽然大多数临床医生正确地将暖色与更大的诊断重要性联系起来,但其他人则犹豫不决或误读了色标,将其理解为物理属性(如骨密度或组织构成)的指标,而非算法相关性的指示。在这些情况下,意指工作在基本的符号学层面即已失效:同一视觉能指支撑了相互矛盾的意义,暴露出这种编码方式所假设的透明性的脆弱性。相反,语义显著性图采用的类别化设计——即用离散颜色直接编码模型的诊断输出(例如,红色表示存在骨折,蓝色表示不存在骨折)——受到多位临床医生的赞赏,认为其具有即时性,尤其有助于快速确认阴性病例。然而,这种看似明确的语义引入了一种不同类型的诠释张力。通过将解释与诊断合并为单一的视觉简写,此类图放大了AI的感知权威性,可能绕过批判性审视。一位临床医生表示:
"看到红色可能会对你产生更大的影响,让你更信任机器的建议。颜色——我们无意识地将它关联到'骨折'的诊断——在判断错误时可能会更具误导性。"(骨科医生B)
在此,协调工作之所以出现问题,并非因为意义不明确,而是因为它与诊断预期之间过于顺畅地吻合,从而减少了反思性审视的机会。正如一位临床医生所观察到的,红色与病理之间的情感性和文化性关联,可能使一个错误的建议比正确的建议更具说服力,而非更具问责性。总之,颜色绝非中性的信息载体。它是一种强有力的符号学资源,既可以动摇意义,也可以过度决定意义,对放射学实践中解释如何被协调——或被不加批判地吸纳——产生直接影响。
诠释工作既是语义与实用鸿沟变得可见的场所,也是实践中试图弥合这些鸿沟的场所。当协调成功时,基于显著性的解释可以变得具有实用价值,即便只是部分或暂时性地如此。当协调失败时,后果可能包括机器诱导的错误、不当的怀疑、不必要的二级检查、心理疲劳、过度治疗、诊断延迟,或错失有效决策支持的机会——在这些情形中,系统既未能防止错误决策,也未能可靠地支持正确决策。
在访谈期间,临床医生发展出了情境化的策略来应对显著性图。一些人将高亮区域视为注意线索——有用的不是它所解释的内容,而是它所指向的位置。在这一框架下,显著性图作为视觉提示发挥作用,引导重新审视特定图像区域,其作用更少是意义载体,而更像是感知触发器,旨在减轻认知负荷下的遗漏。另一些人则将图作为启发式交叉检查工具,主动将AI强调的区域与自己的临床预期进行比较。这种交叉参照实践使临床医生能够检验人与机器的推理之间是否对齐——有时强化了信心,有时则引发了更深入的批判性审视。
这些参与策略——特别是将显著性图视为注意线索的做法——并非没有后果,可能会重塑视觉搜索的方式,从而引入新的脆弱性形式,尤其是在高注意负荷或临床疲劳条件下。一个可能对临床实践产生影响的因素——具体而言,是错误率增加或诊断错误性质发生变化——是由线索诱导的非注意盲视,这是一种由视觉信号引导注意力、通过注意启动选择性引导视觉搜索的非注意盲视的特殊形式[38, 118]3。当临床医生的视觉注意力被AI生成的高亮引导时,位于指示区域之外但临床相关的显著特征可能会被忽略。我们访谈中的一位参与者将其类比为著名的"隐形大猩猩"实验:
"有时候我会担心机器正在告诉我确切该看哪里……但随后我就过度专注于那里了。就像那个大猩猩实验,你知道的?你太过专注于球,就看不到就在眼前的东西了。我说不清这是否发生过……据我所知没有……但这让人有些不安。这就是让我有点担心的地方。"(骨科医生A)
在某些情况下,显著性图引发了更深层次的诊断反思,促使临床医生重新考虑最初的印象。例如,当图高亮了意想不到的或看似无关的区域时,临床医生有时会暂停并重估自己的判读——有时这导致了先前被忽略但具有诊断意义的线索的识别。一位临床医生表示:
"它让我重新考虑,反思。它确信那里有骨折。如果它是对的怎么办?也许我该改变看法。"(骨科医生A)
至少有一次,这种意想不到的高亮反而促成了对AI推理缺陷的识别,揭示了系统关注了与诊断无关的特征:
"看到显著性图让我意识到我不能信任这个建议。它什么也没看到。它怎么能告诉我那里有骨折?讽刺的是,如果我收到的只是机器的建议而没有显著性图,那可能会更具误导性。"(骨科医生A)
这种认识并未削弱信任,而是使临床医生能够重新校准对系统的依赖[66],培养了一种更加细致的理解:何时信任其输出,何时保持批判性距离。尽管这两种情形截然不同,但都凸显了成功协调的潜力。
至关重要的是,这些经历塑造了临床医生对AI整合的更广泛立场。大多数参与者支持有条件的、对病例敏感的AI系统使用方式。AI主要被欢迎作为第二阅读者,旨在提高诊断准确性,尤其是在复杂或模糊的病例中,或在高负荷工作场景下。这一态度与"以人为本、AI作为第二意见"的方法一致,在这种方法中,AI不被视为决策者,而是一种增强人类专业知识而非替代它的辅助手段[24, 36, 70],在注意资源或时间资源紧张时充当认知后盾。这一配置保留了临床医生的权威性,同时认可了算法输入的价值。这一立场也可以从责任和职业问责的角度加以论证,因为临床医生必须对诊断决定承担最终责任。在实践中,这意味着参与者倾向于将AI输出视为咨询性的而非决定性的,确保任何最终决定都能追溯到他们自己的专业判断。然而,这种对"AI作为第二意见"配置的强烈偏好也反映了对AI融入临床工作流程长期影响的更深层忧虑。自动化偏见的幽灵萦绕着从业者心头[63, 85],他们担心临床医生可能会日益过度依赖AI建议,而未充分质疑其有效性。随着AI系统越来越深入地嵌入诊断常规,临床医生可能会默认地将判断权让渡给机器,逐渐侵蚀的不仅是一种职业代理感[44, 71]和责任意识,还有诊断敏锐度——通过一个通常被称为"技能退化"的过程。在医学这样的高风险领域,风险不仅仅在于临床医生可能遗漏罕见边缘病例,更在于诊断专业知识本身的肌理——其隐含的启发式策略、具身化的判断力和情境感知——可能因对算法线索的常规依赖而变得迟钝。从这个角度来看,核心关注点不仅在于机器是否准确,还在于它的存在是否重新定义了"在临床实践中认知、决策和行动"的含义。
然而,当意指或协调被证明是不可能的或令人沮丧时,从业者会拒绝某些高亮区域为无关或具有误导性——尤其是当这些区域出现在解剖学上不可能的区域或与既定诊断预期相冲突时——或者完全脱离这些图。这种显著性图的底层逻辑与临床推理之间的错位,助长了一种解释反而阻碍而非支持诊断的印象,在某些情况下,甚至主动削弱了对AI输出的信任。这一发现并非完全新鲜,因为先前的研究同样对放射学中视觉显著性图的有用性和意义提出了质疑[48]。这种抵制还表现为对视觉解释本身必要性的怀疑,尤其是当AI预测本身被认为高度准确时。一些临床医生表达了对直接建议的偏好,而非可能引入模糊而非清晰、潜在地在决策过程中滋生不当怀疑的显著性图。这种批评凸显了显著性图作为视觉解释方式的一个根本性局限:它们无法捕捉诊断推理的分层复杂性。当解释内容被简化为颜色或亮度的渐变时,细微差别便被抹平了:
"一张只显示颜色的图无法让人区分两种推理方式,也无法区分骨折的直接征象和间接征象。"(骨科医生D)
在临床实践中,一个视觉特征的意义不仅关乎其突出程度,还关乎其诊断框架——它究竟构成病理的直接征象、间接的上下文线索,还是应被忽略的良性异常[5]。目前形式的显著性图缺乏区分这些诠释层次的表达词汇。它们的视觉语义——通过色相和亮度的渐变来呈现——很少与支撑专家医学判断的推理结构相吻合。
这种错位暴露了一个深刻的社会技术鸿沟:那些由计算生成的解释或许在语法上是可读的,但在语义上却与临床视角相疏离。
**4.4 机器心智理论(Theory of Machine)**
在"裁决者-顾问"配置中[17, 105, 106],临床医生对最终决策保留全部责任,同时有意将自己暴露在误读、误释或过度依赖系统建议的风险之下。在这样的场景中,解释工作与针对机器逐步构建的一种心智理论[4]不可分割——即我们所称的机器心智理论(Theory of Machine, ToMac)[72]。面对一套内部逻辑从根本上来说仍然不透明的机器生成符号系统,从业者被迫不断提出、测试并迭代修正关于系统"如何思考"和"如何观看"的假设,以便解读其符号的含义,并判断在何种条件下其建议可以被信任,或者应当被忽视[57, 58]。重点显然不在于机器是否真的在思考,而在于用户构建了这样一种想法作为一种实践资源,用于解读系统所指示的内容,并最好地利用其指示(例如,通过拒绝不可靠的建议)。尽管这一过程可能与Bucher[18]所称为的"算法想象"——即关于算法是什么、应当是什么以及如何运作的方式——相呼应,也与更广泛的民俗理论[40, 123]概念相契合,但ToMac关键性地通过与系统的实际互动而产生并持续精化。用户通过观察机器行为的规律性和异常、测试其预测以及随时间推移解读其输出,来形成和调整他们的ToMac。
例如,临床医生与显著性图的互动中存在一个核心张力,即他们试图通过解读视觉高亮区域的含义来推断AI模型底层功能。许多临床医生本能地认为较暖或颜色更强烈的区域指示骨折,而另一些人则将这些相同的视觉线索解读为机器不确定或混乱的信号。第一组中一位临床医生说:
"强烈的红色,对我来说,意味着异常,意味着骨折。"(放射科医生G)
相反,持第二种解读的一位放射科医生说:
"梯度反映的是AI的怀疑程度。它点亮的越多,不确定性就越大。并不是说激活越多就越可能是骨折。"(放射科医生F)
这种解读的流动性是一个更深层次问题的征兆,因为AI系统的不透明性促使临床医生使用隐喻、投射或类比来填补解释空白。一些临床医生将AI拟人化,描述它是"困惑的",而另一些人则试图推断它可能关注的潜在特征——如放射密度、纹理或均匀性。这些民俗理论受到他们的专业视觉经验、挫败感以及面对描述不足、索引性且最终不可捉摸的解释时对可理解性的渴望所塑造。
关键的是,对AI错误的解读与这种解释劳动密不可分。临床医生常常将错误视为逻辑有缺陷、对噪声过度敏感或未能把握整体解剖结构的证据。另一些人则将正确预测归因于运气,认为AI是"猜对了"而非"推理得好",从而强化了对系统可靠性的怀疑立场。理想情况下,有意义的解释应帮助临床医生预见或识别此类错误,从而相应地校准他们的信任。然而,本文考察的显著性图很少能提供这种预见性洞察。在缺乏对机器运作的一致或稳定理解的情况下,参与者难以预见AI何时或为何可能失败。
总体而言,解释工作与ToMac很少汇聚为固定或稳定的结论,无论是跨参与者还是同一参与者在互动过程中。相反,临床医生参与了一种动态、迭代的意义建构过程,持续构建、测试和修正关于AI如何运作的想法。在某些情况下,参与者在互动过程中修改了他们的解读,承认从初始假设向更细致的假设的转变。这些临时模型并非技术上准确的,但它们在实践上是有用的:它们为推理系统可能的行为——包括其失效模式——提供了认知支架。从这个角度来看,"信任"AI系统所关乎的变成了一个关于输出需要多少解释工作的问题。有时解释努力可能随时间减少,因为制品变得更为熟悉,其可靠性也得到了经验证实。但在另一些时候,解释警惕性必须始终保持,恰恰因为系统可能继续关注虚假或对诊断无关紧要的线索。从这个意义上说,过度依赖不仅仅意味着"信任太多",而是意味着解释工作做得太少。
**5 启示**
我们的发现强调了"解释等同于理解"这一根本误解。"解释"(explain)一词本身就唤起清晰、透明和解释性闭合的意象。从词源上看,该词源于拉丁语ex-(向外)和plicare(折叠),解释即展开——打开曾经折叠在自身之上的东西——在其比喻意义上,即将隐藏之物显现出来。然而显著性图所提供的并非一扇通往机器推理的透明窗口,而是一组含义既非内在的也非不言自明的模糊视觉线索。
需要调和模型所突出的统计显著性与临床医生所认为的临床意义,这对临床环境中基于AI的决策支持系统的设计与采用具有多重启示,尤其是在诊断工作具有解释性且深度情境化的放射学领域。以下各节将概述支持这种对齐与调和的不同路径,从而促进这些系统融入诊断实践。
**5.1 对设计的启示**
为促进行动者(从业者)与解释性制品之间的对齐,既可以在制品设计层面进行干预,也可以在实践中的互动层面进行干预。
首先,我们认为XAI系统应当超越静态的、一次性的可视化展示,转而支持交互式和自适应的解释环境[30, 45, 92, 110, 113]。这些建议基于我们对临床医生对显著性图偏好存在显著异质性的经验观察,以及他们对视觉线索(如高亮区域)的解读方式。我们还观察到临床医生感到困惑的时刻,以及他们多次——有时是试探性的——试图理解这些解释如何运作以及意在传达什么,而依赖单一固定的表现格式会加剧这些困难。从这个角度来看,显著性图并非确定的答案,而是促进探索、批评和人与机之间协商的解释性支架。可解释性因此通过互动而产生,当临床医生质询模型为何优先关注某些区域、比较不同可视化方案、标注或纠正感知的错位、并将视觉线索与其情境化专业知识相关联时。解释不应仅传递"模型看到了什么",而应支持一个对话过程,在此过程中意义被共同构建,算法输出与临床推理之间的语义鸿沟被逐步弥合[45, 110]。这可能涉及调节视觉抽象层级、提供多层次解释、或根据用户档案动态调整细节程度,因为一刀切的解释可能会疏离专业光谱两端的使用者。例如,初级临床医生可能受益于教学性更强的表征,将显著性置于熟悉的解剖或诊断框架中,而高级用户可能更喜欢极简的、低摩擦的叠加层,以保持解释自主权。
重要的是,交互式与自适应解释也有助于保持批判性参与,鼓励临床医生与解释共同推理而非简单接受。然而,更大的语义锚定——虽然通常是可取的——引入了新的风险。特别是视觉过度赋义的形式,如直接将视觉特征映射到诊断结果的强颜色编码(如红色代表"骨折",蓝色代表"无骨折"),可能施加不成比例的话语力量,绕过审慎的审议,并滋生不合理的信任,尤其是在时间压力下。这种现象被称为"白箱悖论"[26],它强调了使解释更明确或可读并不一定使其更安全或更能支持良好判断,在某些情况下甚至可能导致临床医生接受错误的建议。
缓解我们发现中观察到的解释困难的一个互补方向在于整合基于概念的解释模型[67, 89],如概念瓶颈(concept bottlenecks),它将模型内部激活映射到人类可解释的临床概念上(如"椎体高度丧失"、"骨皮质中断")。早期研究表明,此类方法通过提供更符合既定诊断类别和专业推理形式的解释,能够更好地近似放射学中专家推理的结构[83, 119]。
尽管如此,一种旨在重新思考放射学XAI设计流程的原创方法也值得关注。目前,显著性图通常是从仅使用原始图像配对真值标签训练的神经网络内部激活模式推导出来的,将解释视为分类的事后副产品。但如果可解释性是一个主要设计目标呢?一个有前景的方向是训练模型使用由专家放射科医生创建的人工显著性图,他们在图像上标注那些他们认为在诊断上相关且有助于支持特定诊断的发现[27]。这样的图为机器生成的解释提供了基础,使其不仅具有诊断意义,而且在符号学上契合临床推理。类似地,Yanagawa和Sato[120]强调将诊断信息纳入模型训练以增强AI系统的可解释性,而Chen及其同事[29]倡导在解释策略中纳入用户的直觉。类似于住院医师内化专家推理而非简单记忆诊断标签的方式,模型不仅可以基于最终分类进行训练,还可以基于其背后的临床依据进行训练。那些不表现出骨折迹象的X光片是一个说明性案例。从模型内部逻辑的角度来看,将某些图像区域高亮为"最显著的"以支持阴性分类是算法上有效的——甚至是预期的。然而,这种逻辑与临床医生的诊断预期形成鲜明对比,对于他们来说,病理的缺失应该对应于视觉注意焦点的缺失。训练模型产生与从业者专业视觉[50]对齐的解释,可以缓解这种错位,确保高亮线索对应于临床相关的推理,而非引入解释不确定性。
**5.2 对采用的启示**
除了在制品和互动设计层面进行干预外,对齐问题还可以从另一个角度来接近。
特别地,我们认为没有任何解释方法——尤其是那些依赖视觉的、亚符号的或非符号化表征的方法——能够在用户获得对该方法所涉及和执行的符号系统熟悉之前得到有意义的采用。机器符号学不仅在不同方法之间有所不同,而且在不同机器之间、不同模型之间也有所不同。因此,掌握一种情境化的符号学不能被视为理所当然。
二十世纪初一位放射科医生在谈到X光片时做出了如下观察:
"一张好的X光片在某些方面可以说像一幅透纳的画。没有直觉或先前的研究,两者几乎同样难以理解,但当我们凝视时,丰富的细节在我们的视野中浮现,直到最终我们能够解读那些对未经训练的眼睛而言毫无意义的条纹和阴影的含义。"[35, p. 1006]
正如Barley关于CT扫描仪的经典民族志研究[11, 12]所展示的,技术不透明性和诊断不确定性并非机器的内在属性;相反,它们是在其符号学对从业者而言新颖且陌生时才浮现的。相同的技术因此既可以动摇实践,也可以无缝整合,这取决于其符号如何被学习、解读并嵌入专业常规中。
这一洞见具有重要的启示意义。首先,它呼吁改变XAI方法的选择和评估方式,超越以准确率为中心的指标。那些符号系统可读、可学且跨模型、案例和用户稳定的系统应当被优先考虑——尤其是在放射学这样解释一致性至关重要的场景下。此外,此类系统的采用应当由有意的教育和培训干预来支持,以搭建用户学习的脚手架[21, 41]。正如临床符号学必须通过专业社会化来学习一样,机器生成符号的符号学同样如此。此类干预可能包括接触涵盖不同案例复杂度的显著性图——包括假阳性和假阴性——以帮助临床医生三角验证系统聚焦的逻辑(或无逻辑)。重要的是,这种培训的目标不是培养对模型行为的被动接受,而是培养知情怀疑和对其视觉语言的情境化流畅性。
此外,这种需求也在访谈中得到了明确表达:"我觉得我大概不会用它。这不属于我日常工作的范畴。我没受过相关训练。没有人教我如何用色彩渐变来解读X光片。我解读X光片有一套特定的逻辑。"(骨科医生H)
这种情形令人回想起医学影像最初被引入临床实践时的历史时刻——当时不得不催生一个全新的医学专科来专门解读这些新型视觉制品[86]——而如今,我们或许正接近可解释性人工智能(XAI)领域的类似转折点。以显著性图为代表的工具具有符号层面的不透明性,它们往往运行在临床现有语法所不熟悉甚至完全陌生的视觉体系中,这表明它们的有效使用无法无缝融入传统诊断流程。与其假定放射科医生能够、或者应当各自消化这些新的机器视觉形式,我们或许需要思考一种新型混合专业角色的出现——这一角色通过将计算素养与临床专长相结合,扩展放射学的边界。这一构想与Jha和Topol[59]所阐述的愿景相呼应,他们提出应培养信息专家,这些专家不仅能够向机器学习系统输入合适的数据,还能够以有助于临床决策的方式解读系统输出。关键在于,这一角色不应仅仅是解释者,而应成为增强[24, 36, 70]的能动者。因为机器学习模型通过统计模式识别运作,它们能够发现影像数据中的潜在关联——如细微的解剖学线索、微观模式或共现特征——而这些可能超出人类感知范围或游离于传统诊断范式之外[14, 41]。例如,一个模型可能并非基于骨结构的明显断裂,而是通过局部肌肉僵硬、组织炎症移位或既往微创伤的痕迹等次级指标来标记骨折迹象。为了善用这一能力,新的专业角色不仅需要理解机器看到了什么,还需要培养出一种敏锐的感知力,理解机器"如何"看,从而识别机器显著性模式并批判性地评估其诊断合理性。这种转变意味着专业视觉的转变[50]。这种增强远非取代人类判断,而是通过赋予临床人员获取否则无法触及的推理与注意形式来丰富判断,从而扩展放射学实践的范畴[104]。
唯有认识到并拥抱解释在根本上具有社会技术性质,我们才能构建出不仅被看见、而且在实践中被真正理解和有意义运用的系统。这要求采取参与式的系统设计方法[16],使领域专家不仅是终端用户,更是共同创造那些让机器推理变得有意义且可操作的表现实践的主体。因此,与临床专业人员进行设计,而非为他们设计,意味着需要仔细关注解释工具如何融入医疗实践的组织生态。
## 6 局限与未来工作
### 6.1 方法论局限
尽管我们的方法能够深入洞察临床人员与显著性图的互动,但也存在一些方法论局限。
尤其值得注意的是,仅依赖半结构化访谈作为数据收集方法,可能引入社会赞许偏差[82],同时限制了与互补观察数据(如屏幕录制或眼动追踪日志)进行三角验证的机会,也限制了通过民族志研究进行更深入的生态情境化分析。
本研究在实验环境中进行,而非对日常诊断工作进行实地观察。尽管这种受控设计允许系统性地探索临床人员的解释过程,但也不可避免地抽离了真实实践中的具体情境变量,包括时间压力、多任务处理、团队协作和机构规程。我们有意搁置了这一更广泛临床生态的许多元素——并非要将放射学推理与现实脱节,而是为了在分析层面聚焦于临床人员面对AI生成的视觉解释时所动员的即时解释过程。这种方法论上的简化虽然降低了研究的生态效度,却使我们能够观察到实践者如何在无额外临床信息、工作流压力或团队协商干扰的情况下理解新型计算制品。然而,我们的发现仍然植根于真实的放射学专长。所有参与者均为经验丰富的从业者,其解释过程深受其日常工作的协作与分布式环境的影响。在访谈中,参与者频繁提到X光片通常如何整合于多学科工作流中,以及如何通过患者病例相关的其他临床信息进行补充。
在图像评估前披露已验证诊断的决定也必然限制了任务的生态效度。在常规临床实践中,诊断推理在不确定性的条件下展开,要求临床人员主动生成、修正和舍弃假设。通过消除这种不确定性,我们的实验设置可能降低了任务的认知要求,从而使我们的场景与日常临床决策有所不同。因此,尽管我们的方法使我们能够聚焦于我们所关注的解释过程,但也限制了我们的发现向真实世界诊断环境的全部复杂性进行推广的程度。
此外,与所有扎根理论研究一样,研究结果受到研究者解释视角以及编码与理论化迭代性质的影响。尽管采用了严格程序以确保分析一致性和理论饱和,但研究的归纳式设计在统计学意义上无法推广。
### 6.2 情境与样本限制
我们选择的特定临床情境——放射成像中的胸腰段骨折评估——为考察AI输出的符号解读提供了有价值的场景,但也限制了我们的发现向其他医学影像领域或较专业化较弱的临床情境的迁移性。与此同时,我们观察到的若干动态——如构建机器理论(ToMac)所涉的解释工作、信任校准,以及临床人员对AI输出的情感与认知反应——并非椎体骨折诊断所独有。类似的流程很可能出现在其他临床情境中,在这些情境中,从业者必须在高风险条件下与视觉解释制品进行互动。同样,尽管我们的研究聚焦于X光片,但解读算法线索的挑战也延伸至其他影像模态,包括CT和MRI,在这些模态中,显著性图和AI生成建议既可能支持也可能误导视觉注意力。就此而言,虽然实证发现具有情境特异性,但底层的解释动态在影像模态和临床情境之间表现出更广泛的迁移性。
最后,尽管样本规模适合扎根理论的发展,但限制了代表性。参与者对放射学的熟悉程度以及对AI技术的有限先前接触引入了一定程度的同质性,这可能塑造了他们的解释策略。
### 6.3 未来研究方向
基于我们的发现,未来研究应在几个维度上扩展这一探究路径。首先,纵向研究可以考察随着临床人员持续接触AI生成的解释,其解读如何演变,包括依赖模式[24]和诊断策略[5]的潜在转变。其次,互动研究——如在临床人员常规使用过程中进行跟从观察,或将显著性图整合到模拟的临床查房中——可以为理解意义建构的认知、社会与协作维度提供更深洞察,而实地民族志研究则可捕捉AI视觉解释如何被挪用、争议或整合进日常临床常规。此类研究将使研究者能够观察到解释工作如何在放射学实践的全社会物质生态中展开,同时兼顾实时协作、组织约束和患者特异性考量。第三,混合方法设计可以帮助弥合定性洞察与定量评估之间的鸿沟——例如,将访谈与显著性图和临时显著性图之间的视觉重叠度量相结合[27]。第四,考察训练数据和算法输出中偏差的作用是未来工作的关键路径。这一探究方向可以考察感知或实际的偏差如何塑造临床人员的解释工作和信任,助长诊断不平等,并最终影响采用、依赖和学习[115]。最后,机器符号学(machine semiology)的进一步概念发展可以通过参与式协同设计方法来推进,在这些方法中,临床人员积极参与塑造AI解释工具。这些努力不仅能够深化理论理解,还能够为设计专业上可读、符号上连贯且临床可操作的解释界面提供信息。
## 7 结论
本研究旨在考察临床人员在诊断放射学中如何解读和理解AI生成的显著性图,具体针对胸腰段骨折检测。其核心研究问题涉及机器生成的视觉解释与人类诊断推理之间的符号错位——随着XAI系统日益嵌入临床工作流,这一问题日益相关。
我们的发现源于对八位从业临床人员的访谈,这些人员与精心策划的X光片数据集及对应显著性图进行了互动,揭示了一个复杂的解释策略与适应图景。虽然显著性图通常被视为第二意见工具,但其感知效用取决于临床人员解读、评估和实用地将其与诊断工作及既有视觉惯例相协调的能力,从而产生一系列态度和使用模式。这一过程通过持续的解释工作展开,既包括意指工作——旨在理解机器生成的符号意指什么——也包括调和工作,涉及评估这些意义在临床实践的约束下能否以及如何被负责任地实施。在此过程中,临床人员还不断发展和完善关于系统逻辑、局限和行为的过程性理论,即机器理论(Theory of Machine)。
综合来看,这些发现挑战了"可解释性是AI系统固有属性"的假定。相反,它们突出了可解释性是一种共同建构和情境化的成就,产生于机器生成的符号体系与专业解释劳动的交汇点。为阐释这一动态,我们引入了机器符号学的概念,将AI解释视为符号制品,其意义并非给定,而是在实践中被主动生产、协商,有时被拒绝。从这个视角看,临床人员不仅是消费解释,还从事持续的解释工作,决定了机器生成的符号是否具有诊断意义,抑或依然不可用。认识这一解释维度对于设计不仅技术上准确、而且能在真实临床环境中被理解的AI系统至关重要。
## 致谢
概念化:Federico Cabitza和Alessia Papale;方法论:Federico Cabitza和Alessia Papale;研究管理:Alessia Papale和Enrico Gallazzi;数据分析:Alessia Papale;初稿撰写:Federico Cabitza和Alessia Papale;审阅与编辑:Alessia Papale;可视化:Alessia Papale;协调与监督:Federico Cabitza。Enrico Gallazzi还提供了参与研究的医师的访问渠道。所有作者均已阅读并同意稿件的发表版本。作者感谢意大利AMAR项目(CUP: D53C22002380006)提供的资金支持,该项目由欧盟(下一代欧盟)资助。本研究还得到了其他PNRR资金(CUP: H41J24000400002)的支持,并部分得到了意大利米兰比可卡大学信息、系统与通信学部在"卓越学部2023-2027"(MUR)项目资助下的支持。