弥合临床人工智能中的知识差距:从活动理论视角探讨远程医疗中的跨学科数据工作
《Proceedings of the ACM on Human-Computer Interaction》:Bridging Knowledge Gaps in Clinical AI: An Activity Theory Perspective on Interdisciplinary Data Work for Telehealth
【字体:
大
中
小
】
时间:2026年10月22日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
为了查看这一由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。
**摘要**
先进的人工智能技术正越来越多地应用于临床领域,以提升患者护理水平。临床AI技术的设计与开发需要临床专家和技术专家之间的无缝协作。然而,这类跨学科团队往往未能取得成功,这主要是由于
摘要
为了查看这一由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。
**摘要**
先进的人工智能技术正越来越多地应用于临床领域,以提升患者护理水平。临床AI技术的设计与开发需要临床专家和技术专家之间的无缝协作。然而,这类跨学科团队往往未能取得成功,这主要是由于缺乏对协作障碍和应对策略的系统性分析。本研究通过半结构化访谈,调查了语音语言病理学领域的两项临床AI合作项目,参与者包括6名临床专家和7名技术专家。我们利用活动理论(Activity Theory, AT)作为分析工具,探讨了临床和技术工作流程之间的持续知识缺口和合作紧张关系,并展示了临床数据如何作为“边界对象”发挥重要作用,同时跨学科协作者可以充当知识中介,帮助解决这些挑战。
我们的发现为CSCW(人类计算与通信研究,Human-Computer Interaction and Communication Studies)中关于跨学科团队数据工作的研究做出了贡献,说明了共享的临床数据、边界对象以及中介角色如何在早期临床AI合作中塑造协调机制,并为未来的合作提供了最佳实践建议。
**AI生成摘要(实验性)**
此摘要是由自动化工具生成的,未经过文章作者的撰写或审核。它旨在辅助发现、帮助读者评估文章的相关性,并帮助相关领域的读者理解其内容。它作为对文章作者提供的摘要的补充,而作者提供的摘要仍是文章的权威版本。点击此处了解更多信息。您也可以点击此处对该摘要的准确性、清晰度和实用性发表评论,这些评论将有助于改进未来的AI生成摘要版本。要查看这一由AI生成的通俗语言摘要,您必须拥有高级访问权限。
**1. 引言**
人工智能(AI)的最新进展为跨学科团队合作带来了广阔的空间,尤其是在临床和健康领域[24, 56, 57, 66, 112, 112]。早期的临床AI合作主要集中在分析电子病历(EMR)系统中的临床信息,以支持行政管理(例如记录患者入院信息和组织数据)[50, 81, 83, 85]以及临床研究(例如疾病进展建模、治疗效果分析)[24, 32, 52, 68]。最近的研究将AI驱动的能力扩展到了普适计算环境中,在这些环境中,患者与医生之间的沟通[109, 114]、临床决策[57, 80, 110]、远程监控[67, 93]以及评估[108, 113, 115]都越来越多地得到先进AI技术的支持。这些应用的成功设计和发展依赖于临床专家和技术专家之间的紧密合作,以产生符合实际医疗实践的结果。
HCI/CSCW(Human-Computer Interaction and Communication Studies)研究人员已经广泛研究了医疗保健领域的跨学科工作。基础性研究探讨了协调临床任务的复杂性,以及“协调工作”中所需的隐形努力,这包括管理复杂情境下不同活动之间的依赖关系[91, 92]。虽然临床医生的工作流程严格遵循既定机构指南并优先考虑患者结果,但技术专家主要关注数据驱动的任务,专注于优化模型性能指标[53, 75]。这种特定领域目标和实践之间的不一致可能导致关于合作目标、劳动分配甚至成功定义的根本性分歧[17, 83, 95]。尽管这些障碍在个别案例研究和调查中有所提及[49, 94],但目前的研究尚缺乏对临床团队和技术团队之间常见结构冲突和紧张关系的深入分析,以及跨学科团队如何在将AI整合到复杂临床环境时共同应对这些挑战。理解跨学科边界的工作过程可以帮助CSCW研究人员以及健康信息技术的交互设计师和开发者,在创建AI技术时更好地进行沟通与合作。
为了弥合这一缺口,本研究采用活动理论(AT)作为分析工具,识别临床AI合作中临床专家和技术专家之间的挑战和应对策略[39, 76]。AT是一个概念框架,通过统一的角度理解人类活动及其社会、文化和历史背景,将人类活动视为相互作用元素的系统:主体(个体或群体)、对象、工具、规则、社区和劳动分工。在医疗保健领域,AT已被有效地用于研究和探讨临床工具和程序如何塑造协作任务[27, 38, 41, 43, 48]。AT特别适合我们研究跨学科临床AI合作,原因有以下几点:首先,AT能够描述分层结构并分解活动的动作和操作[51],因此作为分析框架可以系统地建模临床专家和技术专家之间独特而相互关联的活动(例如数据分析/解释、文档记录和组织)。其次,利用AT作为分析框架使研究人员能够深入探究表面沟通和协调困难背后的对象、工具或规则的基本不一致或冲突。第三,AT认识到活动是由工具介导的,这种认识论立场有助于研究人员解释跨学科合作背景下用户与工具之间的关系。总的来说,AT成为一个有希望的框架,有助于识别跨学科研究和临床AI合作中的最佳实践。
基于这些洞察,我们应用AT分析了两个跨学科合作案例:语音语言病理学家(SLPs)与技术专家之间的合作,这些专家正在应用自然语言处理(NLP)等技术,在远程研究合作中优化临床工作流程。通过对13名临床专家(N=6)和技术专家(N=7)的半结构化访谈,我们研究了这两组人如何收集、编码和转换临床数据以供后续AI流程使用。我们的分析受到以下研究问题的指导:
- RQ1:临床专家和技术专业人员如何独立和协作地进行临床AI研究?
- RQ2:会出现哪些沟通紧张关系和数据特定的挑战?跨学科团队如何发展应对策略来应对和解决这些挑战?
我们的分析表明,AT可以作为一种分析框架,系统地1)揭示跨学科知识工作者如何利用不同的数据工具执行特定领域的工作流程(例如临床和技术),2)揭示不同专家群体之间独特但相互交织的工作流程中的紧张点,3)识别沟通障碍及相应的应对策略。具体来说,我们的发现表明,具体的临床数据通常充当“边界对象”[97],为讨论提供基础,而具有跨学科专长的知识中介则指导临床AI合作中的“双语翻译”等关键活动。研究还揭示了核心冲突(例如分类学中的知识缺口),这些冲突源于不同的专业实践(例如数据处理方式)和目标(例如临床文档与模型部署),这些冲突在临床数据的处理过程中表现得最为明显。通过AT的视角系统地回答研究问题,我们的贡献拓宽了当前CSCW和HCI对于复杂临床和技术工作流程如何融入AI开发生态系统的认识,特别是在实际领域的应用中。通过AT的视角,我们展示了关注共同目标、中介工件以及遵循学科规则的适当劳动分工如何阐明复杂的合作模式。这一视角为未来的HCI/CSCW研究和系统设计提供了实用指导,旨在支持跨学科团队的AI合作。这些发现加深了我们对不同专业知识如何共同产生AI赋能解决方案的理解,同时管理竞争性术语、专业身份和研究需求。鉴于技术的快速进步,识别并解决这些微妙的跨学科动态是确保团队合作中AI的稳健、可信和有效性的关键。
**2. 相关工作**
**2.1 活动理论作为探索跨学科团队合作的分析框架**
AT提供了一个全面的框架,用于理解复杂情境下人类活动、工具和社会背景的相互作用。该理论最初由Vygotsky提出,并由Engestrom进一步发展,通过活动三角形(activity triangle)来分析跨学科团队合作,聚焦于人员、工具和更广泛组织结构之间的相互作用[27, 38, 39]。如图1(左侧)所示,Engestrom提出的典型活动三角形包括七个关键要素,构成了对个体活动的全面视图:主体、对象、工具、规则、社区和劳动分工。特别是,活动三角形中最关键的要素是关注主体、对象和工具之间关系的顶部三角形,Engestrom在图中还添加了底部三个要素。在本研究中,我们主要利用顶部三角形来理解临床专家和技术专家的工作流程,同时利用完整的AT三角形来全面分析临床AI合作中的不一致和冲突。此外,Kaptelinin和Nardi[59]提出了一个分层活动结构,通过将活动分解为更细粒度并与其心理概念的不同层次相对应的目标成果相一致。如图1(右侧)所示,分层AT结构区分了动机驱动的活动、构成它的目标驱动行动以及条件驱动的操作,使研究人员能够解构复杂的工作流程并识别可能不立即显现的系统矛盾。
HCI领域的评论解释了AT如何作为分析和设计框架的功能,并阐明了其在实证研究中的常见应用方式[27]。特别是在CSCW中,研究使用AT分析了医院工作并得出了设计启示,包括病房和手术室工作流程的分析,以及基于活动的计算来指导支持多任务处理、移动性和临床环境中的协调[7, 8]。此外,AT还被用于定义工作对象,并识别影响特定健康技术设计和评估的挑战,例如理解患者的自我量化活动[3]、管理患者健康信息的风险[103],以及设计药物不良反应报告工具[43]。AT还作为一种强大的工具,用于理解和促进学习和组织变革,例如研究医疗团队如何发展专业知识并创新实践[41, 61]。尽管已有大量相关研究,但大多数研究集中在特定的临床工作和文档上,很少有研究将端到端的临床AI开发作为一个涵盖数据工作、建模、评估和整合的联合活动来进行。我们的工作通过使用AT来研究对象、工具、规则和劳动分工在何处不一致或冲突,以及跨学科临床团队和AI团队采用了哪些中介策略,以此填补了这一空白。了解这些动态有助于开发工具和策略,以更好地支持跨学科团队有效合作并实现共同目标。
**图1.** 左侧:Engestr?m的活动理论三角形[40],也称为“活动三角形”。右侧:活动的分层结构[59]。
在本研究中,我们主要关注AT系统中的顶部三角形,它构成了主体、对象和它们之间的关系。
**2.2 跨学科团队合作中的知识中介和边界对象**
跨学科团队合作中的一个长期挑战是管理分隔不同专家领域(如临床和技术领域)的知识边界。知识边界的产生是由于教育背景、专业培训、术语和方法论方法的差异,这可能导致沟通困难和误解。边界对象[97]和知识中介[62]在促进知识边界之间的沟通和合作中发挥着关键作用。具体来说,边界对象被定义为“灵活且稳健”的实体,每个团队可以对其有不同的解读,但仍然保持一个所有相关方都能识别和使用的共同结构[18]。在跨学科研究中,边界对象具有极高的价值,因为它们可以帮助弥合不同学科之间的认知、方法论和认识论差距[2, 64, 106]。例如,在大规模合作中,数据模型、框架和工具等边界对象使各方尽管视角、知识和目标不同,仍能有效地协同工作[2]。
在临床AI中,临床专家和AI专家之间不同的教育和培训背景导致了沟通和合作的困难,因为他们在知识、语言和技能方面存在差异,以及对临床数据记录和使用的优先级也不同[17, 56, 95]。临床医生通常使用电子病历(EMR)和其他非EMR工具,如电子表格,来支持结构化患者数据的便捷访问、检索和分析,从而更好地进行临床决策并改善患者预后[55, 58, 100, 102, 104]。Carlile等人[22, 23]强调了边界对象在促进不同领域知识共享中的作用,强调了转移、转化和转换知识的过程,以克服沟通障碍。Zhou等人[116]探讨了计算机化医师订单录入(CPOE)系统如何作为边界对象,以及临床医生如何开发出工作流程来弥合医疗环境中不同工作实践和技术之间的差距。尽管这些工具普遍存在,但它们在临床AI研究中作为边界对象的作用仍未被充分探索。例如,电子表格灵活性高且易于定制,使其成为各种临床和研究环境中数据录入、分析和共享的宝贵工具[33, 55, 56, 86, 102]。临床医生可以使用这些工具编码患者数据并记录他们的见解,而这些记录的数据可以在临床医生和AI专家之间的知识交流中起到中介作用。
知识中介与边界对象在促进不同专业社区之间知识交流、转化和应用方面密切相关[62, 69]。例如,IT专业人士通常通过其技术专长,在组织内部担任知识中介,以促进知识共享和整合[82]。在科学传播的背景下,知识中介有助于确保科学研究有效地为实践和决策提供信息[72]。通过促进更好的沟通、协作和创新,边界对象和知识中介对于成功的跨领域协作和创新至关重要[21],这一点也在那些在不同护理学科间担任知识中介的临床专家中得到体现[31, 34, 46, 73, 111]。在临床AI领域,临床和技术专家可能使用不同的术语来描述“模型”等概念,这会导致在尝试在跨学科研究环境中应用AI方法时,临床数据的收集、管理、组织和分析方式有所不同。尽管有研究结果报告了医学和医疗场景中跨学科团队协作的挑战[31, 34, 46, 73, 111],但在临床AI背景下相关研究较少,这可能归因于这两个专家领域近年来的相对新发展和快速发展。因此,本研究通过了解临床医生和AI专家的工作方式和协作过程,以及分析这种跨学科团队协作的需求和挑战,填补了这一空白。
2.3 临床AI研究中的跨学科团队协作
通过整合不同学科的知识、专长和视角,跨学科团队可以支持复杂问题领域的创新[9, 14, 90, 107]。在医疗保健领域,跨学科协作长期以来一直是CSCW研究的核心。以往的研究表明,理解临床专业人员的动态和多样化需求,并将这些需求转化为信息系统的功能要求非常重要,而不是强加一刀切的解决方案[87]。因此,成功的临床技术需要特别注意人为因素,并且临床医生、工程师、HCI专家和其他利益相关者之间的密切合作,以改进技术设计和患者预后[11]。
近年来,AI在医疗保健领域的扩展带来了新的跨学科协作需求,通常需要来自不同领域的团队共同解决复杂的临床问题[1]。例如,Lyon等人[70]讨论了将HCI与实施科学相结合,以改善公共卫生创新的采纳、实施和长期使用的重要性。然而,这种协作也引入了独特的挑战。来自不同背景的专家带来了不同的视角、优先事项和词汇,这可能会造成知识差距和沟通障碍[74]。为了解决这些问题,Nagendran等人[74]提出了以用户为中心的设计研讨会作为一种中介策略。在另一项针对20位学术界和工业界AI开发者的访谈研究中,Guhan等人[49]探讨了如何开发基于AI的计算机感知技术用于临床决策。参与者报告说,这项工作不仅支持了现有的临床工作流程,还促使临床医生考虑对疾病和护理的不同视角。
尽管先前的研究表明跨学科临床AI协作可以在临床和技术领域产生创新,但我们仍对临床医生和技术专家在日常协作工作中如何围绕共享数据进行协调知之甚少,也不清楚这一过程中会出现哪些紧张关系。我们的工作通过两个临床AI协作的案例研究来解决这一空白,使用活动理论来分析数据工作、沟通障碍和中介实践如何塑造跨学科协作。
3 方法
本研究采用基于案例的半结构化访谈方法,考察了临床专家和技术专家之间的跨学科协作,特别是在针对儿童和成人的远程健康项目的合作背景下。我们从两支由言语-语言病理学家(SLPs)和具有AI专业知识的技术专家组成的团队合作中招募了这两组专家,这两组专家都来自学术研究背景。尽管每个合作解决了不同的临床挑战,但都遵循了类似的跨学科团队协作模式:临床专家与技术专家合作,开发对SLPs临床实践有益的先进AI模型。
3.1 研究背景和案例选择
我们选择这两个合作案例作为案例研究,是因为它们具有以下共同的特性:两者都与言语-语言病理学领域相关,并且都集中在远程健康场景上。这两个项目为跨学科团队设定了两个主要目标:通过AI辅助的远程健康评估或干预来改善患者护理,以及探索临床医生如何利用AI驱动的见解来支持临床决策并减少临床工作负担。这些团队远程工作,并在整个合作期间依赖Zoom会议,为我们研究跨学科协作提供了极好的背景。这些共同特征使我们能够调查常见的跨学科工作流程模式,而不会过于局限于单个项目的特殊性。尽管如此,每个项目都有独特的患者护理需求和临床任务的个别差异,这导致了与AI专家的不同类型的沟通和协作。案例1涉及处理双语儿童语言评估数据的双语临床医生,而案例2涉及处理患有神经源性疾病的成人的单语临床医生。此外,这两个临床和技术研究团队都隶属于美国的不同学术机构。在我们的研究中,我们重点关注参与者如何概念化、记录和处理患者数据,以开发或改进用于临床的AI工具,以及他们如何在学科界限之间进行沟通。
3.1.1 案例1:双语儿童的远程评估
对于双语儿童来说,传统的语言评估是一个临床挑战,因为双语资源和专业人员的短缺通常会导致诊断不准确[37]。这个临床AI项目旨在开发一个基于网络的远程健康工具,使父母能够在家中监督孩子的自动化语言评估。虽然该工具便于数据收集,但临床医生仍需进行大量的手动劳动来评分、分析并解释视频数据以做出诊断决策。该项目的主要目标是使用AI自动化临床数据分析,旨在减少临床医生的工作负担,并有效识别亲子之间的互动和沟通。该合作专注于开发多模态AI流程,以支持临床医生、双语儿童及其双语父母。
3.1.2 案例2:脑损伤成人的远程健康培训
患有认知-沟通障碍(如创伤性脑损伤、失语症或痴呆症)的个体经常使用语音辅助技术(如Amazon Alexa)来帮助他们完成日常活动,例如药物管理[36]。然而,由于他们的认知-沟通困难,这些患者通常需要临床医生的额外培训和练习来学习如何有效使用这些辅助技术工具。该项目的主要目标是探讨AI如何提高这种远程健康培训的效率和质量,例如通过简化针对个别患者的Voice命令定制。该合作专注于开发AI驱动的方法,以支持临床医生、成年患者及其护理人员。
3.2 参与者和招募
为了全面了解两个项目中临床专家和技术专家之间的跨学科团队协作情况,我们采用了方便抽样策略来招募参与者。我们共招募了13名参与者(男性:N=3,女性:N=10),他们参与了两个案例研究(案例1:N=7,案例2:N=6),并参加了半结构化访谈。参与者的基本信息如表1所示。为了确保角色分配的平衡性和两种案例研究的代表性结果,参与者包括六名SLPs(案例1:N=3,案例2:N=3)和七名技术专家(案例1:N=4,案例2:N=3)。所有临床医生至少拥有言语-语言病理学的硕士学位,并积极参与收集和分析数据以用于研究;所有技术专家至少拥有学士学位,并在设计和实施使用从临床医生那里获得的数据的AI方法中发挥积极作用。所有参与者都积极参与了其中一项合作,确保他们对临床-技术互动、数据共享实践和沟通挑战有最新的第一手了解。
表1. 参与者
| 性别 | 教育背景 | 专业技能 | 经验年限(AI/临床) | 案例研究 |
|------|---------|-------------|--------------|--------|
| P1 | 女性 | 硕士 | <1年 | 案例1 |
| P2 | 女性 | 硕士 | <1年 | 案例2 |
| P3 | 女性 | 硕士 | <1年 | 案例2 |
| P4 | 女性 | 硕士 | 1-5年 | 案例1 |
| P5 | 男性 | 博士 | 1-5年 | 案例1 |
| P6 | 男性 | 博士 | 1-5年 | 案例2 |
| P7 | 女性 | 博士 | <1年 | 案例1 |
| P8 | 女性 | 博士 | 1-5年 | 案例1 |
| P9 | 男性 | 学士 | <1年 | 案例1 |
| P10 | 女性 | 学士 | 1-5年 | 案例2 |
| P11 | 男性 | 硕士 | 1-5年 | 案例1 |
| P12 | 女性 | 博士 | 1-5年 | 案例1 |
| P13 | 女性 | 博士 | 5年以上 | 案例2 |
3.3 访谈开发与数据收集
鉴于跨学科研究的复杂性,它涉及不同领域间的独立工作和协作工作,我们采用了AT框架来构建访谈问题的结构。在这项研究中,AT框架有助于解构临床和技术团队之间跨学科协作中的复杂性,突出项目工作流程中的矛盾和紧张关系。访谈协议(附录A)旨在捕捉临床和技术专家之间的工作流程动态、他们对临床和技术相关工具的经验,以及在跨学科项目合作和沟通中面临的挑战。为了确保相关性和具体性,访谈问题根据每个专业群体的独特角色和经验进行了定制。例如,我们首先询问临床医生关于患者护理的目标,技术专家关于AI模型性能的目标,以了解活动的对象(目标)。然后,我们要求所有参与者描述他们使用的软件、电子表格和协议,并分享他们的屏幕截图,以展示各种临床活动中使用的工具。我们收集了关于正式指南(如临床标准)和非正式“不成文规则”的信息,以探究规则和规范(如他们学科内的最佳实践)。我们还询问了谁负责特定任务(如数据收集、清洗、标注和建模),以及在哪里进行任务交接,以绘制出劳动分工图。最后,我们特别询问了在数据解释或交接过程中出现的挑战、挫败感或失误,以识别不同学科之间的不匹配和冲突。
来自这两个合作的13名临床和技术专家都通过Qualtrics调查完成了人口统计信息的电子同意书。访谈持续时间为35至60分钟,并在参与者同意的情况下通过Zoom进行了视频录制。除了回答访谈问题外,还鼓励参与者通过Zoom的屏幕共享功能提供有关他们的临床或技术工作的描述性示例。这种方法有助于更好地回忆和解释通过电子表格等工具完成的特定临床或技术活动。这项研究得到了参与研究的研究人员所在机构的机构审查委员会的批准。
3.4 数据分析
所有访谈都进行了逐字转录,并由两名具有相应AI和临床背景的研究人员(第一作者和第二作者)进行分析,以确保跨两个学科的无偏见解释。在解释访谈记录时采用了两个分析阶段:首先通过归纳编码和主题分析[19, 20, 89]进行定性分析,然后使用AT作为分析框架进行研究图表绘制[25, 30]。首先,第一作者(一名AI专家)使用开放编码对8份记录(P1-P8,案例1 N=4,案例2 N=4)进行了编码,然后对代码进行分组以识别关键主题,并在迭代过程中关注各种临床和技术活动,不断 refining 编码。接下来,基于之前在健康领域的人工智能(AT)研究[12, 41, 43, 48, 103],第一作者与第二作者(一位临床专家,他们对同一组转录文本进行了编码)合作,使用AT框架中的现有结构作为分析单位,开发了一个定性编码手册(见附录A)。然后,通过主题分析[19, 20, 42],对转录文本中出现的核心主题(特别是与临床和技术活动相关的主题)进行了审查和迭代改进,以确保它们能够准确反映数据。为了确保编码的一致性和质量,两位编码者在编码过程中讨论了分歧,并在定性编码手册中通过共识解决了分歧。两位研究人员在研究问题的背景下审查了最终的主题,特别关注了(1)参与者在跨学科团队合作中对患者数据的多样化处理方式;(2)作为“边界对象”的不同工具,以及它们促进或阻碍跨学科团队合作的潜力。
最后,为了将AT作为一个分析框架整合进来,两位作者使用研究图表[25, 30]创建了详细的插图,以可视化活动三角形的各个元素(例如主体、对象和工具),并结合两个案例研究提供了具体的背景描述(临床与技术)。每个研究图表都标注了不同AT实体之间的关键关系,揭示了访谈中报告的潜在紧张局势或挑战。为了确保研究图表绘制的一致性和质量,两位编码者在图表绘制过程中讨论了分歧,并通过共识解决了分歧。之后,剩余的五份转录文本也被转录和分析。值得注意的是,使用演绎和归纳方法分析转录文本使作者能够为访谈数据提供自下而上的和自上而下的解释。这种方法确保了在两个学科中都能找到AT框架中的关键结构(例如数据相关“工具”的使用),同时对其他主题(例如临床与技术工作流程、沟通冲突)提供不同的解释。这种方法还使研究人员能够分析参与者用来相互沟通和合作的中介策略和解决方案,从而洞察临床团队和自然语言处理(NLP)团队内部和之间的复杂动态。
所有访谈都被逐字记录下来。两位作者,即第一作者和第二作者,分别具有人工智能和临床实践的背景,这支持了数据的跨学科解读。我们的分析分两个阶段进行:首先进行归纳性定性编码和主题分析,然后根据活动理论[25, 30]进行研究图表绘制。首先,第一作者对部分转录文本[29, 89]进行了开放式编码,这些文本包括来自案例1的四个参与者和来自案例2的四个参与者。作者将最初的编码结果分类为与临床和技术活动相关的初步主题。第二作者也对同一组转录文本进行了编码。随后,两位作者讨论了他们的解释,并通过讨论进一步完善了编码手册。接着,我们使用主题分析[19, 20, 42]审查并完善了出现的主题。我们特别关注了参与者如何描述患者数据、跨角色合作以及用于支持协调的工具。为了保持一致性,两位编码者讨论了分歧并通过共识解决了分歧。在稳定编码手册和初步主题后,我们使用相同的过程对剩余的五份转录文本进行了编码。
活动理论为后续分析提供了指导。两位作者创建了研究图表,以可视化活动三角形的各个元素[25, 30]。我们利用这些图表比较了两个案例,并解释了临床和技术工作围绕共享数据对象是如何协调的。这种归纳性编码和AT指导的解读相结合的方法,使我们能够识别基于参与者叙述的主题,同时考察更广泛的跨学科协调模式。
在本节中,我们介绍了与参与两个临床人工智能项目的临床和技术专家的访谈结果。我们首先描述了临床专家和技术专家如何从事不同但相互依赖的数据工作。然后,我们考察了这些团队在协调不同术语、分类法和工作流程期望时出现的沟通挑战,以及帮助他们管理这些紧张关系的工具和中介角色。
4.1 利用AT分析理解临床和技术工作流程
AT提供了一种结构化且系统化的视角,用于映射塑造这些合作的互动、对象和动机,而不仅仅是识别表面上的困难。每个AT三角形都统一形成了主体、对象和工具之间的“核心”关系。AT还可以反映临床和技术行动如何交叉、出现何种矛盾或紧张关系,以及团队如何在更广泛的社会文化背景下(考虑到社区、规则和劳动分工)应对这些矛盾。我们的定性分析表明,虽然数据是临床和计算活动的基石,但临床专家和技术专家之间的合作挑战往往超出了表面上的差异。我们探讨了临床专家和技术专家如何在他们的工作流程中以不同但重叠的方式处理患者临床数据。不同专业领域的临床规范存在显著差异(例如教育儿科评估与成人医疗康复社区),例如临床专家的培训经验、他们的日常工作流程以及与不同患者群体的互动。另一方面,技术专家在团队合作中从临床合作伙伴那里接收临床数据,然后为计算目的创建或调整技术分类法。
4.1.1 临床工作流程:通过临床数据捕捉患者护理的细微差别
在我们的研究中,言语-语言病理学家(SLPs)通常通过在面对面或远程医疗会话中收集患者数据来开始工作。一位参与者指出,在COVID-19大流行期间及之后,远程会话变得越来越普遍。P2(案例2)解释了当他们无法亲自参加临床会话时理解临床背景的难度:“当你不在场时,主观部分就很难理解。”这些临床报告表明,指导如何标记原始患者数据的细微临床知识对于技术方面的合作者来说可能并不明显。在这些情况下,患者与远程医疗平台互动,各种患者数据在互动过程中被记录下来,包括音频和视频记录、患者口头沟通的转录文本以及与远程医疗平台的互动历史。临床工作流程中的一个关键步骤是开发或采用一种临床数据分类法,将每位患者的症状、行为或反应归类为有意义且有用的类别。这种分类法必须遵循特定领域的规则,如规范和指南。一位临床专家(P12,案例1)这样描述了双语儿童语言评估的临床工作流程和文档:“当家长/孩子之间互动时,这种互动是最难的部分(在会话之前或之后),你应该在会话开始前或结束后多久开始/停止在电子表格中记录。有时候这些信息很重要,但有些可能是不相关的,时间戳非常关键。”
收集和用明确定义的分类法编码患者数据的动机是为了确保未来的临床决策符合专业标准和医疗指南,并保持患者就诊的一致性。例如,SLPs经常使用专门的分类法对儿童的行为和言语模式进行编码,这些分类法反映了沟通障碍的专业标准。这些分类法指导临床医生如何解释和记录不同类型的言语错误和相关背景因素。临床医生P1(案例2)描述了教授创伤性脑损伤(TBI)患者如何在家中使用智能家庭技术(如Alexa)的目标(动机):“当我们试图帮助促进沟通和清晰言语时,我们会使用某些提示,比如口头提示、视觉提示,或者尝试使用一些行为方法,比如让他们放慢语速,或者使用某些发音动作,让他们更清晰地发出指令。”
P2(案例2)还描述了她基于临床协议使用远程医疗与患者合作的过程,并在电子表格中记录:“对于用户需求评估,我们有一个固定的问题模板。我们每周根据特定主题进行评估,这个模板提供了足够的指导。然后是培训部分,我们在电子表格中有列来记录回答的准确性、所需的指令类型等等。我们把所有这些都记录在那里。”
一旦数据被收集起来,临床医生会将原始材料转化为可用的临床文档或记录。他们在电子表格或专用软件(如电子健康记录系统EHR)中对每个观察结果进行编码,验证标注视频片段中的具体症状,并在患者报告中总结关键发现。这些数据转换的目的是为了帮助临床医生规划干预措施或诊断潜在的障碍,并必须符合机构指南和医疗法规。然而,这些注释的复杂性和领域特异性可能会给临床领域内外的合作者带来解释上的挑战。临床医生P5(案例1)描述了与另一位临床医生合作处理双语数据的过程:“我和另一位同事一起工作,我们会讨论每个定义,无论是用普通话还是英语。事情是用普通话发生的还是用英语发生的?只是与这位同样是语言治疗师的人合作,确保我们的定义来自同一个编码手册,编码手册非常重要。”
总之,通过AT分析进行可视化说明,SLPs利用专业实践协议、指南和远程医疗系统(工具)将原始观察结果(对象)转化为有意义的临床数据文档,如图2所示。
4.1.2 技术工作流程:为模型管道准备数据
虽然临床医生专注于识别和捕捉患者护理的细微差别,技术专家则强调计算任务,如训练和验证机器学习模型。技术专家工作流程中与数据转换相关的步骤通常包括清理低质量的数据、去除噪声、将数据分为训练集和测试集,并验证标签分布是否与模型假设一致(图3)。一位技术参与者(P9,案例1)描述了他处理临床数据并开发临床AI系统的过程:“找到LLM将音频数据转录为文本数据,非常清楚地分割说话者的语言和时间戳,让临床医生可以使用机器学习进行转录,并提供用户界面以便手动检查。”在这个过程中,P9探索了不同的音频LLM和商业产品(如“Microsoft、OpenAI Whisper、iFLYTEK”),并明确指出了这个临床AI项目的临床和技术目标:“对于音频,如果临床医生希望找到模式,他们需要逐秒监听视频并手动进行所有注释。我们的目标是提高他们的工作效率,减少他们在音频注释上花费的时间,并准确了解他们需要从音频中看到的信息。”
图3显示了蓝色标出的技术工作流程活动三角形,与绿色标出的临床工作流程活动三角形相连。临床医生与患者和辅助工具互动,在电子表格中生成临床数据。技术专家随后使用电子表格数据和支持工具构建适合模型使用的数据集,支持技术发展和实际部署。在这种情况下,技术专家的动机转变为将临床数据解释和转换为与机器学习模型和应用评估管道要求相匹配的技术分类法。此外,尽管这些非临床专家的任务是理解和使用临床数据来开发计算模型,但对于缺乏临床培训和知识的人来说,临床数据可能仍然难以理解。与与另一位临床医生进行协作性双语数据注释的Clinician P5不同,P9独立评估了多种人工智能工具,以确定最佳模型性能:“我们尝试将语言(中文/英文)分开,然后交给大语言模型(LLM)进行转录;另一种方法是先分离说话者,让LLM将音频转录成文本,看看哪种组合方法最好。然后我们意识到,也许使用PyAnnotate先分离说话者,再使用OpenAI Whisper进行转录是最佳方法。”临床医生通过远程医疗收集的不同类型的多模态数据为人工智能团队的数据处理带来了额外的挑战。例如,另一位技术参与者P11也与P5在第1个案例中合作,他描述了研究团队如何开发了一个视频注释工具,该工具可以从临床医生的远程医疗视频会话中提取原始音频数据(mp3格式):“当我们使用这个工具时,我们需要另一种JSON格式的机器生成转录,可以通过发布代码获得。使用这些人工智能大语言模型(LLMs),这些是原始的机器生成数据。在我们使用这些工具生成机器生成的数据后,我们会生成一个CSV/JSON文件。”
从辅助技术的(AT)角度来看,数据是共享活动的关键对象,但它们嵌入在不同的专业环境中(即社区、劳动分工和工具)。技术专家作为主体,采用计算框架(工具)将临床数据(对象)转化为模型输入。在建立了技术数据分类法并完成了基于该分类法的数据转换后,技术专家继续设计和改进预测算法,例如对患者观察结果进行分类或预测临床决策。技术专家通常使用准确性、召回率和精确度等定量指标来评估这些算法,并向临床团队提供绩效报告。
4.1.3 辅助技术的层次结构用于理解跨学科的工作流程
辅助技术的一个关键概念在于活动的层次结构。这一概念最初由Leontiev提出,他指出:“如果一个过程是从必须实现的结果的表示中派生出来的,我们就称其为动作。”后来,Kaptelinin和Nardi提出了一种三层辅助技术层次结构,以反映某一特定活动的内部扩展,如图4所示。具体来说,活动并不是独立存在的,与其他活动没有任何联系;相反,活动是分层扩展的,由一系列子级活动组成,这些子级活动就是“动作”。当一个动作成为自动化且无意识的行为时,它将被视为操作,并被归类为“操作”。与活动和动作不同,操作通常没有明确的目标。在我们的案例中,我们主要关注活动-动作层次结构,不太关注操作,因为我们的重点在于利益相关者工作流程中有明确动机和目标的活动。
图4. 三层活动层次结构,显示了由“动作”表示的活动,这些动作导致特定的“结果”,而“操作”导致特定的“条件”。该图展示了一个三层活动理论层次结构。在最顶层,一个活动与动机和结果相关联。在中间层,活动被分解为与目标相关的动作。在底层,动作被分解为与条件相关的操作。
图5. 临床工作流程的活动层次结构(案例2),显示了表示动作和操作以及相应目标和条件的活动三角形。该图显示了一个为患有创伤性脑损伤的成人创建个性化Alexa命令的临床工作流程层次结构。最顶层的活动涉及言语语言病理学家和患有创伤性脑损伤的成人,他们致力于使用个性化Alexa命令。这一活动被分解为单独的会议环节,这些环节由操作支持,例如Alexa命令模板和口头提示或引导语。
此外,如果一个活动的某个组成部分被另一个活动的不同组成部分直接使用或产生,那么这两个活动可以相互“链接”。在临床AI团队协作的背景下,我们可以将辅助技术的层次结构应用于临床或技术专家的工作流程。对于每个工作流程,我们可以将顶层活动分解为一个由一系列“链接”的动作级过程组成的活动层次结构。例如,临床医生参与的高层次活动是患者护理,它由一系列“链接”的临床动作组成,包括源数据收集、数据分类法创建、数据转换和决策制定(图5)。
通过并行比较不同利益相关者的这些辅助技术层次结构,我们可以很容易地观察到专家工作流程在行动目标方面的显著重叠。具体来说,数据分类法和数据转换在两个工作流程中是共享的。当一个组的子活动依赖于另一个组以不适合下游使用的格式产生的工件时,就会出现不一致。例如,我们看到临床医生根据临床标准对原始数据进行编码,而技术专家则为了机器学习流程对这些数据进行精细化处理,如图6所示。尽管双方都在处理相同的源数据,但他们这样做是为了实现不同的目标,通过不同的工作流程。这种差异往往会导致紧张情绪,因为不同领域中的分类法和“有效性”的定义并不相互理解。一位技术参与者(P6,案例2)解释说:“最具挑战性的是沟通部分。我需要理解他们的数据和编码动机,而他们会从临床医生的角度来解释,但我需要从自然语言处理(NLP)专家的角度来理解。因此,这可能会在临床医生和我之间产生差距。”
图6. 临床AI团队与临床和技术专家合作的辅助技术网络。图中标识了共同阶段以及两种利益相关者(临床和技术)不同工作流程中的共享工件“记录的患者数据”。该图展示了一个连接临床和技术工作流程的辅助技术网络,涵盖了源数据收集、数据分类法创建、数据转换、模型开发和最终决策的各个阶段。临床活动产生了记录的患者数据,这些数据成为技术活动的共享工件,例如分类法开发、数据预处理和模型输出生成。图表强调了记录的患者数据方面的重叠,并显示了临床和技术工作流程之间的连接点。
虽然这些报告很有价值,但临床医生往往难以将这些模型性能指标与患者护理的实际需求联系起来。如果临床专家无法理解模型输出如何影响现实世界的临床决策,他们可能会对模型的可靠性产生怀疑,或者不愿意采用它。毕竟,我们的发现强调了相同的工件(患者数据)在具有不同规则和劳动分工的不同社区中可以经历第二次转化。
4.1.4 在团队合作中跨学科活动的网络化
辅助技术的层次结构不足以捕捉不同动作之间的相互联系以及各种工作流程中遇到的具体挑战。活动网络的概念[15, 40]通过研究活动之间的关系来解决这一差距。正如Bodker[15]所定义的:“……其中一个活动的对象可以充当另一个活动的中介。”辅助技术网络的概念对于人机交互(HCI)研究至关重要,因为它有助于深入理解协作工作,这对以人为中心的辅助计算系统设计非常有益[59, 77]。在临床AI协作中,当临床专家生成注释数据时,他们实际上产生了技术团队作为输入使用的输出。相反,一旦模型训练完成,临床医生可能希望解释其预测结果或理解其错误。通过图7中展示的临床AI协作活动网络的视觉表示,可以清楚地看到“临床数据”对临床和技术工作流程的核心作用。这种视觉表示非常有助于HCI研究人员梳理出团队协作中的专家工作流程,特别是目的、所需信息、使用的工具以及每个动作中的相关细节。
图7. 临床活动网络,展示了临床团队内部数据转换的序列。该图显示了一系列临床活动,临床医生将原始临床数据转换为电子表格中的临床数据,然后转换为精炼的干预数据,最后转换为患者护理决策。每个活动都表示为一个活动理论三角形,每个步骤的输出成为下一步的输入。
4.2 紧张、挑战和应对策略
尽管临床医生和技术专家都关注数据,但他们经常面临由知识边界的大幅差异、专业培训的差别以及具有专门词汇和行话的领域特定语言所引起的持续沟通障碍。当这些专业工作流程在团队协作中交汇时,由于分类法不一致、对数据格式的期望不同以及使用不同的专门语言,沟通困难经常出现。在本小节中,我们首先分析了跨学科研究人员在其独特工作流程中遇到的不同紧张点(4.2.1节),然后确定了导致沟通挑战的知识缺口(4.2.2节),并研究了可以通过两种主要应对策略来解决的沟通障碍:使用数据作为边界对象(4.2.3节)和依赖知识经纪人(4.2.4节)。当跨学科研究人员能够有效利用数据作为中介工件时,他们可以通过多种应对策略成功地解决沟通障碍和协作挑战。
4.2.1 融合工作流程中的紧张点
尽管临床医生和技术专家都依赖系统化的方法来编码和标记临床数据,但他们根据各自不同的领域专业知识创建和定义了不同的编码主题和标签类别。临床数据的编码主题可能不会直接映射到技术分类法上,因为临床上有意义的类别可能与算法的数据架构不匹配。正如技术参与者P7(案例1)所指出的,尽管遵循相同的编码手册,临床医生的数据收集和分析很难组织成统一的计算语言。她说:“我在电子表格中发现,这实际上来源于不同的注释风格、注释习惯和不同的组合……这真的让我产生了误解……这些领域是如何对齐的?我认为如果临床医生能就一些统一的风格达成一致,或者在其他情况下,可以对不同行为的类别进行数字标记,那么我的自然语言处理过程会容易得多。”
同样,一个微妙的临床区别可能会被广泛定义的技术标签所忽视。例如,在言语语言治疗的背景下,对于临床医生来说,“模型”指的是“提供由临床医生主导的演示,向患者展示如何准确地发出语音或语言”。然而,在案例2(VAT项目)中,模型具体指的是“使用正确的语境演示如何说Alexa命令”。对于技术研究人员来说,“模型”意味着“用于解释人类语音和语言的机器学习系统或算法”。在项目会议等协作沟通中,这些术语(如模型、提示)经常被临床和技术团队使用,但可能指的是完全不同的概念。当技术专家尝试理解临床数据,或者当临床医生试图理解模型预测和结果时,这些不匹配的分类法可能会导致混淆。AI专家P12(案例1)观察到,在使用大语言模型(LLMs)对临床医生的临床数据应用自动分类时,LLMs可能会识别出新的模式,这需要临床医生和技术专家的洞察力和解释:“我认为难点在于让他们(临床医生)明白为什么父母行为很重要,哪种类型的父母行为重要,以及如何对其进行分类。区分不同类型的父母行为对临床医生来说也很难澄清,对我们(作为临床医生和AI专家)来说都很困难。”
如果这种混淆不及时解决,可能会随着时间的推移而累积,并显著影响后续的项目阶段,如模型评估或系统部署。这种紧张关系凸显了临床数据的双重作用。临床数据作为核心工件,在团队协作中架起了两个不同专业领域的专业工作流程之间的桥梁,但它也可能在合作者以冲突的方式解释同一数据时引入混淆。根据AT框架,合作者共享一个总体对象(原始的患者观察结果)。然而,他们使用不同的工具,遵循不同的规则,并在不同的社区和分工中运作,所有这些因素都会对最终结果产生影响。因此,数据作为共享的工件,通过特定领域的视角不断被转化。应用AT框架并使用活动三角形作为说明,图8展示了由于AT的几个关键组成部分(例如,由于任务责任和交接不明确而导致的“分工”问题,以及由于临床专家与AI专家的专业实践差异而产生的“特定领域规则”不一致)所引发的沟通紧张关系。在设计过程中,应考虑AI应在何时参与沟通、应呈现哪些信息以及应利用哪种类型的互动,以确保AI系统不会中断协作流程,而是在必要的阶段进行介入。这一愿景需要仔细的界面设计,以确保AI的建议或解释不会引入新的误解形式。AT明确指出,如果这些工具忽视了合作发生的更广泛的社会和制度背景,仅仅添加计算功能是不够的。此外,AT网络中的共享工件可能会暴露出由知识空白、术语不一致或目标不统一等问题引起的紧张关系,团队需要将他们的理解统一到一个共同的基础上。这些紧张关系突显了两种动机不同的活动有时依赖同一个中介工件,但会以不同的方式对其进行解释。如果数据仅使用纯粹的临床分类法进行编码而从未转换为计算标签,技术团队就无法有效地利用这些数据来开发模型。不一致的规则、规范和分工可能会引入矛盾。例如,限制临床医生标记患者数据以保护法律利益的机构政策可能与有效开发AI所需的灵活标记方法相冲突。我们的数据表明,分工(例如,谁负责数据清洗、最终决策如何验证)对于缓解上述紧张关系尤为重要。明确每个团队成员的职责,并就每个任务所需的数据表示达成明确共识,有助于减少一些误解。
4.2.2 知识空白和特定领域的语言
技术专家在团队合作中的整个工作流程建立在理解临床数据的基础上,以支持模型开发的技术决策。然而,对于非医学专家来说,理解临床数据并非易事,因为这些数据是按照融入了专业知识的临床分类法进行文档化的。缺乏临床经验和知识常常阻碍技术专家理解临床数据和分类法的能力。同样,临床专家也没有足够的技术知识来理解技术专家提供的模型预测数据和技术结果。因此,临床专家可能难以判断模型输出是否对他们的工作流程有用或足够可信以指导实践。这些困难往往源于临床专家和技术专家使用的专业语言。每个学科的专业语言源于专业教育的开始和持续的专业实践。这种语言包括专门的术语、具有特定领域含义的概念以及只有接受过相同教育和培训的人才能熟练使用的缩写。经过多年的实践和经验,领域专家在与其他具有相同背景的人交流专业内容时,越来越熟悉使用特定领域的词汇。例如,临床专家使用专业词汇来描述和记录他们的临床活动,如观察、诊断和干预措施。所有同一专业的临床专业人士在医学教育和培训期间都会学习并掌握这些词汇,这使得他们在日常临床工作中能够清晰地交流。同样,技术专家也学会了使用带有专业术语和概念的专业语言来描述和理解技术规范(例如数据、计算算法和任务)。虽然特定领域的语言促进了同一学科内的无缝沟通,但这种排他性的语言往往阻碍了不同学科之间的交流。从AT的角度来看,不同领域使用的不同语言以及这些语言背后的特定领域知识,突显了反映每个社区内部规范的规则和工具。
在跨学科团队合作中,无论是在临床还是技术领域,专家可能没有意识到他们在向非专家解释他们的特定领域知识时使用了专业词汇。例如,当临床专家无法准确理解技术专家使用的某些技术术语并寻求进一步解释时,技术专家提供的额外解释可能会无意中使用更专业的词汇。在这种沟通情况下,任何一方都可能感到极度沮丧,并可能因为长时间无法理解对方的解释或多次尝试解释自己的观点却反复被误解而引发争议。一位临床参与者在解释数据时强调了这种知识差距的深度:“我认为我们有点沟通不畅,但那可能是我们唯一一次使用不同类型术语的时候。或者,我不知道这是否与我们不理解的术语有关。”(P2,案例2)另一位参与者进一步强调了在与临床医生沟通时减少技术障碍的重要性:“我和临床医生交流时不会使用任何术语。在进行自然语言处理(NLP)研究时,我们需要确保语言对临床用户友好,因此我们会尽量使用临床语言而不是NLP语言。大多数临床医生都有硕士学位和统计训练,所有这些术语(机器学习、AI代理)对他们来说并不适用,但在尝试向他们推销产品时,我们可以向他们展示产品的运作方式。没有必要告诉临床医生这些术语;听起来会让他们感到不知所措。”(P12,案例1)
未解决的沟通问题可能会延缓数据交接和模型评估。临床专家可能需要花费大量时间来澄清某个注释的含义,而技术专家则可能因为误解而反复遇到重新标记或合并数据类别的障碍。参与者指出,每次重新注释都可能引入新的不一致性,特别是在没有共同术语理解的情况下。这种动态与之前的CSCW文献中关于协作数据工作的研究一致,但在这里由于临床实践的重要性而得到了放大。例如,对标签的误解可能会质疑整个模型预测的有效性。
4.2.3 将数据作为边界对象
当知识空白导致沟通不畅时,临床专家和AI专家自然会进行沟通以寻求解释或澄清。然而,他们使用的语言差异往往会加剧沟通困难。为了缓解这种沟通不畅,两位专家在访谈中提出了一种特定的方法,即利用临床数据作为“边界对象”。在CSCW文献中,边界对象指的是在多个实践社区中保持稳定的身份,但允许多种解释[97]。我们的分析展示了临床数据如何具体发挥这一功能,作为具体锚点来固定抽象的临床和技术术语。当跨学科团队专注于某个特定的电子表格、视频片段或文本片段时,他们关注的是在特定领域分类法下的具体信息。特别是,临床数据是跨学科的,它传达了从临床场景中收集的相同基础信息,允许不同领域的专家根据自己的专业知识对其进行不同的解释。在这种情况下,临床数据具有足够的“灵活性”,可以转化为各种表示形式(例如,临床专家使用的电子表格行/列,AI专家使用的模型准备好格式),同时仍然“稳健”,使得两个领域的专家都能识别出它指的是相同的基础信息(即患者或临床事件)。通过保持这一共享参考点,临床数据成为口头解释和特定领域术语的可靠替代品,无论具体格式如何。一位AI专家参与者指出,通过分享带有注释的样本并将其作为模板, everyone可以就未来数据条目的结构达成一致。这样,具体数据就成为在专业词汇之间进行调解的锚点:“我会先完成数据的一部分,然后发送一个样本给他们,他们可以根据我提供的样本完成剩余的数据。”(P6,案例2)另一位AI专家参与者评论说,使用来自不同格式的多模态数据使她能够重新获得临床洞察:“同时使用视频和音频记录与书面文字记录对我非常有帮助,特别是因为转录功能不一定能捕捉到所有说话内容(例如,人们相互交谈的情况,说话者识别,确定这个声音来自谁)。”(P10, 案例2) 使用临床数据作为边界对象使合作者能够通过实际例子进行交流,而不仅仅是依赖于抽象的解释。临床医生可以轻松解释某些患者属性或症状在临床上的重要性,技术专家可以展示这些属性如何被编码或处理以实现下游的AI预测任务。这种方法有助于更有效地澄清误解,并在细化项目范围或验证模型输出时形成更紧密的反馈循环。如果出现分歧,团队可以使用带有例子的数据表示来精确定位理解上的差距,并进行修改以达成共识。
4.2.4 跨学科合作中的知识中介者的应对策略
虽然临床数据可以作为边界对象来帮助锚定跨学科讨论,但由于不同领域之间的语言障碍,持续的语言或概念差距仍然存在。在跨学科团队中,可能存在对两个领域都有足够了解的个体,他们可以充当“知识中介”[21, 62, 69, 72, 82]。这些人可能在两个领域的交叉点具有专业技能,因为他们可能从之前的跨学科合作经验中学到了另一个领域的知识,或者接受了两个领域的专家培训。这些人在发现误解并将专业知识转化为双方都能统一理解的格式方面起到了关键的作用。我们的主题分析确定了知识中介者有效使用的三种应对策略:
(1) 熟悉每个领域的知识边界。知识空白本质上是由每个专业领域的知识边界之间的差距定义的。有能力的中继者需要在对口跨学科团队合作中掌握足够的相关领域知识边界。具体来说,知识边界包括两种类型的信息:特定领域的知识和专业语言。在临床AI合作中,特定领域的知识通常包括医学或临床术语(例如诊断标签、标准干预措施)和机器学习的基础知识(例如数据标注、模型评估指标)。每个领域都有自己的一套专业术语、概念和缩写来定义和解释特定领域的知识。领域专家统一学习了这些专业语言,并在他们的专业工作中使用。因此,对知识边界的充分熟悉确保了知识中介者能够识别出在团队合作中何时以及哪些信息会导致误解。一位技术专家描述了他处理领域外信息的流程:“模型有时无法捕捉到那些部分,模型可能会遗漏那些部分。我们不知道在临床医生看来什么是好的方法……在我们的设计中,我们不能忽略这些信息,因为我们不知道那些信息对临床医生是否重要……保留这些信息,并将所有相关信息归类为‘其他’,然后向临床医生寻求建议,而不是直接删除这些信息……我确实有与不同团队合作的经验,每个人都有自己的领域知识,讨论问题/目标很困难,也很难询问之前做过什么。”(P9, 案例1)
(2) 及时识别沟通不畅。鉴于两个学科对知识边界和专业词汇的认识,知识中介需要能够迅速识别沟通不畅的迹象。例如,知识中介可以发现一方(例如临床医生)提供的某些信息超出了另一方(例如技术专家)的知识范围。沟通不畅的情况包括某些概念和短语在不同学科中转化为完全不同的领域特定信息,但两组的专家都没有意识到这种差异。在这种情况下,两组专家都会错误地认为彼此已经正确理解了对方,而沟通不畅的信号可能很难被发现。例如,P13(案例2)和P11(案例1)都是技术专家,他们正在处理来自不同项目的数据。然而,他们都遇到了难以清晰表达的注释/临床文档实践问题。P13必须用非技术性的语言向临床医生解释自动语音识别(ASR)以及“大型音频模型如何提供文本转录”的概念,因此她在与临床医生交流时用了类似“教小学生”的例子:“如果你面前有一台食品机器,你想从这台机器里拿一瓶可乐,这台机器就像一个大型数字模型。你想得到一瓶可乐,怎么做呢?通常你需要付款并选择正确的数字,对吧?对于大型语言模型来说也是如此。你需要输入我们的音频数据,然后告诉它你具体想要什么,大型语言模型就能为你提供结果。”(P13,案例2)图8显示了跨学科团队在临床AI中的活动三角形视图。不同的背景颜色代表临床、技术和共享领域的知识边界。左边的三角形展示了在缺乏知识中介协助的情况下,临床专家和技术专家尝试合作开发AI辅助工具时的低效率,而右边的三角形展示了知识中介如何有效地利用临床数据作为边界对象来促进无缝协作。该图比较了两种跨学科临床AI合作的活动理论三角形。左边的三角形显示了由于数据分类法不一致、规则和标准不匹配、任务职责和交接不明确以及沟通语言不同而导致临床专家和AI专家之间的无效协作。右边的三角形展示了当知识中介利用临床数据作为边界对象、识别沟通不一致、将概念转化为共同语言并协调临床和技术领域的分类法时,协作效果的改善。
P11最初通过“查看电子表格……颜色非常鲜艳……红色、蓝色和橙色”来进行临床数据工作,但这些信息的解释并不清晰一致,导致理解困难。然而,通过多次持续的研究会议,他逐渐了解到他这一方的任务是“主要是处理那些一开始看起来没有意义的东西……但这些信息对临床医生来说可能有重要的用途”。最终,他通过颜色编码学会了特定的行为分类推理,并评论说:“人们真的很难理解其背后的逻辑。我认为这对临床医生和研究人员来说都是一个挑战。”能够迅速识别沟通不畅对促进有效沟通至关重要,因为如果这些问题得不到解决,误解会逐渐积累,最终可能导致更严重的冲突。另一位技术专家描述了她与另一位临床医生在共享转录任务上的交流和合作经历:“我和另一位临床医生合作进行数据清洗工作,她也负责手动处理数据、听取转录内容、进行比较和对比以及发现不一致之处。由于她加入得较晚,我需要向她解释我在过程中注意到的所有问题以及我是如何解决的,并学习如何重新传达我完全理解但可能不符合她预期的指令。这种开放的对话和合作非常有趣——‘哦,我遇到了这个挑战’——然后回去修复这些问题。”(P10,案例2)
将专业语言转化为共同语言是一项可以由两个专业领域都具有专业知识的人轻松完成的任务。然而,解决由知识差距引起的沟通挑战则是一个更为复杂的任务,知识中介需要仔细决定使用哪种方法来处理这个问题。具体来说,这样的决策通常会引出一个问题:知识中介需要使用哪种语言,以避免引入新的混淆。重要的是,知识中介必须将领域特定的术语转化为双方都能统一理解的语言。一位负责某个项目AI工作的技术专家在尝试与临床医生合作时分享了她的经验:“我们的思维方式差异很大,一开始我试图理解问题所在,后来我发现他们很难在初期就发现问题。我个人在这个合作中的经验是,我们花费了一些精力来确定AI团队可以在项目中做的事情,这需要时间来敲定。除此之外,每次我们遇到问题时,他们都会尽力回答我们。”(P13,案例2)
在实践中,这三种能力反映了知识中介的功能,类似于双语翻译者的功能。他们必须不断在临床和技术框架之间切换,确保不会丢失任何关键细节。知识中介需要将不同的专业语言转化为团队中的所有人都使用的共同语言。通过这种方式,不同领域的专家能够使用同一种语言达成共识。对于语言差异很大的学科,如临床领域和技术领域,这个共同语言通常是没有任何专业术语或概念的通俗语言。因此,知识中介需要将说话者的专业语言转化为大家都能正确理解的通俗语言,并在提供进一步解释或澄清时仅使用这种通俗语言。
除了这些主题外,使用AI辅助还可以揭示团队协作中实际设计方面的影响,特别是在涉及人类知识中介参与的活动时。一种应对知识差距的策略是利用数据示例作为边界对象来代表这些信息。临床数据这个共享对象跨越了具有不同规则、工具和劳动分工的多个社区;尽管如此,语言障碍仍然存在。另一种策略是依赖能够担任知识中介的角色的人。如图8右侧所示,知识中介使得不同领域的专家能够使用共同语言来克服沟通困难。
我们在图9中可视化展示的一系列知识中介需求,确实揭示了HCI和CSCW领域中重要的研究机会,探讨如何利用先进的AI技术来更好地支持跨学科协作。例如,大型语言模型(LLM)等AI技术通过精心设计的、以人为中心的交互和界面,有望实现上述前提条件。
图9展示了临床AI团队协作中的沟通障碍和应对策略。由于知识差距和语言障碍,领域专家之间的直接沟通是无效的,而可用的边界对象和知识中介可以帮助解决沟通不畅的问题。图中左侧是临床言语病理学专家,右侧是技术AI专家,他们因知识差距和语言障碍而沟通不畅。下面展示了边界对象和知识中介作为应对策略的作用:边界对象有助于对齐领域特定的分类法、提供数据示例并识别沟通不畅,而知识中介则通过共享的知识定义和双方都能理解的共同解释来支持有效沟通。
总之,我们的研究结果表明,虽然临床数据对跨学科AI协作至关重要,但当临床专家和技术专家在数据标注、处理和解释方式上带有强烈的领域特定观点时,仍然可能引发深刻的困惑。沟通障碍通常源于专业知识边界之间的差距和专业词汇的分歧。两种主要策略——利用数据作为边界对象和依赖知识中介——可以帮助缓解这些问题。活动理论通过将这些问题置于每个群体的动机、行动和共同规则的结构化视角中,进一步丰富了我们的理解。这一视角为旨在克服沟通障碍的AI系统提供了多种设计机会。通过利用知识中介的技能集,并围绕明确定义的边界对象设计交互,可以更有效地利用新兴技术(如LLM)来支持真正的协作式临床AI开发。
我们的研究系统地考察了临床AI中的跨学科团队协作,重点关注临床医生和技术专家如何共同利用共享的临床数据,并在涉及语音病理学评估和干预服务的项目中管理不匹配的分类法、专业术语和知识差距。通过运用活动理论(Activity Theory,AT)[39, 76]作为分析工具来评估两个案例研究,我们的工作不仅探讨了表面层次的沟通挑战,还分析了与专业规则、劳动分工和社区规范相关的潜在结构不对齐和冲突。下面,我们结合现有的CSCW/HCI研究成果,反思了这些发现对现有理论的贡献、对最佳实践的影响、基于AI的知识中介工具的设计考虑,以及未来工作的拓展方向。
5.1 利用活动理论揭示临床AI协作的结构性紧张关系
我们的研究发现强调了数据在连接临床专家和技术专家中的关键作用,但这一作用有时也会带来问题。先前的研究已经强调了数据和表示性工件在促进跨领域协作和分类工作中的作用[14, 18, 22, 23, 71, 83, 97]。然而,我们也认识到数据是一把“双刃剑”——当不同的目标和专业数据主题影响临床专家和技术专家对相同原始观察结果的标注和解释时,数据的作用会变得复杂。活动理论有助于解释这些紧张关系为何反复出现:每个领域都遵循不同的规则和规范,但同时依赖重叠的工件和工具[92, 98]。与以往针对医疗技术协作中沟通中断的零散案例分析[17, 24, 68]不同,我们的分析揭示了两个不同临床AI协作中的反复出现的结构不对齐和冲突。随着AI扩展到专门的医疗领域[57, 108, 114],需要从系统层面出发来支持更顺畅的协作和实际成果。活动理论指出,数据编码方案和领域特定语言的不一致是交叉活动系统的模式化后果,而不仅仅是孤立异常[23, 92]。
5.2 用边界对象调解不对称性
我们研究的一个关键发现是,电子表格、注释过的转录文本和其他有形工件可以充当“边界对象”[22, 97],它们足够灵活以适应每个群体的视角,同时又足够稳定以在不同领域之间传递信息。跨学科团队可以利用数据示例“讨论”并建立上述的共同知识基础。这与早期CSCW研究中关于物理或数字工件如何促进协作和澄清误解的工作相呼应[6, 16, 35, 54]。除了简单地共享信息外,这些对象还在调节团队内部固有的认知不对称性方面发挥作用[23, 99]。这种不对称性不仅源于不同的知识,还源于对关键资源的控制权:临床专家掌握临床数据资源,而技术专家则具有计算方法的专业知识。他们之间的相互依赖创造了必须不断协商的微妙权力平衡。例如,原型可以让临床医生根据AI系统的工作流程集成来对其进行评估,从而为他们提供了一种切实的方式来展示他们的临床专业知识,并平衡了可能倾向于纯粹技术指标的权力动态[4]。在这种情况下,边界对象可以作为情境行动的场所[99],其中携带的信息不是固定的,而是随着合作者与人工制品的互动而主动协商形成的。在某些情况下,非数据人工制品(如流程图或界面原型)比原始数据更能直接揭示工作流程的不一致之处[6]。然而,当专家们缺乏理解彼此领域特定术语、数据主题和分析框架的概念桥梁时,仅靠边界对象往往是不够的[23, 92, 101]。
5.3 知识中介与劳动分工
每个领域都使用自己专门的术语,这些术语在该领域内是有效的,但在跨学科背景下使用时可能会造成混淆,并强化知识边界[10, 44, 79]。我们的分析证实,“知识中介”[21, 62, 69]在跨学科团队中扮演着不可或缺的角色,他们主要像“双语翻译者”一样工作[72, 105]。他们能够理解知识边界,迅速发现术语差异,并将专业语言翻译成共同的工作语言,这与早期关于组织中介的研究结果一致[21, 69]。这一角色通常通过协调工作来体现[91, 92],协调工作描述了在复杂环境中调整相互依赖任务所需的往往是看不见的努力。从这个角度来看,中介是管理活动系统之间概念、技术和时间依赖性的主要代理人[91]。
跨边界协调可以理解为在“交易区”中运作[28, 47],这是一个概念空间,在这里社区发展出局部接触语言或混合语来进行合作。在我们的案例中,由中介策划的人工制品(如数据词汇表)起到了促进有效交流的作用。专家们的专业知识在不同个体之间是动态且不均匀的,这要求中介不断评估和调整他们的翻译。在我们的研究中,知识中介促进了关于临床编码数据如何用于AI建模以及如何以临床可解释的方式将AI结果反馈给临床医生的更富有成效的协商。然而,正如其他人所指出的[21, 72],这些中介往往非常稀缺,这可能会随着跨学科团队合作需求的激增而加剧瓶颈或中断的风险,同时知识中介的可用性却停滞不前。
尽管边界对象和知识中介在弥合合作差距方面似乎起到了核心作用,但我们的研究也证实,跨学科团队还受到明确的规定和制度指南的约束,这些在人工智能(AT)中被概念化为规则[41]。对于临床AI合作,这些规则可能包括伦理考虑(例如,HIPAA下的患者隐私保护[5])、诊断疾病的专业标准,或影响模型开发时间和资源分配的数据共享指南。忽视这些规则可能导致合作陷入停滞,即使边界对象和中介在其他方面是有效的。同样,“劳动分工”[65, 96]也是关键因素,但常常被团队忽视。长期以来,研究者们指出,在医疗保健等高风险环境中,不同参与者职责定义不清会导致摩擦和不信任[1, 11]。我们的发现进一步强调了这一点,即随着AI系统开发的不同阶段,劳动分工和管理这些分工所需的协调工作会发生变化。
5.4 跨学科团队合作的最佳实践
对于未来的团队来说,一个最佳实践是在合作初期就建立共享学习机会,以确保不同团队能够建立共同的基础知识。定期的知识交流环节,让临床和技术专家提供领域特定的培训或研讨会,有助于建立跨学科的理解基础。这一做法与先前强调创建共享知识空间以促进领域间理解的研究一致[26, 63, 78]。将建立共同基础的工作视为一项明确的项目活动,可以使这项工作变得可见并受到重视,而不仅仅是临时性的[92]。我们还建议共同创建一个动态更新的词汇表,从一开始就减少混淆并对齐定义;这一策略与关于术语变化和跨学科协调的研究结果一致[10, 45]。这样的工具有助于使协调工作在整个团队中得以可视化和分配,减轻单一知识中介的负担。
虽然我们的案例特别关注临床和技术专家,但临床AI合作通常还涉及HCI专家和其他利益相关者(例如产品经理、数据分析师等),他们为团队带来了各自领域特定的视角[88]。未来的团队应该考虑如何整合这些额外的角色,这可能会引入新的术语或需要新的类型边界对象,从而凸显出明确沟通指南的必要性,以应对这种增加的复杂性[26, 78]。
6. 限制与未来工作
尽管我们的研究为临床AI的跨学科合作提供了新的见解,尤其是在言语-语言病理学领域,但仍有一些限制需要指出。首先,我们的实证背景特定于言语-语言病理学和远程医疗应用的临床实践,涉及少量的临床医生和AI专家团队。塑造我们分析的活动三角、网络和边界对象反映了这一专门领域,可能无法直接应用于其他领域或更广泛的临床AI团队合作。我们发现的挑战和缓解策略是否可以推广到更广泛或更复杂的跨学科环境(例如大型工业研究合作)仍然是一个开放性问题。其次,虽然我们研究了不同领域专家如何概念化、记录和解释数据,但我们没有深入探讨由合作过程产生的交互式系统或界面(如基于网络的评估平台或基于应用的患者管理工具)的开发。第三,当前的案例研究仅涵盖了早期开发阶段的合作,此时模型尚未在临床实践中应用。目前的分析主要关注“数据工作”,如数据输入和准备(例如,临床医生提供患者护理数据,技术专家处理数据以供模型使用)。因此,关于模型输出及其在技术专家开发后的临床实用性的讨论是有限的。
我们的发现指出了未来研究的具体方向,这些研究将直接建立在上述限制之上。首先,虽然临床数据在这些环境中作为一个有效的边界对象,但未来的研究必须探讨这些合作动态和知识中介的角色是否在其他高度专业化的医学领域中也以类似的方式运作,以便为类似的临床AI合作工作做出更普遍的研究贡献。其次,尽管我们的研究没有广泛探讨用于改善跨学科团队合作的协作系统的设计和开发,但AI领域的分析视角对于未来关于具体界面设计和系统原型开发的更广泛研究至关重要。结合我们对临床和AI工作者的知识边界和沟通需求的实证见解,未来的工作可以使AI驱动的解决方案更加用户友好和具有临床相关性。此外,虽然我们的参与者依赖于电子表格和记录等静态人工制品,但未来的工作可以探索动态或AI中介的边界对象如何在术语不匹配发生时主动识别和澄清这些差异,进一步支持我们在案例中发现的跨学科数据工作。最后,由于我们的分析主要捕捉了早期开发阶段的上下游数据工作,纵向研究是必要的下一步。跟踪边界对象随着时间的变化情况,以及模型部署和临床团队评估下游AI输出时的情况,将揭示它们对团队表现和项目结果的长期影响[13, 84]。
7. 结论
本研究探讨了临床和技术专家如何协作进行临床AI项目。通过采用活动理论(AT)作为结构化的视角,我们发现临床医生和技术专家参与了不同但相互依存的数据工作形式,这些工作在领域知识、专业术语和数据分类法方面造成了反复的协调紧张和沟通障碍。虽然共享的临床数据作为一个重要的协调工具,但我们的研究发现,仅凭数据本身无法弥合解释和工作流程期望之间的深层差异。相反,能够在临床和技术领域之间穿梭的人类知识中介在翻译概念、澄清假设和支持合作方面发挥了重要作用。总体而言,这项研究通过展示共享人工制品、中介角色和协调紧张如何塑造早期阶段的临床AI合作,为CSCW(计算支持协调工作)研究做出了贡献。未来的工作可以探讨这些动态如何在后续开发阶段演变,以及新工具是否能够更好地支持专业临床环境中的跨学科协调。