综述：理解与缓解耳鼻喉科学中人工智能偏差：最新技术综述

《World Journal of Otorhinolaryngology - Head and Neck Surgery》：Understanding and Mitigating Bias From Artificial Intelligence in Otolaryngology: A State-of-the-Art Review

　　

目标：概述在耳鼻喉科中使用人工智能(AI)可能导致的潜在偏差及其缓解技术。数据来源：文献综述和专家意见。结论：人工智能有望从根本上变革医学。本综述强调了偏差如何在人工智能应用和开发的各个层面无意中引入，以及这些偏差如何可能削弱这些工具的意图和效益。讨论了可用于缓解这些偏差的多项技术。最终，理解该技术的局限性和适当应用对于确保其公平有效使用至关重要。总结：人工智能存在高风险偏差，可能发生在人工智能模型开发和使用的各个层面。理解偏差的来源和人工智能的局限性对于缓解偏差和选择适当的模型以改善患者护理至关重要。

1 引言
人工智能(AI)作为概念由艾伦·图灵在1950年发表的开创性论文“计算机器与智能”中正式提出并推广。图灵奠定了机器可执行类似人类智能任务的基础，例如推理、复杂问题求解、决策和学习。即使作为新兴技术，AI早期已用于医疗领域以辅助细菌识别和提供抗生素治疗选项。直到2010年代，计算能力的显著提升为强大的神经网络铺平了道路，极大提高了这些算法的分析和认知能力。随着技术进步，AI在无人干预下学习的能力（机器学习；ML）也随之增强。随着OpenAI的ChatGPT-3在2022年11月推出首个公开可用的生成式AI，该技术兴趣迅速扩展，成为历史上增长最快的消费软件应用。现代生成式AI系统的定义是其能够在现有数据集上训练后，无需人类干预即可生成新数据。这些系统对海量数据集进行思考的能力使其能输出有意义、具体且准确的解决方案，这些方案可能通过传统分析方法不易显现。医学界试图利用这项技术，承诺通过五个主要领域改善医疗保健：追求全民更好健康、实现改善结果、促进健康公平、降低医疗成本以及增强临床医生福祉。在耳鼻喉科中，AI兴趣急剧增长，已用于辅助诊断、提供管理计划、预测疾病进程和结果以及解释临床数据。此外，该技术正被用于协助耳鼻喉科医生完成日常临床任务，如文档记录、研究和临床评估。尽管这项技术前景广阔且令人兴奋，但必须谨慎对待并理解其根本局限性。其中最受关注的问题是AI可能放大医学中长期存在的偏差，因为AI算法的输出仅与其训练数据同样公正。加剧现有偏差的风险可能破坏AI在医学中公平改善患者结果的意图。当前研究努力已识别出至少18种广泛使用的医疗保健算法中存在种族和民族偏差。这些系统中的偏差是隐蔽的，可能发生在AI开发和部署的所有阶段。如果机器学习(ML)算法在无人干预或验证下运作，也有放大这些偏差的风险。理解和缓解这些AI系统中的偏差是公平有效应用该技术的基础，也是本综述的焦点。

2 医学中的偏差
为更好理解AI实施带来的偏差，重要的是理解医学中已存在的偏差。尽管努力平等对待所有患者，但现实情况是某些群体往往接受明显劣质的护理。例如，接受慢性鼻窦炎(CRS)手术的女性术后结果往往更差，非西班牙裔黑人美国人的头颈癌结果比非西班牙裔白人美国人更差。这些差异的具体潜在原因并不总是明确，但通常是系统或个体偏差的结果，导致医疗保健获取、感知歧视、医疗不信任、提供者歧视、教育和培训差异以及医疗文献差异。此外，偏差在用于指导循证医学的医疗和药理研究中普遍存在。研究偏差可能源于非代表性患者选择、有缺陷的方法学设计以及对数据和结果的不当解释。研究完成后，同行评审过程可能通过发表偏差引入进一步偏差，即阳性研究的代表性过高。AI的应用可能加剧这些差异，除非解决根本原因。

3 基于数据的偏差
AI/ML系统是用于分析和解释大量数据的工具，因此从根本上受限于所提供的数据和训练数据。因此，这些系统中偏差的最大风险来自训练数据集中的偏差。偏差通过代表研究人群的大型数据集最有效地限制。不幸的是，现有耳鼻喉科文献大多存在样本量小和数据质量低的问题。在像耳鼻喉科这样的小型亚专科中，由于疾病罕见、隐私问题以及跨机构收集的一致客观结果指标稀缺等因素，获取高质量、大样本量的研究可能很困难。Yang等人研究了2000年至2020年发表在四大耳鼻喉科期刊上的临床试验，发现65%的研究是随机的，中位样本量仅为49例患者。Yao等人类似研究发现耳鼻喉科文献中随机对照试验的中位样本量为53。小样本量使模型面临过拟合风险，即模型从小的、非代表性数据集学习，然后在可能更多样化的新数据上无法正确应用算法。此外，Yang等人发现耳鼻喉科文献中存在对阳性结果研究的巨大发表偏差（83.6%的发表研究）。排除高质量的负面数据可能使机器学习算法产生偏差，因为与阳性研究冲突的负面研究可能从未发表。以数据驱动偏差为例，一项对美国CRS前瞻性临床研究的系统综述发现，所有人口种族和民族少数群体相对于其人口比例显著代表性不足。其他检查CRS和鼻炎的前瞻性研究发现类似结果，指出某些性别和少数群体在发表研究数据中代表性不足。如果这些数据用于训练生成式预测AI模型，该模型可能假设少数群体不太可能出现这些疾病，从而诊断不足或治疗不足。此外，缺乏人口少数数据限制了模型阐明可能不成比例影响这些群体的因素的能力。同样，Park等人领导的研究调查了AI在面部整形手术中的应用。一个使用案例是软件可分析面部亚单元以生成理想鼻轮廓或面部复为目标的计划。问题再次出现，因为在面部美容手术文献中少数群体代表性不足。审美标准与特定文化和民族密切相关，如果在主要数据和文献中未考虑这种偏差，AI算法可能放大偏差，导致结果偏向白人审美标准，而忽视非白人患者。在诊断为鼻腔恶性肿瘤的患者中，少数群体和较低社会经济地位者似乎更可能呈现晚期疾病。由此推断，AI可能将此数据解释为少数群体早期恶性肿瘤风险较低，从而不当地将其评分较低。更复杂的是，已证明来自少数群体和较低社会经济地位的患者由于高级疾病标准护理的不平等管理，鼻窦癌生存率下降。类似发现也见于喉癌患者，种族和社会经济因素导致就诊阶段较晚、治疗模式不同和生存率更差。依赖此类偏差数据的算法可能不成比例地为训练数据中未代表的患者亚群提供不适当的护理。另一个数据驱动偏差源是未能选择准确代表所调查变量的数据。一项常被引用的研究中，Obermeyer等人发现一个大型商业可用且频繁使用的预测模型存在显著种族偏差。该算法旨在作为商业风险预测工具，以识别具有复杂健康需求的患者，旨在将其与更高级别的护理和资源联系起来。研究发现该算法利用医疗成本作为疾病负担和疾病复杂性的代理。不幸的是，关键缺陷是黑人美国人由于系统性问题（如护理获取不平等），在相同条件下获得的护理费用少于白人美国人。结果是模型的风险评分显著低估了黑人美国人的真实疾病负担，未能为他们提供足够的护理和资源。AI实施在耳鼻喉科的一个新途径是住院医师招生。随着该领域兴趣增长和竞争加剧，许多项目在公平权衡大量潜在申请者以选择住院医师项目时面临行政负担。AI工具已被探索通过全面评估所有申请以客观选择最合格的候选人来解决行政负担。不幸的是，Halagur等人的一项研究发现，用于从多样化申请者池中选择耳鼻喉科住院医师的商业可用大型语言模型(LLMs)存在显著的种族、性别和性取向偏好。自然地，招入较少多样性群体进入我们的专业是不可取的结果，可能进一步延续和固化现有偏差。

4 基于算法的偏差
偏差也可能源于AI算法本身的缺陷。在医疗AI中理解算法偏差时，首要需要克服的问题之一是“黑箱”。随着ML变得更强并利用日益复杂的神经网络，我们理解系统如何生成输出的能力变得越来越不透明。这被称为黑箱问题，简而言之，ML模型不“展示其工作”，因此无法确定系统分析的协变量的底层关系或重要性。在分析复杂多维数据（如图像或视频）的AI应用中，确定关键变量更困难，这一问题更为突出。这种缺乏透明度从根本上模糊了我们评估系统偏差的能力，或在识别出偏差时确定其具体来源。在更实际的层面上，这个黑箱问题可能导致与患者进行困难对话，当患者不可避免地问“为什么？”时。如果作为医生，我们不完全理解AI如何达成决策，与患者的信任关系可能会紧张。有人认为这种不透明性无关紧要。如果医学的最终目标是有效治疗和诊断患者，并且如果ML系统能够在没有可识别偏差的情况下完成此任务，那么它如何或为何工作真的重要吗？如果AI模型有100%的准确性，例如诊断鼻窦癌，这是一个容易提出的论点。如果模型的准确率低于100%，则存在一种情况，即ML算法可能选择通过牺牲代表性不足群体的利益来提高代表性过度群体的准确性，从而改善整体模型性能。特别是在罕见疾病（如鼻窦癌）中，这种偏差可能在模型的不透明性被发现之前多年未被检测到。

5 其他偏差来源
分析图像数据的AI模型正被测试作为口腔癌早期诊断、基于CT数据区分CRS亚型以及基于耳镜分类耳部疾病等的辅助工具。在成像数据是主要分析模式的情况下，偏差可能通过不同机构获取这些图像的质量和技术差异引入。这种异常可能导致在相对富裕的三级医疗中心使用尖端设备数据训练的AI模型泛化性降低。当在远程社区站点使用时，模型可能无法提供所需的准确性。同样，偏差可能源于AI对成本、功率要求、存储能力、技术知识和计算能力的高要求。这些因素有可能将技术限制在具有可观资源的地区或机构。自然地，小型社区医院或边缘化地区的患者可能无法平等获得AI使用。

6 偏差缓解
在耳鼻喉科中缓解AI偏差从根本上需要理解技术的局限性，并仔细选择如何部署这些模型。讨论AI和ML偏差时的主要基石是数据质量重要。有效且无偏差的AI模型需要无偏差的代表性数据。Althnian等人发现，即使使用小数据集（范围从18到1100名患者），ML模型在医疗环境中也可以高度准确，如果训练数据集无偏差，准确率可达99%。他们的研究强调，构建一个良好代表原始分布的数据集，无论大小，是最重要的因素。在像耳鼻喉科这样的专业中，获取大数据集具有挑战性，我们必须集体专注于生成高质量、标准化、相关数据，并仔细选择变量和修饰符。多机构研究和数据共享可以极大地促进这些基础的构建。限制偏差的一个尝试是构建特定于医疗应用的AI模型，如Open Evidence、UpToDate Expert AI和Doximity GPT。这些模型被宣传为“基于同行评审、临床质量证据”，并声称“评估临床证据的强度，并优先考虑护理点最重要的信息”。该框架可以通过清晰呈现用于生成输出的引用文献来缓解偏差的某些方面，然后这些文献可由最终用户评估。目前，这些系统没有显著解决数据偏差的根本问题，也未解决黑箱关注点。此外，这些应用由行业资助，可能偏向某些出版物或来源。总体而言，比较这些应用之间偏差的发表数据不多，但一项比较AI聊天机器人在头颈癌分诊中质量和可读性的研究发现，ChatGPT、Google Gemini、Microsoft Copilot和Open Evidence在修改的DISCERN标准（包括偏差的主观分析）下同样无偏差。偏差缓解的另一个重点是持续评估和验证AI模型。随着模型“学习”，它们继续迭代先前的方法学，以生成改进的结果度量。临床医生应对这些模型保持警惕，定期仔细监控错误率和结果，以确保模型按预期运行。缓解此问题的一种方式是利用监督学习，其中训练数据用手动标签标注已知结果。也存在一些工具来评估和指导预测模型的构建，以识别和限制偏差。PROBAT+AI（预测模型偏差风险评估工具+人工智能）是一个设计分两阶段协助模型构建和评估的工具。正在开发新的数学解决方案来消除数据集偏差，如对抗去偏差或过采样；然而，这些方法相对较新且仍在完善中。在将ML算法类似于医疗器械进行监管方面取得了进展。此过程将要求在批准临床使用前，由第三方对模型进行关键分析和验证。一些研究人员专注于打开黑箱或完全移除它。Chen等人的一项研究发现，当清楚解释其逻辑时，耳鼻喉科医生对ML诊断输出的信任增加。有一个新兴的AI领域称为可解释AI(XAI)，由国防高级研究计划局(DARPA)领导，受三个主要原则支配：AI必须可解释、可解释和透明。对于基于图像的诊断AI，正在开发软件，可视化指示图像的哪些部分对AI系统的决策过程最有影响力。允许最终用户窥视黑箱可能导致偏差的更早检测、偏差来源的更好理解以及与患者进行更知情对话的能力。

7 结论
AI有潜力从根本上改变医学和耳鼻喉科学的实践。不幸的是，使用这些工具存在显著的偏差风险，特别是在耳鼻喉科中缺乏高容量、高质量数据的情况下。本综述强调了AI中偏差的来源和缓解这些偏差的技术。最终，理解该技术的局限性和适当应用对于确保其公平有效使用至关重要。