编辑推荐：
为探究临床人工智能（AI）可解释性的必要性，研究人员展开研究，发现当前论据不支持其必要性，具重要意义。
人工智能（AI）正逐渐走进医疗领域，在疾病诊断、治疗方案推荐等方面发挥着重要作用。想象一下，医生借助 AI 系统，能快速分析海量的医学影像，精准找出病症所在；或者通过 AI 算法，为患者制定个性化的治疗方案，这听起来是不是十分美好？然而，AI 在医疗应用中的发展并非一帆风顺。其中，AI 的可解释性问题引发了广泛的讨论和激烈的争议。
一方面，AI 的 “黑箱” 特性让很多人担忧。当 AI 做出诊断或决策时，其内部的推理过程就像隐藏在黑箱中，人们难以理解它为何会得出这样的结果。这就好比医生使用一个诊断工具，却不知道它是如何得出诊断结论的，这让患者和医生都感到不安。另一方面，在实际医疗场景中，缺乏可解释性的 AI 可能会导致误诊、漏诊，影响患者的治疗效果，甚至引发伦理和法律问题。例如，在涉及医疗责任认定时，如果 AI 的决策无法解释，那么很难确定责任的归属。因此，研究 AI 在临床应用中的可解释性显得尤为重要。
为了深入探讨这一问题，来自加拿大英属哥伦比亚大学医学院岛屿医学项目（Island Medical Program, Faculty of Medicine, University of British Columbia）和维多利亚大学健康信息科学学院（School of Health Information Science, University of Victoria）的 Justin Blackman 和 Richard Veerapen 开展了相关研究。他们的研究成果发表在《BMC Medical Informatics and Decision Making》上。
研究人员采用了系统综述的方法。首先，他们确定了六个数据库，包括 PubMed、EMBASE、CINAHL、Web of Science、PhilPapers 和 Philosopher’s Index。在这些数据库中，他们使用专门设计的搜索词进行检索，检索不受出版日期限制。然后，根据预先设定的纳入和排除标准，对检索到的文献进行筛选。最后，利用扎根理论方法对筛选后的文献进行编码和分析，从而梳理出支持和反对临床 AI 可解释性必要性的各种观点和论据。
在研究结果部分，研究人员发现不同学者对临床 AI 可解释性的必要性存在分歧。有些学者认为，准确性比可解释性更重要，并且不透明的决策过程与现有的循证医学（EBM）实践相符。例如，在医学领域，很多治疗方法的作用机制并不明确，但只要经过实证有效，依然会被使用。然而，另一些学者则强调可解释性的重要性，他们认为可解释性有助于维持医疗决策的问责制，减少算法偏见，并且是尊重患者自主权和实现知情同意的关键。
在 AI 可解释性与认识论优先性方面，反对可解释性必要性的学者认为，医学实践中常基于经验结果做出决策，即便机制不明。而支持方则认为，循证医学需要对研究结果进行批判性评估，这依赖于研究的可解释性。研究人员分析认为，临床 AI 输出在没有解释的情况下也可进行批判性评估，这与循证医学实践并不冲突。
关于性能与偏差 - 方差权衡，支持可解释性的学者提出，可解释算法能通过纳入领域知识，避免过拟合，实现更好的泛化性能。但反对者认为，过于强调可解释性会牺牲原始性能，导致患者治疗效果变差。研究人员从数学优化的角度分析，认为可解释性算法相对不可解释性算法存在性能成本，而且临床医生不一定能有效纠正 AI 的错误。
在 AI 可解释性、自主性和知情同意方面，反对者认为知情同意并不需要对病理或治疗机制有深入理解。而支持者则认为，患者要实现自主权，就需要了解 AI 的特征重要性，且法律也要求提供解释。研究人员通过对比黑箱 AI 辅助诊断与特发性诊断、排除性诊断，发现前者对知情同意的阻碍并不更大，而且在使用 AI 生成治疗建议时，医生也并非完全依赖 AI。
此外，在 AI 可解释性与正义、信任、责任、法规等方面，研究人员也对不同观点进行了深入探讨和分析。
综合来看，研究结论表明，目前的文献在临床 AI 可解释性问题上存在分歧，现有论据并不足以证明临床 AI 在实践、伦理和法律层面必须具备可解释性。虽然在某些情况下，如涉及基本权利立法和程序公平的正义原则时，自主的黑箱 AI 应用受到限制，但在 “人在回路”（human - in - the - loop）的实施中，可解释性并非必要。临床 AI 可以像现有经验数据一样，按照循证医学的要求进行批判性评估。而且，医学实践中已经存在很多依赖经验、缺乏机制理解的情况，临床实践指南也有部分缺乏直接证据支持，这与黑箱 AI 有相似之处。从数学优化角度，可解释性算法存在性能成本，医生对 AI 的信任应基于其训练和性能的透明度，而非算法的可解释性。
这项研究意义重大，它为临床 AI 的发展和应用提供了重要的参考。在未来，随着 AI 技术在医疗领域的不断深入，如何平衡 AI 的准确性和可解释性，如何在保障患者权益的同时充分发挥 AI 的优势，将是需要持续关注和研究的方向。同时，该研究也提醒人们，在推广和应用临床 AI 时，要谨慎考虑各种因素，确保 AI 技术真正造福患者。
