## 基于YOLO11m的人工智能与骨科医师专家组在关节镜参照下对肩袖后上部MRI三分类诊断的对比：一项多阅片者诊断准确性研究

《Diagnostics》：YOLO11m-Based Artificial Intelligence Versus Orthopaedic Physician Panels for Arthroscopy-Referenced Three-Category MRI Classification of the Posterosuperior Rotator Cuff: A Multi-Reader Diagnostic Accuracy Study

　　

## 摘要

**背景/目的**：人工智能（artificial intelligence, AI）可能为肩袖MRI判读提供支持；然而，其相对于不同经验水平临床医师的表现仍不确定。研究人员以关节镜为参照标准，将锁定的基于YOLO11m的模型与预先设定的骨科医师专家组进行比较。

**方法**：本项回顾性单中心研究纳入一个独立的300例患者模型开发数据集，以及一个以关节镜为参照的阅片者队列，共258例患者（60例肩袖完整、86例部分层厚撕裂、112例全层撕裂）。12名设盲医师被分配至四个由三名阅片者组成的经验专家组，专家组诊断以三分之二多数表决确定。配对准确性比较采用精确McNemar检验并行Holm校正。

**结果**：AI总体准确率为0.841（95% CI，0.792–0.881）。高年资专科医师组准确率数值上更高（0.911），但校正后与AI的差异无统计学意义（Holm p = 0.060）；低年资专科医师组与AI亦无差异（0.822；Holm p = 0.649）。AI的配对准确率高于高年资住院医师组（0.729；Holm p = 0.005）和低年资住院医师组（0.671；Holm p < 0.001）。部分层厚撕裂的AI敏感度最低（0.709）。

**结论**：在该受限电影循环（cine）、三分类基准测试中，AI表现优于两个住院医师组，而两个专科医师组的比较均未达到校正后的显著性阈值。上述发现尚不能确立与专科医师的等效性，亦不能确立AI辅助判读的获益。

## 论文主体内容解读

**研究背景与问题**：肩袖撕裂是肩关节疼痛与功能障碍的常见病因，涵盖自部分层厚缺损至全层肌腱断裂的连续谱系。准确判定肩袖完整性对治疗规划与手术决策具有重要意义。尽管磁共振成像（magnetic resonance imaging, MRI）是无创评估肩袖的核心手段，但区分完整肌腱、部分层厚撕裂与全层撕裂仍具挑战，尤其当结构异常细微或不完整时。AI在肩肘外科尤其是基于影像的诊断、分割与结局预测中受到日益关注，肩袖MRI是其主要应用领域之一；然而既往多数模型集中于冈上肌腱，采用二分类、多分类或多任务框架，较少评估其他肩袖肌腱或将AI与人类阅片者进行比较。既有研究在肌腱覆盖范围、类别定义、参照标准与可靠性评估方面仍存在明显异质性，尚未一致地将关节镜参照标准、患者层面三分类、跨预先设定骨科经验水平的比较以及医师专家组首轮一致性的描述性分析结合起来。因此，研究人员以关节镜所见确立肩袖后上部状态（完整、部分层厚撕裂、全层撕裂）的参照分类，主要目的是评估锁定YOLO11m模型在判读术前冠状位T₂加权脂肪抑制MRI序列时的总体与类别特异性诊断性能，并与代表不同临床经验水平的四个预先设定的三人骨科医师专家组进行比较；次要目的是描述医师专家组内部的首轮一致性。研究假设AI相对于医师专家组的性能会随经验水平与撕裂类别而变化，且AI的相对优势在住院医师组中预期最大。

**主要技术方法**：本项回顾性单中心研究包含两个互不重叠的队列：一个独立的300例基于MRI的模型开发队列，以及一个以关节镜为参照、含258例患者的诊断阅片队列。阅片队列为2019年1月至2025年12月连续符合条件的肩关节镜病例，并从中分层抽取39例（每个关节镜参照类别13例）用于阅片者可靠性再评估。MRI采集使用1.5 T MAGNETOM Aera系统（Siemens Healthineers, Erlangen, Germany）及专用肩关节线圈，采用机构标准化的冠状位T₂加权脂肪抑制序列，每个序列17–21层连续源层面；源图像经Python 3.10与OpenCV 4.8转换为标准化电影循环（cine），图像标准化至640 × 640像素（窗中心400，窗宽800），以30帧/秒编码、10秒回放并重复一次，共600个编码帧。模型采用YOLO11m分割架构，自Common Objects in Context预训练分割检查点初始化；开发数据集含300例非手术治疗患者的3804幅图像（完整、部分层厚撕裂、全层撕裂各100例），按患者层面以70%/15%/15%分层划分训练、验证与技术测试子集（分别为210例2663幅、45例571幅、45例570幅图像），训练前行自动方向校正并缩放至640 × 640像素，数据增强仅限于训练子集（15度内随机旋转、水平与垂直错切至10度、模糊至0.8像素）。类别特异性实例分割标注由三名具有五年以上临床经验的骨科专家在计算机视觉标注工具（Computer Vision Annotation Tool, CVAT）中依据肌腱–足印区关系经共同共识复核建立，标注者标注时可获取完整多平面MRI，而模型输入仅保留选定的冠状位T₂加权脂肪抑制图像。分割输出包括三个诊断类别（正常肩袖、部分撕裂、完全撕裂）及一个辅助的肱骨定位类别。训练最多100个epoch，批大小16，AdamW优化器，初始学习率0.001，早停耐心值20个epoch，使用Ultralytics 8.3.0版与PyTorch 2.11.0版，于24 GB显存的NVIDIA GeForce RTX 4090图形处理器上训练，固定随机种子42；最终检查点仅依据验证集交并比阈值0.50下的掩膜平均精度均值（mask mean average precision, mask mAP@50）最高者选取。推理阶段置信度低于预设诊断阈值0.50的预测被舍弃，同一源层面多个诊断类别超过阈值时保留置信度最高者，辅助肱骨类别不参与患者层面诊断聚合；层面预测按预设层级规则转换为患者层面诊断：全层撕裂需在至少两个解剖相邻的不同源层面上出现合格的全层预测，未满足时若至少存在一个合格的部分层厚预测则判为部分层厚撕裂，无合格撕裂预测者判为完整，优先级依次为全层撕裂、部分层厚撕裂、完整肩袖。12名骨科医师按预先设定的四个经验组分配，每组三人：低年资与高年资住院医师分别为住院培训不足与不少于2.5年者；低年资专科医师为住院医师培训后不足五年者，高年资专科医师为不少于五年且积极参与肩关节手术者。258例分为三组各86例依次评估，每名阅片者独立给出三分类患者层面诊断，组内专家组诊断以至少三分之二初始评级支持者为定；采用标准化阅片方案随机顺序呈现，阅片者对临床信息、关节镜所见、手术记录、AI预测及其他阅片者评估均设盲。统计分析采用准确率、敏感度、特异度与F1分数，三分类任务以一对余（one-versus-rest）方式计算并报告宏平均（macro-averaged）值，准确率置信区间采用Wilson法；AI与各专家组在相同258例上以基于配对病例层面正确性的双侧精确McNemar检验比较，Holm校正分别应用于四项总体比较与12项类别特异性比较；配对准确率差异定义为同一患者中AI准确率减去医师专家组准确率并以百分点表示，未校正95%置信区间采用20,000次患者层面配对非参数自助重抽样（百分位法，随机种子20261016）计算。主要诊断分析在Python 3.10中完成，所有假设检验为双侧，校正后p < 0.05视为有统计学意义。

**研究结果**：

（1）队列特征与技术测试性能：阅片队列258例中，按关节镜参照标准，60例（23.3%）肩袖后上部完整、86例（33.3%）部分层厚撕裂、112例（43.4%）全层撕裂。在留出技术测试子集上，锁定模型达到mask mAP@50为0.890、精确率0.886、召回率0.901、F1分数0.891；上述技术分割指标不应解读为患者层面、以关节镜为参照的诊断准确性。据作者修订后的临床队列摘要，平均年龄55.90 ± 7.96岁（范围35–78岁），女性186例（72.1%）、男性72例（27.9%），手术肩为右侧186例（72.1%）、左侧72例（27.9%）。技术测试指标系跨四个分割类别（正常肩袖、部分撕裂、完全撕裂及辅助肱骨类别）合并计算，肱骨类别不用于三分类患者层面诊断，类别特异性技术分割指标无法从留存的技术测试摘要中可靠还原。

（2）总体三分类性能：在以关节镜为参照的阅片队列中，AI正确分类258例中的217例（准确率0.841；95% CI，0.792–0.881），宏平均敏感度、特异度与F1分数分别为0.843、0.917与0.840。高年资专科医师组获得最高数值准确率（235/258，0.911），但其与AI的配对差异经Holm校正后无统计学意义（校正p = 0.060）；低年资专科医师组准确率为0.822（校正p = 0.649），而AI准确率高于高年资住院医师组（0.729；校正p = 0.005）与低年资住院医师组（0.671；校正p < 0.001）。配对总体比较中，AI减医师专家组的准确率差异为：对高年资专科医师组?6.98个百分点（未校正95%配对自助置信区间，?12.79至?1.16），对低年资专科医师组+1.94（?4.65至+8.53），对高年资住院医师组+11.24（+4.65至+17.83），对低年资住院医师组+17.05（+10.08至+24.03）。这些置信区间未经多重比较校正。

（3）全层撕裂分类：AI一对余准确率0.888（95% CI，0.843–0.921），敏感度0.902，特异度0.877，F1分数0.874；其准确率低于高年资专科医师组（0.961；校正p = 0.034），而在12项类别特异性比较校正后与低年资专科医师组（0.911；校正p = 1.000）、高年资住院医师组（0.822；校正p = 0.218）及低年资住院医师组（0.802；校正p = 0.074）均无统计学显著差异。

（4）部分层厚撕裂分类：AI一对余准确率0.849（95% CI，0.800–0.887），敏感度0.709，特异度0.919，F1分数0.758；其准确率与高年资专科医师组（0.911；校正p = 0.259）及低年资专科医师组（0.833；校正p = 1.000）均无显著差异，但高于高年资住院医师组（0.744；校正p = 0.034）与低年资住院医师组（0.682；校正p < 0.001）。部分层厚撕裂是AI敏感度最低的类别。

（5）完整肩袖分类：AI一对余准确率0.946（95% CI，0.911–0.967），敏感度0.917，特异度0.955，F1分数0.887；其准确率与高年资专科医师组（0.950；校正p = 1.000）、低年资专科医师组（0.899；校正p = 0.323）及高年资住院医师组（0.891；校正p = 0.202）均无显著差异，但高于低年资住院医师组（0.857；校正p = 0.007）。一对余准确率不等同于类别特异性敏感度。

（6）AI混淆矩阵与聚合规则审计：86例关节镜确认的部分层厚撕裂中，AI正确分类61例，其余25例中8例判为完整、17例判为全层；112例全层撕裂中，正确分类101例，10例判为部分层厚、1例判为完整；60例完整肩袖中，正确分类55例，4例判为部分层厚、1例判为全层。在作者汇总的技术审计中，AI判为全层诊断的全部119例均报告满足两个不同解剖相邻源层面的规则，未发现违规；审计报告无任何无合格阈上诊断检测的病例、3例存在孤立完全撕裂检测但无合格相邻层面配对、且无同一源层面上出现冲突的阈上诊断类别；该3例孤立即性病例按AI层级规则判为部分层厚撕裂，关节镜下均为部分层厚撕裂。119例AI全层预测中，关节镜诊断为全层101例、部分层厚17例、完整1例。上述为作者报告的汇总发现，并非对原始推理软件的独立重跑或完整病例层面验证。

（7）专家组首轮一致性：在258例队列中，低年资住院医师组、高年资住院医师组、低年资专科医师组与高年资专科医师组的首轮专家组投票分别在252、255、257与257例中为一致，其余6、3、1与1例以三分之二多数定；未报告三向未决首轮投票或专家组层面再评估轮次，故首轮与最终专家组诊断一致。这些计数描述的是未校正的首轮一致性，而非经机会校正的观察者间可靠性；先前报告的首轮–重复一致性汇总与观察者内部系数因无法提供配对的评级与计算记录以供核验而被撤回。

**讨论部分总结**：主要诊断发现是锁定YOLO11m模型取得0.841的三分类准确率，且随专家组经验与撕裂类别存在明显变化。AI在数值上低于高年资专科医师组，但该配对差异经Holm校正后未达预设显著性阈值；AI准确率高于两个住院医师组，低年资专科医师组与AI无显著差异；部分层厚撕裂仍是主要诊断局限。上述结果描述的是针对固定三人多数专家组的独立性能，而非个体医师的平均性能或AI辅助的临床获益。就总体分类而言，尽管在留出技术测试子集上分割性能较强，AI准确率仅为0.841，凸显掩膜技术评分与患者层面诊断属不同结局。各专家组准确率的数值排序大体类似肩部MRI中AI与阅片者比较的报告，但直接比较受肌腱定义、图像输入、参照标准及采用专家组而非个体观察者等因素限制，系统综述亦强调研究设计的异质性。高年资专科医师组的点估计准确率高于AI，尽管配对差异经校正后未保持统计学显著；不显著不应解读为等效性或非劣效性证据。全层撕裂呈现最强的撕裂检测性能，AI敏感度0.902、F1分数0.874，此模式与既往报告全层撕裂曲线下面积（area under the curve, AUC）最高及全层较部分层厚冈上肌腱撕裂敏感度更高的研究一致；常规MRI研究亦显示全层缺损具有较高准确率与有限的观察者变异，肌腱连续性的显著丧失与跨肌腱液体信号可能在相邻层面提供更一致的特征，与本研究的连续源层面规则相容；自动化三维工作亦证明了可重复的全层撕裂定位与测量可行性。模型的主要诊断弱点在于部分层厚撕裂，尽管类别特异性准确率为0.849，敏感度仅0.709、F1分数0.758，AI与常规MRI研究均报告过类似困难；纤维破坏不完全、撕裂侧别多变及与退变性肌腱内信号重叠，可能降低其与完整状态及全层状态的可分离性。未来工作应针对性地富集关节镜参照的部分层厚病例、采用更精细的撕裂标注并评估完整多平面或多序列输入；序列感知或三维模型整合相邻源层面信息亦可能改善细微部分层厚异常的敏感度。对于完整肩袖，AI敏感度0.917、特异度0.955，高一对余准确率应结合完整类别较小而非完整病例较多来解读；AI与两个专科医师组及高年资住院医师组间未检出统计学显著准确率差异，而AI准确率高于低年资住院医师组；预设层级规则因要求合格撕裂预测后病例方可离开完整通路，可能支持了这一结果，但完整类别定义为三个肩袖后上部肌腱均无撕裂，不应解读为排除其他所有肩部病变。阅片者一致性需单独解读：258例队列的首轮投票一致性是组内一致性的描述性指标，而非经机会校正的观察者间可靠性系数；39例重复阅片子集结果因缺乏可核验的首轮–重复病例层面记录与计算输出而不予解读，先前报告的观察者内部κ估计与重复一致性百分比因此被删除。由于医师与AI系独立评估，本研究未检验AI辅助的效果，但结果为前瞻性辅助阅片研究提供了依据，尤其在经验较少的阅片者中；此类研究应评估获取模型输出能否改善诊断准确性、判读时间、信心、错误模式与临床决策，而非仅凭独立性能假定获益。研究存在若干局限：回顾性单中心设计及仅限于接受关节镜治疗的患者带来选择、验证与谱系方面的考量，观察到的类别分布可能不代表未经选择的肩部MRI人群；详细手术指征、完整上游筛查计数及MRI至关节镜的确切间隔未保留为可分析变量，无法为本次修订可靠重建；所有阅片者与AI仅评估标准化冠状位T₂加权脂肪抑制电影循环，而非完整临床多平面MRI检查；数值采集参数（重复/回波时间、视野、采集矩阵、层厚/层间距）无法从留存分析材料中恢复；关节镜参照类别系自手术报告摘录而非独立裁定的手术视频，术者在常规诊疗中可获取术前MRI，可能引入期望或回顾偏倚；开发队列使用未经关节镜验证的MRI共识标签，其精选层面选择可能限制对无限制MRI序列的推广性；留出开发测试为内部基于掩膜的技术评估，而非外部临床验证队列；留存的技术测试摘要支持预设的合并分割指标但不支持完整的类别特异性技术审计，故未事后重建额外的类别特异性技术测试输出；代表性源层面映射与作者汇总技术审计无法对全部258例中两个不同相邻源层面规则的实施进行独立验证，因本修订无法获取原始可执行推理代码、完整患者层面轨迹与模型检查点；经机会校正的观察者间可靠性无法可靠报告，因先前计算值与经验证的首轮专家组投票汇总不一致，且原始评级矩阵与计算代码不可用于核对；39例子集原始配对首轮–重复评级与计算记录无法调取以供独立验证，故观察者内部可靠性系数与重复一致性估计已从本修订中删除；最后，本研究未评估连续患者层面评分、受试者工作特征（receiver operating characteristic, ROC）校准、决策曲线效用或AI辅助判读。

**研究结论**：在这项单中心、以关节镜为参照的三分类MRI研究中，基于YOLO11m的AI配对准确率高于两个住院医师组，而两个专科医师组的比较均未达到校正后的显著性阈值；部分层厚撕裂仍是主要诊断局限。上述发现特定于标准化冠状位电影循环基准，尚不能确立与专科医师的等效性，亦不能确立AI辅助的临床获益；在模型临床实施前，需以完整多平面MRI进行外部验证并开展前瞻性辅助阅片研究。