融合临床信息、多模态超声影像组学与深度学习的乳腺良恶性肿块鉴别诊断研究

《Journal of Radiation Research and Applied Sciences》：Fusion of multimodal ultrasound radiomics and deep learning for differentiating benign and malignant breast masses

　　

背景：乳腺良恶性肿块的鉴别仍具挑战性，因为灰阶形态、血管性和组织硬度提供互补信息，而单一超声模态不能完全捕捉这些信息。本研究评价了一种整合多模态超声影像组学与深度学习的诊断框架。方法：一个经病理分类的乳腺肿块单中心回顾性患者水平数据集包含B型超声（B-mode ultrasonography）、彩色多普勒血流成像（CDFI）和剪切波弹性成像（SWE）及剪切波速度（SWV）测量。分析临床、常规超声和定量SWV特征。在患者水平训练集中构建临床、B型超声影像组学、多模态影像组学、深度学习和联合模型，并在内部测试集中评价。内部留出测试集包括135例患者，其中恶性54例、良性81例（恶性占40.0%）。在训练集内生成五折折外（OOF）预测用于内部验证。结果：与良性病变相比，恶性病变见于年龄更大的患者、体积更大，并表现出更可疑的形态、血管性和更高的SWV。五折OOF的受试者工作特征曲线下面积（AUC）分别为0.721、0.842、0.892、0.920和0.928。在内部测试集中，相应AUC分别为0.768、0.833、0.901、0.930和0.941。联合模型具有最高观察AUC（0.941，95% CI 0.900–0.976）和最高特异度（0.889）；其敏感度、准确度、阳性预测值（PPV）和阴性预测值（NPV）分别为0.870、0.881、0.839和0.911。联合模型与多模态影像组学（Holm校正P=0.456）或深度学习（P=0.698）的差异无统计学意义。结论：研究评价了临床信息、多模态超声影像组学与深度学习特征的评分级融合用于鉴别乳腺良恶性肿块。联合方法显示出最高数值AUC，但在多重性校正后相对于多模态影像组学或深度学习的差异无统计学意义。

研究背景与目的：乳腺癌仍是女性癌症发病和死亡的重要原因，及时定性可疑乳腺肿块对活检和治疗决策具有关键意义。超声广泛用于可触及异常和影像检出病灶，尤其致密乳腺；常规B型超声依BI-RADS（乳腺影像报告和数据系统）词典标准化病灶形态、方位、边缘、回声、后方特征、钙化和相关征象，但良恶性表现重叠、操作者依赖和生物学异质性可导致不确定评估和不必要活检。多模态超声可补充灰阶形态：CDFI显示内部和周边血管性，SWE通过SWV定量组织硬度；肿瘤结构影响灰阶纹理，血管生成改变血管模式，促结缔组织增生性间质重塑增加机械硬度。影像组学将医学图像转化为强度、形状和纹理的定量描述，深度学习直接从图像提取层级表征；标准化影像组学流程和开源工具提高了特征提取可重复性。已有研究报道B型超声联合SWE或其他超声模态较单模态分析改善乳腺肿块分类，但同时整合临床变量、B型超声影像组学、CDFI、SWV和深度特征的增量价值仍未完全确立。因此，研究人员比较五个患者水平诊断模型：临床模型、B型超声影像组学模型、基于B型超声/CDFI/SWV的多模态影像组学模型、多模态深度学习模型及整合临床、影像组学和深度特征的联合模型；假设互补多模态信息与良恶性乳腺肿块鉴别相关，联合模型提供最高观察诊断性能。研究为单中心回顾性诊断研究，2017年2月11日至2024年12月9日筛选535例，排除85例，纳入450例（270例良性、180例恶性），按结局分层70:30内部留出分配，315例训练、135例内部测试（81例良性、54例恶性，恶性占40.0%），同一患者图像和临床信息保留在单一分区。研究得出联合模型具有最高内部测试AUC和最高特异度，但相对多模态影像组学或深度学习未达统计学显著；校准和决策曲线分析支持进一步评估联合方法。其意义在于提供候选决策支持框架，但未确立减少不必要活检。

关键技术方法：单中心回顾性患者水平队列（2017—2024年，535例筛查、450例纳入；315例训练、135例内部测试）。获取B型超声、CDFI、SWE及SWV。以ITK-SNAP 4.0.2手动勾画感兴趣区（ROI），PyRadiomics 3.1.0按影像生物标志物标准化倡议（IBSI）定义提取特征，固定bin width 25；以组内相关系数（ICC）≥0.80评估重复分割稳定性，去除近零方差和|Spearman|>0.90特征，训练集内z-score标准化并以五折交叉验证最小绝对收缩和选择算子（LASSO）选择，非惩罚多变量logistic回归构建Rad-score。深度学习用PyTorch 2.3.1，三模态分别经ImageNet预训练ResNet-18编码器，融合后经256/64单元全连接层、dropout 0.50和sigmoid输出，Adam优化并早停；五折OOF生成训练集预测和Youden阈值。联合模型为logistic meta-model，输入临床、多模态影像组学和深度学习OOF评分，训练集拟合后固定用于内部测试。

研究结果：
3.1 研究人群与病理分布（Study population and pathological distribution）：通过病理分类队列分析，450例每例一个目标病灶，270例良性、180例恶性；训练集315例、内部测试集135例（81例良性、54例恶性）。恶性患者年龄更大、平均最大病灶直径更大，绝经后状态、可触及肿块、一级家族史、可疑或异常腋窝淋巴结表现更常见。良性诊断以纤维腺瘤、腺病、导管内乳头状瘤、良性叶状肿瘤、炎性或硬化性病变为主；恶性以浸润性导管癌最多，其次为导管原位癌。检查日期覆盖2017—2024年。
3.2 多模态超声特征（Multimodal ultrasound characteristics）：通过病理组间比较，恶性病变更常见不规则形、非平行位、非局限边缘、内部回声不均、后方衰减或混合后方特征、微钙化、周围组织改变和更高BI-RADS类别；CDFI显示更高血管性、内部或混合血管分布及穿支血管；在可测频谱多普勒波形的182例良性和167例恶性病变中，阻力指数（RI）和收缩期峰值流速（PSV）更高；SWV指标V_{s_mean}、V_{s_max}、V_{s_min}和V_{s_SD}在恶性组更高。
3.3 代表性多模态影像表现（Representative multimodal imaging findings）：通过代表性病例展示，良性腺病呈相对规则低回声、以平行位为主、CDFI血流局限、SWV高速度区相对较小；浸润性导管癌呈不规则低回声、可疑边缘、内部回声不均、CDFI内部和周边血流丰富、SWV广泛高速度区和异质测量。
3.4 五个模型诊断性能（Diagnostic performance of the five models）：通过训练集五折OOF和内部测试ROC分析，临床、B型影像组学、多模态影像组学、深度学习和联合模型的表观训练集AUC分别为0.751、0.879、0.933、0.948、0.969，五折OOF AUC分别为0.721、0.842、0.892、0.920、0.928，内部测试AUC分别为0.768、0.833、0.901、0.930、0.941。联合模型测试AUC最高（0.941，95% CI 0.900–0.976）、特异度最高（0.889），阈值下敏感度0.870、准确度0.881、PPV 0.839、NPV 0.911；联合与多模态影像组学AUC差0.040（95% CI ?0.024至0.108），与深度学习AUC差0.011（95% CI ?0.045至0.068），区间均跨零。Holm校正DeLong比较显示联合优于临床模型（P<0.001）和B型影像组学模型（P=0.010），但不优于多模态影像组学模型（P=0.456）或深度学习模型（P=0.698）。
3.5 影像组学可重复性与特征选择（Radiomics reproducibility and feature selection）：通过重复分割和特征过滤，观察者内中位ICC为0.884（IQR 0.812–0.933），观察者间中位ICC为0.866（IQR 0.795–0.929）；B型稳定特征42/60、CDFI 37/60、SWE图像47/60；B型模型特征数由60降至42、41和7，三图像模态分析由180降至126、120和12。最终B型特征为MajorAxisLength、Elongation、Sphericity、MinorAxisLength、first-order Variance、GLCM Autocorrelation、MaximumDiameter，标准化系数分别为0.377、0.242、0.133、0.085、0.083、0.047、0.023；多模态规格结合B型/CDFI影像组学预测因子与四个SWV测量。B型18/60和CDFI 23/60未达ICC阈值而未进入特征选择。
3.6 深度学习训练与联合模型融合（Deep-learning training and combined-model fusion）：通过五折训练，最佳epoch为59、66、58、48、49，峰值验证AUC为0.912、0.914、0.919、0.947、0.917；训练损失逐步下降，验证损失在所选epoch附近达最低后上升，验证AUC随后平台或下降，早停于epoch 74、81、73、63、64。联合meta-model按logit(P)=β₀+β₁×Clinical score+β₂×Multimodal radiomics score+β₃×Deep-learning score构建，系数由训练集OOF评分估计并固定用于内部测试。
3.7 校准、决策分析、BI-RADS 4亚组和错误分析（Calibration, decision analysis, BI-RADS 4 subgroup, and error analysis）：通过内部测试校准、决策曲线和亚组分析，恶性病变B型及多模态logit转换预测概率分布高于良性；联合模型Brier评分最低（0.117），临床0.197、B型0.172、多模态0.140、深度学习0.128，校准曲线总体一致性最好。决策曲线分析显示联合模型在0.26–0.62主要连续阈值区间同时优于多模态影像组学、深度学习、treat-all和treat-none，另有0.12和0.64小孤立区间。探索性BI-RADS 4A–4C亚组95例（53例良性、42例恶性）联合AUC为0.951（95% CI 0.903–0.985），固定阈值下敏感度0.857、特异度0.906、准确度0.884、PPV 0.878、NPV 0.889。全内部测试集混淆矩阵为真阳性47、真阴性72、假阳性9、假阴性7；7例假阴性含5例浸润性导管癌和2例恶性叶状肿瘤，BI-RADS分布为5类1例、4A类1例、4B类3例、4C类2例；BI-RADS 5假阴性联合概率0.581184低于固定阈值0.590695（差?0.009511），而临床、B型影像组学、多模态影像组学和深度学习均判为恶性；假阴性中5例平行位、2例非平行位，Adler分级0–III，V_{s_mean}为5.317–7.851 m/s。探索性日历期检查显示2017—2020年联合AUC为0.964（78例，27例恶性），2021—2024年为0.906（57例，27例恶性）。

讨论部分总结：讨论指出三个主要发现：恶性组呈现预期形态、血管和机械差异；多模态影像组学和深度学习较临床及B型影像组学显示更强区分；联合模型取得最高内部测试AUC和特异度，但Holm校正后未显著优于多模态影像组学或深度学习，配对bootstrap AUC差区间跨零。多模态分析的改善具有生物学合理性：B型超声捕捉病灶几何和声学纹理，CDFI可能显示肿瘤相关重塑的血管模式，SWE衍生的SWV量化可能受纤维化和促结缔组织增生影响的机械硬度；本队列SWV指标的明显分离支持将硬度相关变量纳入多模态诊断流程。影像组学和深度学习表征图像表型的不同方面，手工影像组学特征可提供与强度分布、边缘复杂性和纹理相关的可解释联系，深度网络学习高阶表征；重复分割显示总体良好可重复性，ICC、方差、相关和LASSO过滤将B型特征降至7个，多模态预测集结合所选B型/CDFI影像组学特征与四个定量SWV测量；深度学习训练曲线支持早停。联合模型为候选决策支持方法，决策曲线在约0.26–0.62主要连续阈值概率区间显示有利净获益，探索性BI-RADS 4亚组保持强区分；操作阈值应与预期临床角色匹配，分诊偏向敏感度，减少活检策略需要高特异度且不增加不可接受的漏诊。局限性包括单中心回顾性设计、结局分层内部留出划分和有限内部测试集限制泛化性结论，未进行先验样本量计算；全部检查来自单一机构、单一超声平台和同一探头，未直接检验扫描仪、操作者和站点相关分布偏移；代表性单帧图像可能不能捕捉三维或时间异质性，重复帧选择可靠性未评估；手动ROI勾画费时且引入观察者间变异；BI-RADS 4分析为探索性事后分析而非预设亚组验证；决策曲线分析估计潜在净获益但不替代读者研究或前瞻性临床影响评价，因此未确立减少不必要活检。保留Patient_ID链接的训练/测试分配和Fold_ID记录可复现数据分区，完整归档预处理参数、训练日志和模型权重对全流程可复现性仍重要。队列中BI-RADS 3仅见于良性、BI-RADS 5仅见于恶性，可能较严格不确定病变人群膨胀区分度；2017—2024年留出分配在训练和测试间共享日历期，事后两期比较未评估真正后期外部队列；40.0%恶性患病率限制PPV和NPV可移植性；临床候选变量包括BI-RADS类别及其组成超声描述符，可能造成冗余且相对训练集126个恶性事件有效预测变量数较高，需原始设计矩阵和估计系数报告有效自由度、评估共线性并验证排除BI-RADS后的系数稳定性；单帧CDFI影像组学流程对操作者选择、预设、增益、壁滤波、脉冲重复频率和色图设置敏感，研究期间采集预设、软件配置和SWE校准流程保持一致。外部验证应前瞻性连续纳入不同医院、操作者、扫描仪制造商、探头和软件/预设配置的肿块，使用锁定模型、校准评估及预设BI-RADS 4和人口亚组分析；动态或全病灶方法可能减少单帧方法的空间采样限制。

研究结论翻译：整合临床变量、B型超声影像组学、CDFI、SWE衍生的SWV和深度学习在良恶性乳腺肿块间取得强区分。定量和学习特征在该选定队列中取得高观察区分，联合模型在内部测试集中取得最高观察AUC和最高特异度。校准和决策曲线分析支持进一步评估联合方法。融合未显示相对于多模态影像组学或深度学习的统计学显著区分改善。