SP-Det：面向泛化多标签病灶检测的自提示(Self-Prompted)双文本融合方法

《Knowledge-Based Systems》：SP-Det: Self-Prompted Dual-Text Fusion for Generalized Multi-Label Lesion Detection

　　

摘要：自动化胸部X线(Chest X-ray, CXR)病灶检测在通过精确定位病理性异常来提升临床诊断方面展现出重要潜力。尽管近期的可提示(promptable)检测框架在目标定位上取得显著精度，但现有方法通常依赖人工标注作为提示(prompt)，这耗费大量人力且在临床应用中不切实际。为解决此局限，研究人员提出SP-Det——一种新颖的自提示(self-prompted)检测框架，可自动生成丰富的文本上下文来引导多标签病灶检测，无需专家标注。具体而言，研究人员引入免专家的双文本提示生成器(Dual-Text Prompt Generator, DTPG)，利用两种互补的文本模态：捕获全局病理模式的语义上下文提示(Semantic Context Prompt, SCP)与聚焦于疾病特异性表现的病灶信标提示(Disease Beacon Prompt, DBP)。此外，研究人员设计双向特征增强器(Bidirectional Feature Enhancer, BFE)，协同整合综合诊断上下文与疾病特异性嵌入，显著提升特征表示与检测精度。在两个含多样胸疾病的CXR数据集上的大量实验表明，相较现有可提示架构完全消除对专家标注提示依赖的同时，SP-Det框架优于当前最优(state-of-the-art)检测方法。

论文解读：

《Knowledge-Based Systems》刊载的SP-Det研究针对胸部X线(Chest X-ray, CXR)自动化多标签病灶检测中传统端到端深度学习方法仅依赖视觉输入、忽略临床文本中互补语义信息，以及现有开放词汇目标检测(Open-Vocabulary Object Detection, OVOD)和多模态检测模型需人工提供类别词汇或标注文本提示、难以在临床场景落地的问题，提出一种无需专家标注的自提示(Self-Prompted)检测框架SP-Det（Self-Prompted Dual-Text Fusion for Generalized Multi-Label Lesion Detection），通过预训练医学视觉语言模型(Vision-Language Model, VLM)自动从CXR图像生成双重互补文本提示来引导检测。研究人员在VinDr-CXR（含14类胸部异常，4394例标注后按8:1:1划分训练验证测试）与ChestX-ray8（NIH公开数据集含8类病变，880例用作跨域零样本测试）两个数据集上开展研究，结果表明SP-Det在mAP_40:95达21.0%，较YOLO-World等最强基线显著提升（p＜0.05），并在跨域零样本检测中平均AP达33.5%，验证了自提示范式可有效消除对专家标注的依赖并提升泛化能力，为临床可扩展的自动化多标签病灶检测提供了新范式。

主要关键技术方法：基于YOLOv8s骨干网络结合RepVL-PAN颈部构建检测框架；采用冻结的CheXagent（医学VLM）通过VQA管线以"Describe the chest X-ray image"指令离线生成放射学报告，经后处理得语义上下文提示(Semantic Context Prompt, SCP)；用NLP名词短语提取器从报告中抽取疾病实体，经临床词向量语义相似度匹配及否定检测筛选得病灶信标提示(Disease Beacon Prompt, DBP)，非匹配名词保留为负提示；SCP由单模态文本编码器编码，DBP由VLM文本编码器对齐至图文共享空间；设计双向特征增强器(Bidirectional Feature Enhancer, BFE)对最高层视觉特征先做多头自注意力，再依次做Image-to-Text与Text-to-Image双向交叉注意力融合SCP与DBP特征，经可学习缩放参数γ残差连接并与低层特征通道拼接；优化目标为区域-文本对比损失(L_contrast)与CIoU+分布焦损失(Distribution Focal Loss, DFL)的检测损失(L_bbox)联合训练，提示离线缓存无推理额外开销。

研究结果：

4.1 数据集(Datasets)：VinDr-CXR为主基准含14种胸异常由≥3名认证放射科医师标注；ChestX-ray8含8种病变用于跨数据集零样本泛化评估，证实SP-Det在标注稀缺场景下的域适应能力。

4.2 评估指标(Evaluation Metrics)：采用Precision、Recall、各IoU阈值下AP（AP₄₀–AP₉₀）及COCO标准mAP_40:95（IoU 0.40–0.95步长0.05），各类别单独报告AP₄₀。

4.3 实验设置(Experimental Setup)：两卡NVIDIA A5000，AdamW初学习率1.5×10^?4，batch size 32，YOLOv8s初始化自YOLO-World预训练权重，冻结CLIP ViT-B/32与BERT-base文本编码器及CheXagent，最大100 epoch早停，提示离线生成缓存。SP-Det共52.66M可训练参数。

4.4 与现有最优方法对比(Comparison with State-of-the-Art Methods)：在VinDr-CXR测试集上SP-Det获Recall 43.8%、AP₄₀42.4%、AP₅₀38.2%、mAP_40:9521.0%，均优于YOLOv8/v9/v10/v11、ViTDet、RT-DETR、CO-DETR、DEIM、OXnet、DualAttNet、MLLA、CheXFusion、CheXFound、BiomedCLIP、MCPL、MedROV及YOLO-World（p值均＜0.05）。细粒度14类AP₄₀中SP-Det在Calcification(54.3%)、Consolidation(33.8%)、ILD(33.3%)、Lung Opacity(25.0%)、Other lesion(15.6%)、Pleural thickening(28.5%)、Pneumothorax(86.5%)共7类居首，证实双文本提示提升多标签定位能力。

4.5 泛化性分析(Generalization Analysis)：VinDr-CXR训练后直接在ChestX-ray8零样本测试，SP-Det平均AP₄₀33.5%，在Atelectasis(12.8%)、Cardiomegaly(63.9%)、Effusion(35.2%)、Nodule(26.1%)、Pneumonia(29.8%)、Pneumothorax(58.3%)六类最优，其中Pneumothorax较次优提升逾11%；Mass与Infiltration因跨数据集分类粒度不匹配（VinDr-CXR合并Nodule/Mass、ChestX-ray8拆分；Infiltration语义范围差异）致次优，指明未来需术语对齐或同义提示增强。

4.6 消融实验(Ablation Study)：提示策略消融显示仅SCP(mAP 20.2%)、仅DBP(mAP 19.9%)均优于无提示基线(19.4%)，双文本联合(SCP+DBP)最优(mAP 21.0%)，统一拼接提示(mAP 20.4%)不及双文本分别处理，验证BFE双向交叉注意力能协同保留全局语境与类别指引。文本编码器对比BERT-base表现最优(mAP 21.0%)，优于Bio_ClinicalBERT(19.9%)、BioBERT(18.7%)、Bert-layer(19.3%)。BFE层数对比：1层(mAP 19.3%)、2层(Ours, mAP 21.0%, 21.5 ms/image, 46.4 FPS)、3层(mAP 19.0%)，确认2层为精度与计算开销最佳平衡。幻觉抑制递进消融：仅NMS致1024例幻觉假阳性，叠加多级过滤(MSF)降至867、加可学习门控γ降至753、再加BFE双向交叉注意力降至526（抑制率84.5%），表明BFE可通过视觉验证抑制VLM生成的无对应病灶文本。

4.7 讨论(Discussion)：局限包括VLM自身医学知识边界限制报告质量、极小病灶（如胸膜增厚）因高层特征下采样易漏检、多病灶重叠及金属伪影致假阳性；VLM报告仅为中间提示，最终检测由BFE与检测头在监督目标下优化，交叉注意力可抑制无视觉对应的幻觉文本，多级过滤与否定检测进一步防护。未来方向含多尺度特征增强提升小病灶敏感性、伪影感知预处理及细粒度类别解耦训练。SP-Det定位为放射科医师辅助决策工具，需前瞻性临床验证与监管审批方可部署。

研究结论：研究人员提出SP-Det自提示多标签CXR病灶检测框架，核心创新为免专家双文本提示生成器(DTPG)自动产生语义上下文提示(SCP)与病灶信标提示(DBP)，以及双向特征增强器(BFE)通过对称双向交叉注意力协同融合双文本与视觉特征。大量实验表明SP-Det在VinDr-CXR与跨域ChestX-ray8上超越现有state-of-the-art方法，完全消除对专家标注提示的依赖，为可扩展的临床自动化病灶检测建立了新自提示范式。