结合超分辨率技术与基于深度学习的对象检测器改进组织学图像中细胞核检测

《Medical & Biological Engineering & Computing》：Improving cellular nuclei detection in histological images by combining super-resolution techniques and deep learning-based object detectors

　　

数字病理学实现了组织学图像的大规模分析。然而，由于形态学、染色尤其是图像分辨率的变异性，细胞核的准确检测仍然具有挑战性。现有对象检测方法在应用于低分辨率图像时性能常下降，且当前方案通常独立处理多尺度检测或图像增强。研究人员提出一种混合框架，将超分辨率（Super-Resolution, SR）与结合全图与基于图像块（patch）推断的双分支检测策略相集成。该设计同时利用全局上下文信息与局部高细节分析以提升检测鲁棒性。两分支输出通过置信度加权机制融合，随后进行非极大值抑制（Non-Maximum Suppression, NMS）与基于聚类的精炼。所提方法在NuCLS数据集上评估，较基线检测方案展现一致提升。特别地，该组合工作流在较高置信度阈值下使mAP@0.5–0.95提升高达20%，在与最先进方法竞争的同时保持轻量架构。这些结果凸显了集成超分辨率与多尺度检测策略对改进组织病理学图像中细胞核检测的有效性。

研究背景方面，组织学图像中细胞核的准确识别是正确诊断与预后评估的基础步骤，乳腺癌Nottingham分级、肿瘤浸润淋巴细胞（Tumor-Infiltrating Lymphocytes, TIL）密度估计等均依赖核定位与形态量化。现有基于卷积神经网络（Convolutional Neural Network, CNN）的对象检测器（如YOLOv3、EfficientDet、Faster R-CNN、Mask R-CNN）在多尺度检测上取得进展，但在低分辨率或下采样图像中对小而密集核的敏感性下降；同时超分辨率方法（如SRGAN、Restore-GAN、Real-ESRGAN）虽能恢复核膜与染色质纹理，却较少被统一嵌入检测流水线。病理切片常以20×或40×扫描产生数GB文件，实验室为省存储常下采样或删旧图，导致细粒度细节丢失。因此亟需联合解决分辨率增强与多尺度检测的方案。研究人员在《Medical & Biological Engineering & Computing》发表该研究，提出将SR作为预处理、双分支推断与后处理融合的混合框架，在NuCLS乳腺癌H&E数据集上验证其效用。

关键技术方法上，研究人员采用NuCLS数据集（来自18家机构TCGA乳腺癌H&E全切片，3944个视野、约12.8万核标注，12原始类归并为tumor、nonTIL、sTIL三类）。SR预处理使用预训练Real-ESRGAN将低分辨率RGB图X_LR∈R^H×W×3放大至固定S×S（S=960）得X_HR。检测端并行两分支：全图分支M_full对X_HR整图推断；图像块分支将X_HR切为P×P（P=480）非重叠块，各块独立由M_patch推断后坐标反变换回全局。两分支各自做类内NMS（t_NMS=0.5），融合时全图检测置信度乘权重w_f=1.3、图像块检测乘1，并集成后再类内NMS；后续以IoU>t_CL=0.7聚类，簇内取平均框最近框为代表框，多数投票定类，最大置信度赋值。检测器对比Faster R-CNN ResNet50、EfficientDet-D0、YOLOv8系列，统一训练100 epoch、batch 16、SGD lr 0.001。

研究结果部分，按原文小节叙述如下。方法论（Methodology）中，研究人员形式化SR映射X_HR=F(X_LR)与缩放因子f=S/max(H,W)，定义检测元组s_i=(α_i,β_i,γ_i,δ_i,ε_i,ω_i)；全图工作流获S_full后经NMS得非冗集；图像块工作流获各块S_m,n坐标偏移合成S_patch再NMS；融合?=S_full∪S_patch按式(12)加权，最终NMS；后处理聚类按式(13)–(18)求平均框、欧氏距最小框、多数类、最大ω。参数经验证子集经验选定t_NMS=0.5、t_CL=0.7、w_f=1.3。材料与方法（Material and methods）确认NuCLS单评分者子集1744图、59485标注用于训练，三检测器同超参训练。结果（Results）显示：在置信阈值0.3–0.6间，combined工作流优于complete与patches，高阈值（0.6）下EfficientDet的mAP@0.5从0.281升至0.476、mAP@0.5:0.95从0.150升至0.247，平均约20%提升；YOLOv8-S combined在mAP@0.5:0.95达0.340，略高于Amgad等Mask R-CNN的0.330且标准差更低（0.14对0.90）；参数效率上YOLOv8-S仅9.8M参数，远小于Mask R-CNN的64M，YOLOv8-N（2.7M）亦达0.328 mAP；图7–8揭示主要误差源为分类而非定位，nonTIL与sTIL因形态近易混淆，tumor类mAP 0.390、sTIL 0.310、nonTIL仅0.254；双推断增加开销但YOLOv8可并行化抵消。计算成本分析指出双分支推理时间可控。

讨论与结论翻译浓缩：实验清楚表明，融合全图与滑动窗口图像块流水线的检测显著提升准确率且不增模型复杂度；YOLOv8-S集成至combined工作流以少于千万参数达最先进性能，适于点护病理站等算力受限场景；加权融合有效回收孤立流程漏检真阳性，尤在高置信阈值下。整体方法定位可靠，主要局限在形态相似核型分类，致mAP受抑但召回高。虽分类鉴别仍待改进，当前方案已向高效可部署数字病理模型迈进；自适应融合或增强分类模块可作未来方向。该研究证实SR与多尺度检测集成的实用价值。