《Frontiers in Oncology》：Advancements in real-time oncology diagnosis: harnessing AI and image fusion techniques
基于人工智能（AI）和图像的实时计算机辅助诊断可以帮助肿瘤学家在早期阶段高精度地诊断癌症。本文探讨了各种实时技术，包括技术解决方案、基于AI的成像和图像融合诊断。诸如计算机辅助手术导航系统和增强现实平台与实时成像和机器人辅助相结合，提高了微创手术的精度。将超声（US）等模态整合到图像融合工作流程中，改善了手术引导，减少了辐射暴露，并提供了高跨模态解释能力。光学成像技术——如漫反射光谱（DRS）、拉曼光谱（Raman spectroscopy）、荧光内窥镜（fluorescence endoscopy）和高光谱成像（hyperspectral imaging）——正成为肿瘤检测、切缘评估和术中决策的强大诊断工具。有前景的方法如荧光共聚焦显微镜（FCM）和剪切波弹性成像（SWE）提供了实用的实时诊断能力。然而，这些技术面临技术挑战，包括组织运动、配准变异性和数据不平衡。基于AI的标记点检测和鲁棒算法的开发将是克服这些障碍的关键。研究人员最后提供了一个更具前瞻性的概述，以解决基于实时图像的癌症诊断中的现有问题。所综述的技术共同表明，持续的研究、多中心验证以及提供硬件加速器对其充分发挥临床潜力和应用至关重要。
**1 Introduction**
本文综述了基于人工智能（AI）的实时医学图像癌症诊断在肿瘤学中的广泛应用。实时成像结合治疗前临床变量与计算机辅助术中信息，可显著改善患者诊断、治疗和随访过程。图像融合技术通过直接比较目标病灶与其他图像，有助于多学科团队在手术或放疗计划中实现更清晰的视觉化。例如，经直肠超声（TRUS）与磁共振成像（MRI）的融合系统弥补了单独使用二维灰度TRUS的局限性；内镜超声（EUS）与计算机断层扫描（CT）的融合则便于导航和靶向肿瘤及邻近解剖结构。光学成像和光谱技术（如漫反射光谱（DRS）、自体荧光光谱（AFS）等）适用于表面上皮组织的早期癌症检测，但穿透深度有限。硬件加速平台（如GPU或FPGA）可用于实现全脑癌检测算法，但AI分类模型缺乏外部验证是其临床应用的主要障碍。
**2 Real-time ultrasound image fusion for oncology**
**2.1 Real-time MRI-US image fusion for prostate biopsy**
为提高前列腺活检精度，将实时TRUS与术前MRI融合可增强靶向活检的准确性。MRI-超声（US）融合系统（如ARTEMIS半机器人融合活检系统）利用运动补偿将虚拟图像与实时US对齐，通过GPS样针追踪系统精确定位活检样本。增强现实（AR）导航将三维（3D）模型叠加到实时内窥镜视图上，揭示手术视野之外的解剖结构，无需外部追踪设备即可实现术前CT与手术场的3D到3D配准。
**2.2 Real-time endoscopic/transabdominal fusion techniques**
对于肝脏局灶性病变，实时US融合结合电磁（EM）场发生器、外部标记和融合软件，通过EUS/CT图像融合导航活检和消融。预处理CT扫描生成3D模型，EM传感器通过内窥镜工作通道引导，实现实时EUS图像与CT虚拟切片的双重可视化，显著提高病变识别和术者信心。
**2.3 Real-time liver ultrasound fusion approaches**
肝脏US融合需患者保持放松姿势以减少运动，通过检索存储的CT/MRI图像与实时US图像进行空间配准。计算机基于3D信息匹配坐标，使小肝细胞癌（<3cm）的检出率从78.8%提升至90.5%。
**3 Real-time spectroscopy and optical imaging techniques**
**3.1 Real-time Raman spectroscopy in GI and lung cancer**
拉曼光谱（Raman spectroscopy）通过捕捉组织恶性早期生化成分变化，实现高特异性体内诊断，减少假阳性活检。研究采用朴素贝叶斯分类器（NBC）、线性判别分析（LDA）、支持向量机（SVM）和人工神经网络（ANN）等算法分析光谱，其中LDA最常用，但SVM在高维数据中表现更优。
**3.2 Real-time cancer diagnosis with mass spectrometry pens**
MasSpec Pen手持质谱设备通过自动分配水滴滴到组织表面提取生物分子，用于离体分子分析。结合最小绝对收缩和选择算子（LASSO）统计分类器，可高灵敏度、高特异性区分正常与癌组织，甚至识别混合组织学成分的肿瘤边缘区域。
**3.3 Real-time cancer diagnosis with diffuse reflectance spectroscopy**
漫反射光谱（DRS）探针结合追踪系统，利用机器学习（如极端梯度提升（XGB）分类器）实时区分胃癌和食管癌的正常与癌变组织，诊断准确率分别达93.9%和96.2%。
**3.4 Real-time in vivo early lung cancer detection with endoscopic Raman spectroscopy**
内镜拉曼光谱系统通过光纤探针经支气管镜工作通道采集组织光谱，每秒捕获一个光谱。主成分分析结合广义判别分析（PC-GDA）和偏最小二乘法（PLS）用于分类，拉曼光谱联合白光支气管镜（WLB）和自体荧光支气管镜（AFB）使高级别不典型增生（HGD）和恶性病变的定位敏感性提高1.89倍，特异性提高3.82倍。
**3.5 Real-time optical coherence tomography**
基于深度学习的模式识别光学相干断层扫描（PR-OCT）系统采用卷积神经网络（CNN）提取结肠OCT图像中的结构模式（如“牙齿”模式），在正常组织中识别阳性模式，而癌症和腺瘤性息肉中无此模式。该技术对结直肠癌的诊断敏感性达100%，特异性达99.7%，ROC曲线下面积为0.998。
**3.6 Real-time polyp detection and classification with optical tools**
计算机辅助诊断（CADx）系统通过实时超放大内镜对小息肉（≤5mm）进行光学诊断，与标准视觉检查相比，提高了诊断信心（从74.2%升至92.6%），但延长了结肠镜检查时间（每个息肉约40秒）。
**4 Real-time elastography and mechanical imaging**
**4.1 Real-time shear-wave elastography**
实时剪切波弹性成像（SWE）以患者和感兴趣区（ROI）为基础评估前列腺恶性病变。基于六分区的ROI方法优于患者基础方法，可减少阴性SWE检查所需的活检次数。实时弹性成像（RTE）靶向活检与系统活检联合使用时，前列腺癌检出率提高（风险比1.18）。SWE通过测量组织硬度值（以颜色编码）辅助诊断，但存在高假阳性率和操作者间变异。
**4.2 Real-time video-based invasion depth assessment**
基于深度学习的双模态系统（Endo-CRC）结合白光（WL）和图像增强内镜（IEE）图像，使用ResNet-50预训练CNN提取特征，通过视频连续图像对（100帧/秒）判断结直肠癌是否适合内镜切除。该系统处理速度达45帧/秒，满足实时要求，在内部测试中准确率超过91%，在外部测试中达88.65%，视频评估准确率100%。
**5 Real-time neuromorphic AI systems for cervical cancer diagnosis**
采用仿生ASIC CM1K Neuromem芯片的神经形态硬件，通过单细胞和多细胞图像实现宫颈癌的超快、低功耗分类。预处理包括顶帽滤波、底帽滤波、减影、二值化、去噪和分割提取细胞核面积特征。在K近邻（KNN）模式下，训练时间比传统KNN/SVM快约596倍（单细胞）和477倍（多细胞），识别时间快约54倍和41倍，单细胞准确率最高90%，多细胞86.67%。
**6 Real-time fluorescence imaging and optical navigation**
**6.1 Goggle augmented imaging and navigation system**
护目镜增强成像与导航系统（GAINS）通过头戴式显示器（HMD）实时显示复合彩色荧光图像，在皮下和转移性小鼠模型中检测肿瘤的敏感性100%、特异性98%±5%。在人类初步研究中，近红外（NIR）染料使GAINS以100%敏感性识别前哨淋巴结（SLN）。
**6.2 Real-time cancer diagnosis using pH-based fluorescence lifetime endoscopy**
荧光寿命内镜（FLE）系统通过测量pH相关的荧光寿命区分正常与肿瘤组织，无需活检。在乳腺癌和皮肤癌小鼠模型中，正常组织平均荧光寿命5.96纳秒（ns），肿瘤组织4.60纳秒（ns），差异显著（p<0.0001），灵敏度约0.06纳秒/每pH单位。荧光寿命成像（FLIm）结合随机森林分类器，在离体乳房标本中实现肿瘤分类敏感性89%、特异性93%。
**6.3 Real-time digital biopsy tools**
荧光共聚焦显微镜（FCM）可即时获取数字图像，无需传统组织处理。在前列腺活检中，FCM与H&E染色的诊断一致性达95.1%（Cohen's kappa系数κ=0.84），但分级一致性中等（κ=0.47-0.49）。
**7 Real-time hyperspectral-imaging-based cancer diagnosis**
**7.1 Real-time VNIR–NIR HSI fusion**
术中高光谱采集系统使用可见光和近红外（VNIR，400-1000nm）和近红外（NIR，900-1700nm）两个推扫式相机，通过基于强度（如互信息、Pearson相关系数）和基于特征（如SURF）的配准方法融合图像。基于SURF和投影变换的配准效果最佳，融合后分类准确率比单独使用任一模态提高21%。
**7.2 Real-time in vivo skin cancer detection with millimeter-wave imaging**
高分辨率毫米波成像（HR-MMWI）系统在98GHz带宽（12-110GHz）内工作，通过主成分分析（PCA）提取6个主成分，结合多层感知器（MLP）分类器，对71例皮肤病变（包括黑色素瘤、基底细胞癌等）的鉴别达到敏感性97%、特异性98%。
**7.3 Real-time detection of brain cancer during surgical operations using spatio-spectral classification of hyperspectral images**
空间-光谱分类方法结合主成分分析（PCA）和支持向量机（SVM）进行监督分类，并使用KNN滤波器优化空间一致性。在术中，硬件加速器使分类速度平均提升26.83倍，约1分钟生成分类图。
**7.4 Real-time enhanced brain tumor delineation using an intraoperative visualization system with hyperspectral imaging**
原型系统利用硬件加速器执行PCA、SVM和分层K均值（HKM）聚类，通过多数投票算法生成三最大密度（TMD）图，以红色标记肿瘤区域，约1分钟输出结果。
**7.5 Real-time deep-learning-based framework for in vivo identification of glioblastoma tumor using hyperspectral images of human brain**
基于深度神经网络（DNN）的框架处理人体脑组织高光谱图像，生成密度图显示正常、肿瘤和高血管化组织。与传统SVM方法相比，DNN的总体多分类准确率达80%，处理速度约10秒/立方体（CNN需1分钟），但存在类别不平衡和成本限制。
**7.6 Hyperspectral imaging for esophageal cancer**
光谱辅助视觉增强（SAVE）框架结合高光谱成像（HSI）与YOLO架构（如YOLOv8），将白色内镜图像转换为光谱增强图像，使异型增生的检测准确率从80.9%提升至82.1%，鳞状细胞癌（SCC）的F1分数从83.7%升至87.0%，mAP50显著提高。
**8 Radiomics and deep learning in multimodal imaging**
**8.1 PET/MRI fusion for breast cancer**
使用卷积神经网络（CNN）融合PET和MRI图像，预测乳腺癌患者对新辅助化疗（NAC）的反应。AlexNet模型在56例患者中达到AUC 0.886-0.980，优于传统参数ΔSUV（AUC 0.805）。
**8.2 AI-powered radiomics in CT and MRI**
CT纹理分析通过放射组学特征（如灰度强度、空间分布）评估肿瘤异质性。在胰腺导管腺癌（PDAC）中，基于随机森林的放射组学模型区分早期和晚期PDAC的准确率97.7%，敏感性97.6%，特异性97.8%。MRI放射组学结合深度学习特征，对子宫内膜样腺癌进行术前风险分层，训练集AUC 0.923，验证集0.842。
**8.3 AI-based image-omics integration**
LungDIG混合深度网络整合组织病理图像与基因组数据（拷贝数变异），通过注意力机制融合特征，实现肺癌亚型分类。MBFusion方法采用图卷积网络（GCN）和ResNet提取分子组学和病理图像特征，通过交叉注意力Transformer融合，在癌症亚型分类和生存分析中性能提升10.1%。
**8.4 Cancer study through molecular-level insights with single-cell transcriptomic analysis**
基于单细胞RNA测序（scRNA-seq）的无参考框架通过k-mer分解和Limma Voom差异分析，检测未注释转录本、剪接变异体和重复序列RNA，预测肿瘤特异性新抗原，为成像诊断提供分子水平补充。
**9 Discussion**
**9.1 Real-time ultrasound image fusion**
增强现实在软组织手术中面临运动变形挑战，AI模型可学习变形模式；基于AI的标记点检测可提高配准精度；对比增强超声（CEUS）实时增强血管对比，改善肝脏病变诊断。
**9.2 Different real-time spectroscopy and optical-imaging-based cancer diagnosis**
多中心光学评估存在观察者间变异；T1结直肠癌样本量有限，风险评分图精度受限；PR-OCT为离体研究，缺乏体内验证；CADx无法识别无蒂锯齿状息肉；拉曼光谱仍需去除噪声和伪影，改进光纤探针和算法。
**9.3 Real-time elastography-based cancer diagnosis**
RTE靶向活检与系统活检联合提高检出率；SWE可能低估癌症大小和Gleason评分，需改进算法和整合多参数数据。
**9.4 Real-time different fluorescence-image-based cancer diagnosis**
FLE需解决体内pH测量和荧光素静脉给药问题；GAINS需改进微小病灶检测。
**9.5 Real-time hyperspectral imaging and cancer diagnosis**
HR-MMWI可通过微波集成电路技术集成多天线；硬件加速器（GPU/FPGA）可优化全脑癌检测算法。
**9.6 Real-time PET/MRI image deep learning breast cancer**
需扩大训练集，改进模型以支持临床决策。
**9.7 AI-driven radiomics and image-genomics fusion**
放射组学和图像-基因组学融合虽非实时，但可提供术前肿瘤表征和风险分层，增强手术规划。
**9.8 General limitations and barriers to adoption of different technology and imaging**
算法挑战包括过拟合、数据不平衡和领域泛化性不足；工作流整合障碍包括延长程序时间、平台互操作性差和缺乏标准化数据集。需通过数据增强、对抗领域适应、自监督预训练和联邦学习等方法解决。
**10 Conclusion**
本综述总结了实时成像、AI和图像融合在癌症诊断和术中引导中的进展。计算机辅助导航系统、光学诊断工具（如DRS、拉曼光谱、荧光成像）和弹性成像（SWE）等显示出潜力，但面临组织运动、配准误差和数据不平衡等挑战。未来需发展鲁棒算法、多中心验证、优化工作流并部署硬件加速器（如GPU、FPGA），以实现从实验工具到临床常规应用的转化。
