《Microscopy Research and Technique》:Virtual Staining for Nonlinear Imaging of Cancers
编辑推荐:
非线性成像技术如第三谐波产生(THG)显微镜能够生成无标记的组织图像,其质量可达组织病理学水平,然而对无标记图像的解读仍具挑战性。虚拟染色可将无标记图像转化为类组织学图像,尽管该方法已在荧光和明场成像领域得到充分建立,但在非线性成像中的应用仍然有限。本综述总结
非线性成像技术如第三谐波产生(THG)显微镜能够生成无标记的组织图像,其质量可达组织病理学水平,然而对无标记图像的解读仍具挑战性。虚拟染色可将无标记图像转化为类组织学图像,尽管该方法已在荧光和明场成像领域得到充分建立,但在非线性成像中的应用仍然有限。本综述总结了多种非线性成像模态的光学原理,包括多光子激发荧光(MPEF)、受激拉曼散射(SRS)和第三谐波产生(THG)显微镜。随后,研究人员回顾了虚拟染色技术的最新进展、主要网络架构与评估指标,以及向临床转化所面临的主要挑战。特别地,研究人员强调了THG成像中虚拟染色的独特难点。与分子特异性对比机制不同,THG对比度来源于折射率和/或三阶非线性磁化率的空间变化。因此,采集到的THG信号可能反映多种结构来源,包括水-脂界面以及细胞核内与染色质相关的光学异质性,这使得在THG特征与组织学标记之间建立直接对应关系变得复杂而困难。通过将成像与计算方法相结合,本综述指出了推动面向THG的虚拟染色技术向临床转化的关键方向。
1 引言
苏木精和伊红(H&E)染色是人体组织组织学检查的金标准,但传统H&E组织学耗时费力,需经过固定、脱水、透明、石蜡包埋、切片和染色等步骤,限制了其在术中快速诊断中的应用。冷冻切片分析虽缩短了流程,但仍需约30分钟,且会引入组织损伤和切片伪影。无标记非线性显微术有望满足这一临床需求,它基于光与物质之间的非线性相互作用,代表性模态包括双光子/三光子激发荧光(2PEF/3PEF)、受激拉曼散射(SRS)与相干反斯托克斯拉曼散射(CARS),以及二次/三次谐波产生(SHG/THG)。这些方法具有内在光学切片能力、三维成像能力和亚细胞分辨率。其中,THG是一种三阶相干非线性过程,对折射率不连续区域和亚微米异质性高度敏感,可揭示脂质丰富的膜结构和液滴。更重要的是,近期研究发现THG可作为核或DNA状态依赖性技术,因肿瘤细胞的表观遗传和基因组改变使染色质构象较正常细胞更致密,从而可视化脑肿瘤中的肿瘤细胞核。THG可与SHG、2PEF和3PEF联合获取,这种多模态配置被称为高次谐波产生(HHG)显微镜,能够再现H&E染色通常评估的关键病理特征,如细胞过多、核多形性、坏死和微血管增生。然而,非线性显微镜产生的图像风格与H&E差异显著,给临床医生解读带来挑战。为此,生成式AI通过学习源域光学信号与目标域染色图像之间的映射,可实现非线性成像数据向类H&E表示的转换,即所谓的虚拟染色。目前,针对THG的专用虚拟染色框架仍然稀缺,仍需大量努力使其可行。
2 非线性成像原理
2.1 非线性光学效应基础:非线性成像依赖于高阶光-物质相互作用,通常采用近红外激发实现深层、高分辨率的固有光学切片成像,同时减少光损伤。
2.2 多光子激发荧光显微镜:MPEF依赖于多个低能量光子的近同时吸收以达到相同激发态。2PEF的激发概率与入射强度平方成正比,将荧光限制在焦体积内,提供固有光学切片能力。3PEF遵循相同原理但涉及三个光子的准同时吸收。MPEF信号主要来自外源性探针、基因编码荧光蛋白和内源性生物分子(如NAD(P)H和FAD),后者可用于无标记多光子自发荧光成像,作为细胞氧化还原状态和代谢活动的内在指标。
2.3 拉曼光谱显微成像:拉曼散射源于非弹性光子-分子相互作用,提供化学特异性光谱指纹。受激拉曼散射(SRS)通过时间与空间重叠的泵浦光和斯托克斯光束克服了自发拉曼散射的低效率,具有线性浓度依赖性和无非共振背景的特点,适用于生物组织中生化成分的定量高速成像。相干反斯托克斯拉曼散射(CARS)是另一种相干拉曼技术,对C-H伸缩模式高度敏感,适合无标记成像脂质丰富结构,但也存在非共振背景干扰的问题。
2.4 高次谐波产生显微镜:HHG包括SHG和THG两种主导模态。SHG是二阶过程,要求非中心对称分子有序排列,主要用于胶原蛋白、肌球蛋白等有序结构的无标记可视化。THG是三阶过程,在均匀介质中通常被抑制,而在焦区附近的光学不均匀处可产生可检测信号,因此对界面和亚微米异质性高度敏感。从病理角度看,THG是最难直接解释的谐波模态,其对比度由折射率不连续性和干涉效应决定,视觉逻辑与H&E染色根本不同。肿瘤细胞核因染色质凝聚和相关光学异质性可呈现正THG对比度,而正常脑细胞核通常较弱或不可见。因此,多模态HHG成像在肿瘤诊断中具有重要价值,能够捕获髓母细胞瘤、毛细胞星形细胞瘤和室管膜瘤等多种脑肿瘤亚型的诊断相关特征。文章还通过表格比较了THG、SHG、2PEF、3PEF、SRS、CARS及集成多模态策略的对比机制、优势、局限和应用领域。
3 非线性成像虚拟染色技术的发展历程
3.1 早期基于经典计算方法的虚拟染色方法:早期方法主要建立在经典图像处理和物理引导变换之上,而非跨域学习方法。代表性策略是通过物理启发式变换将信号强度与组织组成关联,并分配类似苏木精和伊红的颜色。例如,Giacomelli等人利用比尔-朗伯定律推导的映射将光学显微镜数据转换为虚拟H&E图像。受激拉曼组织学的出现进一步表明经典虚拟染色可支持临床相关解读,在一项涉及30名患者的临床研究中实现了90%的脑肿瘤亚型预测准确率。早期与THG相关的虚拟染色研究主要在多模态背景下开展,如Sun等人整合2PEF、3PEF、SHG和THG从新鲜乳腺组织生成虚拟类H&E图像。这些经典方法的优势在于可解释性强,但手工规则也限制了其对异质性组织架构和非线性对比度与标准组织学之间巨大域差距的建模能力。
3.2 基于深度学习的非线性成像虚拟染色:深度学习方法直接从数据推断非线性图像对比度与组织学外观之间的关系。主要进展包括监督学习或配对学习,利用匹配的非线性和染色组织学图像对训练神经网络,可有效保留精细结构特征。第二个方向是无配对、弱监督和对抗学习策略,如CycleGAN等生成对抗框架已被广泛用于SRS和多模态非线性成像数据的虚拟染色。后续研究表明跨域图像翻译本身不足以可靠保留诊断相关形态,因此近期研究更强调显式保留诊断有意义结构的表征学习策略,如Shen等人引入的自对比和交叉对比学习。另一个重要趋势是多模态非线性成像数据作为深度学习模型输入的日益增加,反映了非线性对比度的互补性质。总体而言,深度学习虚拟染色在SRS和多光子成像方面取得了显著进展,而THG方面的进展相对有限,这反映了模态特定的挑战:THG对比度主要源于折射率不连续性和微结构异质性,导致图像分布与标准H&E差异显著,且噪声水平更高。
4 基于AI的THG及其他非线性成像虚拟染色
模型性能不仅取决于网络架构,还取决于代表性训练数据的可用性、监督策略的选择和目标函数的设计。常见损失函数包括像素级或结构级项(如均方误差MSE和结构相似性指数SSIM)以及对抗性目标。核心设计选择是任务能否以配对或无配对方式构建。对于THG等模态,像素对齐的参考难以获得,因此弱监督和无配对策略尤为重要。在无配对设置下,基于生成对抗网络(GAN)的框架成为最早且最广泛采用的解决方案,CycleGAN通过引入循环一致性约束使得在未匹配数据集上训练非线性到组织学翻译模型成为可能。然而,对抗翻译的局限性也逐渐显现:双生成器架构增加了训练复杂性,循环一致性约束可能偏向粗略全局重建而非精细病理细节的保留。这促使了对比度和表征保持框架的发展,如CUT通过在特征空间中最大化图像块之间的对应关系来改善局部特征对齐。近期工作表明,基于图的模型和扩散生成方法可能在形态学保留至关重要的非线性图像翻译中提供更稳定的途径。Wu等人开发了一种弱监督薛定谔桥扩散模型,用于从公开的胶质母细胞瘤H&E图像和正常脑Luxol快蓝(LFB)染色图像合成虚拟THG图像,在LPIPS、FID和KID指标上表现优异,生成的合成THG图像支持了下游细胞检测和分割任务。
5 虚拟染色领域当前面临的挑战
5.1 THG及其他非线性成像模态的开源数据集不足:主要瓶颈在于缺乏大规模标准化开源数据集,原因包括非线性成像平台的成本和技术复杂性,以及不同实验室间数据协调的困难。仪器、传感器响应、采集设置和预处理流程的变异性会显著改变图像外观,组织处理和染色差异则引入额外偏差。现有数据集通常规模小、异质性强且难以跨研究比较。进展有赖于更系统的数据集构建,包括疾病特异性采集协议、透明的预处理标准和标准化注释流程。
5.2 当前网络架构的局限性与扩散模型的潜力:非线性成像数据集的有限可用性和异质性给当前虚拟染色架构带来了巨大压力。许多现有框架无法一致满足保留局部细胞形态和大尺度组织架构的要求,这在对抗模型中尤为明显,一旦生成器和判别器之间的脆弱平衡被破坏,输出可能出现不稳定收敛、人工结构或诊断相关细节丢失。CycleGAN的双生成器设计使优化困难,可能损害结构保真度;CUT虽提高了效率和补丁级特征对齐,但在组织形态高度异质或层级组织的情况下仍面临挑战。相比之下,扩散模型通过渐进去噪合成图像,通常在结构保留和伪影抑制方面更为有效。
5.3 当前临床证据与局限性:临床转化仍是虚拟染色最重要的检验标准之一。尽管虚拟染色技术在实验研究中表现出色,报告肿瘤检测准确率高达91%,但这不足以支持常规临床应用。临床有用性不能仅凭视觉相似性或有利的图像质量指标判断,因为SSIM和PSNR等指标主要量化像素级一致性,并不一定指示诊断重要特征是否以足够保真度保留。现有盲读研究展示了虚拟染色领域的潜力及其当前局限,但受限于相对较小的队列、观察者间变异、模态特定伪影以及研究设计和评估标准的实质性异质性。成功临床部署还依赖于可解释性、工作流集成和数据管理。
5.4 临床转化的验证策略:虚拟染色的验证需要区分技术图像保真度、病理充分性和临床实用性。稳健的评估框架应基于预设的预期用途、适当的参考标准、患者级别的数据划分和任务特定的终点。外部测试应使用模型拟合和参数调整中排除的患者和机构数据;多中心研究应报告各中心的特异性表现;域偏移评估可通过预先定义临床相关偏移并量化个体条件下的性能退化来加强;不确定性可通过像素或区域级变异性、质量控制分数或病例级弃权标准来表示;临床评估可包括盲法多读者多案例研究,以传统组织学和专家评估为参考标准。