《The Innovation》：Self-adaptive fine-tuning of deep learning super-resolution microscopy for artifact suppression in live-cell imaging
编辑推荐：
深度学习超分辨显微镜面临伪影生成难题。本研究提出自适应微调(SAFT)方法，通过动态调整模型参数，将活细胞成像中的伪影直接量化纳入损失函数，显著提升纳米级细胞器相互作用可视化的时空分辨率。该技术使显微镜能智能适应不同成像条件，为深层生物学机制研究提供可靠工具。
在荧光显微镜技术飞速发展的今天，科学家们已经能够透过细胞窥见生命活动的微观世界。然而，传统光学显微镜受到衍射极限的限制，其分辨率难以突破200纳米，这成为观察细胞器精细结构和动态过程的瓶颈。深度学习超分辨显微镜技术的出现打破了这一限制，通过神经网络模型将低分辨率图像重建为高分辨率图像，实现了纳米尺度的观测能力。但是，这项技术在实际应用中面临严峻挑战——模型可能产生虚假结构伪影，这些伪影会误导生物学解释，特别是在活细胞成像中，由于成像条件的动态变化，伪影问题更加突出。
目前，虽然已有一些方法可以量化这些伪影，但有效抑制伪影的技术仍然匮乏。当预训练模型部署到本地显微镜系统时，不同的使用习惯和成像条件会导致模型性能大幅波动。在活细胞成像中，这种波动尤为常见。获取覆盖所有使用场景的训练数据既耗时又不现实，而训练数据不足时，深度学习模型容易产生模糊图像细节和伪影。
针对这一难题，研究人员开发了自适应微调(SAFT)方法。该方法的核心思想是在推理阶段使用评估指标来评判超分辨输出质量，并基于该评估微调模型以最小化损失函数。SAFT通过整合去噪网络(DEN)和分辨率缩放函数(RSF)计算，利用正则化项提升时空连续性并防止分辨率损失。当显微镜加载不同荧光样品时，SAFT使基础模型参数能够自适应调整，有效抑制伪影。
在技术方法上，本研究采用了多种先进的显微镜技术和深度学习模型。研究人员使用自制全内反射荧光(TIRF)显微镜获取图像数据，配备高数值孔径物镜(100×，NA=1.45)和科学级CMOS相机。实验涉及COS-7细胞培养，使用杜尔贝科改良 Eagle培养基，在37°C、5% CO2条件下培养。针对不同细胞器，采用了特异性免疫染色技术：线粒体使用抗TOMM20一抗，微管使用α-微管蛋白-Alexa Fluor 647标记。活细胞成像中，使用HaloTag JF549配体标记HaloTag标记蛋白，浓度为1μM，孵育1小时。
关键技术包括：单分子定位显微镜(SMLM)、结构光照明显微镜(SIM)和受激发射损耗显微镜(STORM)等超分辨技术。深度学习模型方面，使用了单帧超分辨显微镜(SFSRM)、统一荧光显微镜图像恢复(UniFMIR)和任务辅助生成对抗网络(TA-GAN)等先进算法。SAFT方法在NVIDIA RTX 3090等GPU上运行，基于Python v.3.9和PyTorch v1.8.0实现。
SAFT减少因模型精度差产生的伪影
通过故意干扰预训练层创建性能差模型，SAFT能有效清除虚假微管结构。在微管蛋白免疫染色实验中，SAFT清除了因模型精度不足产生的假微管，如黄色箭头所示。置信度图谱分析显示，SAFT结果的高置信区域(青色标记)显著多于SFSRM结果。定量分析表明，SAFT在标准化均方根误差(NRMSE)、平均绝对误差(MAE)、峰值信噪比(PSNR)和结构相似性(SSIM)等指标上均优于原始模型。
增强SAFT的超分辨成像
在评估SAFT对SFSRM模型影响时，研究发现该方法能有效检测低于100纳米的误差。以核孔复合物(NPCs)为参考标准，通过手动移除亚基模拟误差，发现SAFT能在不同信噪比(SNR)条件下有效区分伪影。对微管、线粒体、内质网膜和内质网腔等多种细胞器图像的测试表明，SAFT能处理不同的结构复杂性，显著改善图像质量。
使用SAFT进行活细胞动态超分辨成像
在线粒体衍生物(MDVs)成像中，SAFT能清晰检测和追踪这些60-150纳米的小点状结构。在双色成像中，SAFT持续提供更清晰的MDVs图像，有助于研究MDV货物选择机制。在内质网膜和腔的同时成像中，SAFT能清晰区分两者结构，并观察到膜和腔蛋白的非同步变化，为研究内质网动态提供了新视角。
讨论
SAFT兼容各种超分辨模型架构，并能适应三维成像。然而，其准确性依赖于去噪模型的有效性。通过整合活细胞SMLM到SAFT中，发展了弱监督微调(SAFT-WSF)方法，进一步量化并减少了活细胞超分辨图像中的伪影。基于元结构理论，在一定时间窗口内单分子定位信号的叠加可用于理想高分辨率结构的稀疏采样，准确反映真实结构分布。
研究结论表明，SAFT方法能有效抑制各种成像条件下深度学习模型产生的伪影，通过光学前向模型实现模型参数的动态更新。该技术显著提高了多色成像的保真度，实现了亚100纳米空间分辨率和数十毫秒时间分辨率，使传统TIRF显微镜能区分活细胞成像中的内质网膜和腔，为研究内质网功能提供了新工具。
该研究的创新性在于首次将自适应微调概念引入超分辨显微镜领域，解决了模型在实际应用中因成像条件变化而产生的伪影问题。通过实验验证，SAFT不仅能提升图像质量，还能改善下游分割任务的性能，为生物学研究提供更可靠的观测数据。未来，随着去噪模型的进一步优化和计算资源的提升，SAFT有望在更广泛的成像条件下发挥作用，推动深度学习超分辨显微镜在实际应用中的发展。
这项研究发表于《The Innovation》期刊，为超分辨显微镜技术的实际应用提供了重要解决方案，标志着该领域向更可靠、更实用的方向迈出了关键一步。
