一种用于活体人脑光谱重建的新型通道编码器潜在扩散模型

《Engineering Applications of Artificial Intelligence》：A novel channel-encoder latent diffusion models for in vivo human brain spectral reconstruction

　　

摘要 高光谱图像（HSI）为神经外科医生提供了一种强大的工具，能够在最大程度减少对健康组织损伤的同时，准确识别并切除脑肿瘤。然而，传统的高光谱成像系统存在时间分辨率不足、光谱分辨率不足以精确区分组织以及硬件成本高昂等问题，限制了其在临床中的可及性。为应对这些挑战，我们提出了一种基于潜在扩散模型（LDM）的光谱重建方法，称为通道编码器潜在扩散模型（CE-LDM），该方法利用标准相机采集的快照RGB图像重建高保真度的高光谱图像。这种基于快照的采集方式通过冻结组织运动，从根本上解决了时间约束问题，同时通过使用常规的红-绿-蓝（RGB）传感器大幅降低了硬件成本。鉴于高光谱数据的高维特性，我们设计了一种通道编码器来提取先验信息、减少数据冗余，并有效缓解光谱重建中的欠约束问题。与此同时，扩散模型通过迭代去噪显著提升了光谱保真度。此外，我们还设计了一种残差注意力去噪网络（RADNet），以增强特征提取能力和图像细节重建。在人体活体脑高光谱数据集上的实验验证表明，CE-LDM以最低的计算成本实现了最优的重建质量，为实时术中应用提供了最佳平衡，后续分类任务进一步确认了其临床适用性以及在推进高光谱脑肿瘤诊断方面的巨大潜力。

引言 高光谱成像能够在广泛的波段范围内捕获物体的细微光谱信息。通常，高光谱图像（HSI）由大量连续的窄光谱波段组成。这种丰富的光谱信息揭示了物体的特征，使得高光谱图像在卫星遥感（Pan等人，2025）、健康监测（Zhang等人，2024）和病理诊断（Li等人，2024）等各个领域得到了广泛应用。在脑肿瘤诊断方面，高光谱图像已展现出有效性（Leon等人，2023）。然而，目前高光谱成像技术在脑肿瘤诊断中的应用仍面临若干实际挑战。推扫式扫描高光谱成像提供了较高的光谱分辨率（Green等人，1998；James，2007），但设备和场景在扫描过程中必须保持绝对静止。这一要求在手术环境中根本不可行，因为脑组织的生理性自然搏动（例如由心脏跳动和呼吸引起）不可避免地会引入严重的运动伪影，使得数据无法用于精确的边界描绘。尽管快照高光谱成像提供了较高的时间分辨率，但其空间分辨率和光谱分辨率不足以准确识别脑肿瘤（Wagadarikar等人，2008），且依赖高成本的硬件设备。因此，从标准相机采集的快照RGB图像重建高保真度高光谱图像提供了一种具有临床可行性的解决方案，因为它从根本上消除了运动伪影，同时显著降低了硬件成本。

为应对这些挑战，已有人提出光谱重建算法从 readily available（随手可得）的RGB图像重建高光谱图像。传统的光谱重建方法主要依赖于稀疏编码技术或相对浅层的深度学习模型（Robles-Kelly，2015；Cichocki等人，2015；Aeschbacher等人，2017）。这些方法的本质在于构建一个过完备字典，将RGB图像信息与被重建图像相关联。通过稀疏编码技术，可以从RGB图像中提取关键光谱特征并用于重建高光谱图像。然而，这些方法存在局限性。仅依靠人工设计的稀疏先验进行RGB到高光谱的转换，无法有效捕获数据的复杂性。因此，这种方法存在表示能力有限和泛化性能差的问题。

近年来，卷积方法在建模RGB图像与高光谱图像之间的非线性关系方面取得了显著进展。研究人员采用了各种策略来克服固有的挑战，如密集网络（Shi等人，2018）、残差网络（Kaya等人，2019）、基于注意力的模型（Peng等人，2020）和Transformer架构（Wu等人，2024；Cai等人，2022b）。然而，现有方法通常采用回归函数，如均方误差（MSE）和平均绝对误差（MAE），来最小化光谱重建结果与实际高光谱图像之间的像素级差异。尽管这些方法在峰值信噪比（PSNR）方面表现良好，但优化目标往往导致像素距离的平均化，从而产生"回归到均值"现象，表现为输出过于平滑且丢失了高频光谱细节。为了增强空间和光谱细节，研究人员将目光转向了深度生成对抗网络（GAN）。虽然GAN可以生成逼真的纹理（Alvarez-Gila等人，2017；Liu和Zhao，2020），但存在训练不稳定的问题（模式崩溃），而在医学成像中更关键的是，存在"幻觉"出地真值中不存在的特征的风险（Zhang等人，2022），这对临床诊断构成潜在风险。

最近，去噪扩散概率模型（DDPM）（Ho等人，2020）在图像生成领域取得了显著进展，在高光谱图像超分辨率（Xiao等人，2024）以及多光谱图像（MSI）与高光谱图像融合（Li等人，2023）等方面展现出令人前景的性能。与传统GAN相比，DDPM在防止模型崩溃和平衡保真度与多样性方面表现出优越的适应性。DDPM通过可解释的变分下界（VLB）损失函数有效地学习训练数据的分布。在反向去噪过程中，DDPM逐渐将高斯噪声样本转化为目标数据分布。尽管取得了这些成功，但直接将标准潜在扩散模型（LDM）（Rombach等人，2022）应用于高光谱重建仍存在问题。标准LDM通常利用空间变分自编码器（VAE）将图像压缩到低维空间潜在空间中。然而，这种以空间为中心的压缩方式忽略了高光谱数据特有的强光谱间相关性。通过将光谱通道视为独立的或以简单RGB通道对待，标准LDM无法捕获肿瘤识别所需的连续光谱拓扑结构。

鉴于此，我们深入研究了LDM的应用，并提出了一种新颖的光谱流形感知框架，即通道编码器潜在扩散模型（CE-LDM）。与现有通过空间编码器压缩图像尺寸的LDM不同，我们创新性地设计了一种通道编码器，将高维高光谱数据投影到紧凑的潜在嵌入空间中，同时保留光谱先验信息（如图1所示）。该设计通过在学习有效的紧凑光谱特征流形上学习，明确地解决了"维度灾难"问题和光谱重建的逆问题病态性。这种先验信息减少了扩散模型输入数据的通道数量，有效缓解了欠约束问题，并提高了高光谱重建的准确性和效率。扩散模型包含前向扩散和反向去噪过程，在去噪过程中，向通道编码器生成的先验信息逐渐添加高斯噪声。在反向去噪过程中，去噪网络在RGB图像引导下通过迭代去噪生成先验信息。此外，我们设计了残差注意力去噪网络（RADNet），通过在残差结构中添加注意力机制，显著提高了先验信息中关键特征和细节的提取能力。从而提高了高光谱重建的准确性和重建质量。关键的是，通过在活体人脑高光谱数据集上验证我们的方法，我们证明CE-LDM不仅实现了优越的重建指标，还确保了下游肿瘤分类所需的精确光谱保真度。

本文的主要贡献总结为以下四个方面：（1）我们提出了一种用于光谱重建的新型LDM，称为CE-LDM。据我们所知，这是最早专门针对光谱领域应用扩散范式的尝试之一，利用迭代去噪恢复回归方法通常平滑掉的高分辨率光谱细节。（2）为应对高光谱数据的高维特性，我们创新性地设计了一种通道编码器，通过通道编码提取光谱特征的先验信息。这一架构创新通过将生成过程约束在已学习的光谱流形内，有效缓解了RGB到高光谱映射的欠约束逆问题。（3）我们设计了RADNet作为扩散模型的去噪网络，该网络结合了残差结构和注意力机制。这显著增强了特征提取能力，从而提高了重建高光谱图像的去噪性能和生成质量。（4）从临床角度来看，我们验证了该系统的实际价值。通过从标准RGB输入实现高质量光谱重建，我们的方法从根本上解决了扫描式高光谱成像的运动伪影问题并降低了硬件成本。在活体脑数据集上的大量实验以及后续肿瘤分类任务确认了其实时术中诊断的潜力。

传统方法 近年来，高光谱成像已成为医疗领域拥有众多技术应用的常用工具。Fabelo等人（2019）率先开发了活体人脑组织的高光谱数据库。Kong等人（2006）在一项皮肤研究中采用了一种基于声光调制滤波器（AOTFs）的凝视式高光谱成像系统，并使用了一种常规推扫式高光谱成像设备。尽管这些成像方法能够获取具有较高光谱分辨率的高光谱图像，但扫描速度极其缓慢。

初步知识 扩散模型通过迭代去噪生成高光谱图像。它从高斯白噪声开始，逐渐将其转化为图像空间，其中??表示去噪过程的迭代步数。这一反向去噪过程是前向加噪过程的逆过程，二者通过贝叶斯定理相关联。因此，通过长度为??的马尔可夫链和高斯扩散核向图像添加噪声。前向加噪首先定义为??(????|?????1)=??(????;√(1?????)?????1, μ??)。

所提出的方法 为了高效准确地获取和重建高光谱图像，我们提出了CE-LDM框架。首先，我们设计了一种通道编码器来压缩高光谱图像，捕获光谱特征的先验信息。该压缩数据随后被传输到潜在空间进行扩散和反向扩散过程。通道编码器的设计使扩散模型能够更加关注特征细节，从而缓解光谱重建中的欠约束问题并提升实验效果。

实验设计 （1）数据与预处理：本研究使用的活体人脑高光谱数据集来源于西班牙加那利大群岛拉斯帕尔马斯大学的高光谱成像检测（HELICoiD）项目以及在该实验室进行的后续研究。这些高光谱图像聚焦于人脑组织，使用Hyperspec VNIR A-Series相机采集。具体而言，该系统使用VNIR HS推扫式相机（Hyperspec VNIR A-Series，由Headwall Photonics制造，位于美国马萨诸塞州菲奇堡）。

结论 本文提出了一种新颖的CE-LDM框架，用于光谱重建任务，旨在辅助脑肿瘤诊断。借助扩散模型，我们的框架通过迭代去噪展示了强大的学习和生成能力，能够生成高精度且细节丰富的重建高光谱图像。具体而言，鉴于高光谱数据的高维特性，我们设计了一种通道编码器来有效提取特征先验信息，从而……

CRediT作者贡献声明 张成龙：撰写-审阅与编辑，撰写-初稿，调查。顾成鑫：软件。徐雪森：监督。许金壮：软件。陈磊：概念化。蒋博：数据管理。潘明忠：概念化。马晓鹏：概念化。

利益冲突声明 作者声明不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

致谢 本工作部分由国家自然科学基金（批准号82227802）和山东省高校青年学者科技创新团队培育计划（批准号2024KJH091）资助。

张成龙|顾成鑫|徐雪森|许金壮|陈磊|蒋博|潘明忠|马晓鹏 中国科学院杭州先进技术应用研究院，中国杭州310024