基于光谱卷积神经网络芯片的睑板腺功能障碍诊断方法

《PhotoniX》:Diagnosis of meibomian gland dysfunction based on spectral convolutional neural network chip

【字体: 大 中 小 】 时间:2026年04月21日 来源:PhotoniX 19.1

编辑推荐:

  摘要 干眼症(DED)是最常见的角膜表面疾病,其主要原因是睑板腺功能障碍(MGD)。然而,基于内在成分对MGD进行精确诊断仍然无法实现,这导致了诊断延迟和治疗干预不足。本研究提出了一种基于实时光谱卷积神经网络(SCNN)芯片的高精度超光谱病理诊断方案。我们分析了睑板腺病理切片中睑

  摘要
干眼症(DED)是最常见的角膜表面疾病,其主要原因是睑板腺功能障碍(MGD)。然而,基于内在成分对MGD进行精确诊断仍然无法实现,这导致了诊断延迟和治疗干预不足。本研究提出了一种基于实时光谱卷积神经网络(SCNN)芯片的高精度超光谱病理诊断方案。我们分析了睑板腺病理切片中睑脂、血红蛋白及其衍生物的光谱特征。在SCNN芯片上训练的神经网络用于MGD诊断,其诊断准确率为96.22%,优于基于RGB图像的模型(84.00%)。据我们所知,这是首次开发用于MGD的光谱病理诊断模型,并将光学神经网络应用于MGD的诊断。这一发现为有效和准确的MGD管理提供了新的可能性,并提升了SCNN芯片在医疗应用中的性能。

引言
干眼症(DED)已成为一个重大的公共卫生问题,全球约有3.44亿人受到影响[1]。严重的干眼症病例会严重影响生活质量并造成巨大的经济负担[2]。据估计,约70%的干眼症病例是由蒸发性干眼引起的,而这通常是由于睑板腺功能障碍(MGD)造成的。睑板腺位于上下眼睑的睑板内,沿眼睑边缘垂直排列。这些腺体在合成和分泌脂质方面起着关键作用,这些脂质构成了泪膜的最外层,有助于减少泪液蒸发。MGD的主要特征是终末导管阻塞、腺泡萎缩以及睑脂分泌的质量和/或数量异常[3]。目前,MGD的诊断方法,包括症状评估和各种评估睑板腺功能和形态的临床测试,存在主观性、缺乏特异性、患者不适、功能关联度有限以及缺乏金标准等问题[4]。准确诊断和定量评估MGD是适当医疗干预的基本前提,对患者的视觉质量和生活质量有显著影响。因此,迫切需要更客观、无创和标准化的方法,例如在临床实践中检测睑脂含量,以提高MGD诊断的准确性和效率。
超光谱成像是一种先进的分析技术,可以利用光与物质的相互作用来捕获生物组织的独特光谱“指纹”,以非接触方式提供丰富的生化和结构信息[5]。它在眼科领域显示出巨大潜力,特别是在非侵入性氧水平评估方面。通过捕获不同波长的详细光谱信息,这项技术能够精确监测眼部组织的氧相关变化,为了解MGD的发病机制和进展中的血管功能和眼睑炎症提供宝贵见解[6, 7]。考虑到商业超光谱系统的局限性,如体积庞大和依赖机械扫描,最近的研究重点在于开发快照光谱成像技术,这大大扩展了光谱传感的应用范围[8,9,10]。其中,基于超表面的快照超光谱成像芯片实现了实时、像素级的光谱采集,具有高精度(0.04 nm)和高分辨率(0.8 nm)[10]。此外,基于超表面的光谱卷积神经网络(SCNN)芯片在实时、传感器内计算方面表现出潜力,在病理诊断中实现了高精度[11]。光谱分析具有非侵入性地探测泪膜和睑脂成分生化变化的潜力,为更准确、客观和早期的诊断提供了途径。

到目前为止,专注于睑板腺组织成分光谱特性的研究仍处于初步阶段。睑板腺组织主要包含具有光谱特性的成分,如睑脂、血红蛋白及其衍生物。在可见光谱中,特别是在550 nm附近,血红蛋白及其衍生物在生物组织中显示出明显的吸收特征。这导致反射光谱中出现明显的吸收凹陷,作为检测和量化血红蛋白及其衍生物的关键光谱特征[10, 12]。先前的研究通过体外收集和纯化睑脂,然后对分离的样本进行光谱分析来探索其光谱特性[13, 14]。然而,由于光谱获取的技术限制——当前设备无法同时实现高空间和时间分辨率——睑板腺成分的定量光谱分析仍然具有挑战性。
在这项工作中,我们分析了MGD患者睑板腺组织成分的光谱特征,并提出了一种基于实时SCNN芯片的病理诊断方案。首先,从病理切片中获得了MGD患者和非MGD患者的光谱特征,在500-900 nm波长范围内发现两组之间存在显著的光谱差异。这反映了血红蛋白吸收和睑脂成分的潜在变化。然后我们使用SCNN芯片进行光谱采集和MGD与非MGD的自动分类。SCNN模型的诊断准确率超过了96%,优于基于商业超光谱和RGB数据的模型。与通常体积庞大、由于扫描要求而速度缓慢且成本较高的商业超光谱相机不同,SCNN芯片是一种微型化、快照光谱特征提取和计算系统。这些发现展示了超光谱成像和SCNN芯片在MGD的实时、无创和高精度诊断方面的潜力。

结果
参与者的临床和光谱特征总结在表1中。从5名MGD患者那里获得了90张超光谱图像、90张高光谱图像和86张RGB图像,而从6名非MGD对照组那里获得了95张超光谱图像、84张高光谱图像和66张RGB图像。MGD患者的睑板腺表达能力(MGEX)明显高于非MGD患者(P < 0.001)。MGD组的泪膜破裂时间(TBUT)显著低于非MGD患者(P < 0.001)。MGD患者与非MGD患者在与MGD相关的临床参数上存在显著差异。MGD患者在600-700 nm波长范围内的光谱系数显著高于非MGD患者(P < 0.05)。

表1 显示了有或没有MGD的参与者之间的特征比较

基于各种MGD相关临床参数的光谱系数亚组分析如图1所示。50岁以下的患者在500-600 nm(P = 0.03)、600-700 nm(P < 0.001)、700-800 nm(P < 0.001)和800-900 nm(P < 0.001)波长范围内的光谱系数显著高于50岁或以上的患者。女性的光谱系数在500-600 nm(P < 0.001)和700-800 nm(P < 0.001)波长范围内显著高于男性。对于600-700 nm和800-900 nm波长范围,TBUT评分≥10组与<10组之间的光谱系数存在统计学上的显著差异(P < 0.001;使用5秒和8秒截止值的结果见补充材料2),角膜荧光素染色(CFS)评分≥1组与<1组(P < 0.001),眼表疾病指数(OSDI)评分≥13组与<13组(P < 0.001),MGEX评分≥3组与<3组(P < 0.001),睑脂质量评分≥1组与<1组(P < 0.001)之间也存在显著差异。

图1 中展示了不同年龄亚组的光谱系数。a 年龄亚组的光谱特征。b 性别亚组的光谱特征。c 泪膜破裂时间(TBUT)亚组的光谱特征。d 角膜荧光素染色(CFS)亚组的光谱特征。e 眼表疾病指数(OSDI)亚组的光谱特征。f 睑板腺表达能力(MGEX)亚组的光谱特征。

图2 显示了MGD和非MGD参与者经过苏木精和伊红(H&E)染色的睑板腺切片的代表性光镜图像,以及由光学卷积神经网络生成的相应特征图。图3显示了睑板腺(MG)区域和非MG区域的光谱系数测量图。图3中的图表表明了每组光谱系数的中位数值。MGD组的MG区域在500-600 nm(P < 0.005)、600-700 nm(P < 0.05)和800-900 nm(P < 0.001)波长范围内的光谱系数显著高于非MGD组。同样,MGD组的非MG区域在500-600 nm(P < 0.005)、600-700 nm(P < 0.05)和800-900 nm(P < 0.001)波长范围内的光谱系数也显著高于非MGD组。此外,MGD患者在800-900 nm(P < 0.01)波长范围内的光谱系数显著低于非MGD组。在非MGD组中,MG区域的光谱系数在800-900 nm(P < 0.05)波长范围内也显著低于非MGD组(图3)。

图2 中展示了有和没有睑板腺功能障碍(MGD)的参与者的人类睑板腺的苏木精和伊红染色组织切片及其相应的特征图。a 在MGD患者中,切片显示较少的腺泡(白色方块)和更多的结缔组织(白色圆圈)。b 在没有MGD的患者中,组织病理切片显示出更高密度的腺泡(白色方块)和较好的结构保存以及较少的结缔组织(白色圆圈)。

图3 描述了MGD组和非MGD组的睑板腺光谱系数比较。MG-MG是MGD患者的睑板腺(MG)区域;MG-nMG是MGD患者的非MG区域;N-MG是没有MGD患者的MG区域;N-nMG是没有MGD患者的非MG区域。(*: p < 0.05, **: p < 0.01, ***: p < 0.001)

我们使用SCNN对收集的样本进行了分类实验,以区分MGD和非MGD病例。作为对比,还使用了由商用光谱仪捕获的超光谱图像和由标准RGB相机获取的RGB图像作为输入,类似ENLs的浅层神经网络也获得了相应的分类结果。三种解决方案的性能分别在图4中展示。SCNN模型的平均准确率为96.22%,平均精确率为96.34%,平均召回率为96.29%,平均F1分数为96.22%。使用商业光谱图像作为输入的CNN模型的平均准确率为95.88%,平均精确率为89.74%,平均召回率为91.88%,平均F1分数为90.78%。使用RGB图像作为输入的CNN模型的平均准确率(84.00%)低于使用光谱图像作为输入的模型。使用SCNN图像、商业光谱图像和RGB图像进行的卷积神经网络模型的接收者操作特征(ROC)曲线在补充材料3中有描述。

讨论
据我们所知,这项研究首次全面调查了睑板腺的光谱特征。我们的分析显示,MGD患者和非MGD患者在三个临床相关波长带(500-600、600-700和800-900 nm)的光谱系数存在统计学上的显著差异。这些光谱变化可能与血红蛋白相关化合物和睑脂成分的变化有关,尽管需要进一步验证以确定具体的病理生理机制。此外,据我们所知,本研究建立了首个MGD(睑板腺功能障碍)患者病理标本的光谱数据库,这是眼部表面诊断领域的一项重大进展。利用该数据库,我们的光谱神经网络分类模型实现了95.88%的显著诊断准确率,比传统的RGB图像分析方法提高了11.88%。这些结果凸显了光谱指纹技术在眼部表面疾病病理诊断中的优越性。此外,本研究还展示了一种基于超表面的SCNN系统,其诊断准确率为96.22%,与商用高光谱成像系统的水平相当。与需要几十秒进行光谱采集的传统设备相比,SCNN将采集时间缩短至几毫秒。其紧凑的架构为集成到便携式平台中提供了潜力,从而实现了MGD的实时、体内诊断,提高了临床工作流程的速度和精度。

MGD组与非MGD组在多个波长范围内的显著光谱差异表明睑板腺组织中存在不同的成分变化。MGD是一种慢性炎症性疾病,会增加睑板腺组织中的氧气需求,导致局部血流中的血红蛋白及其衍生物的浓度和性质发生变化[15, 16]。血红蛋白(Hb)及其衍生物,包括氧合血红蛋白(HbO?)和碳氧血红蛋白(HbCO),在500纳米到600纳米的范围内表现出显著的吸收特性[17, 18]。先前的研究使用了空间频率域成像(SFDI)系统来检测MGD大鼠模型中MG和非MG区域的Hb浓度和光学性质的变化[15]。这些独特的光谱特性使血红蛋白及其衍生物在光谱检测中具有很高的价值。Xiong等人[10]证明,从大鼠大脑不同区域获得的光谱变化可以用来评估血管区域和非血管区域中血红蛋白及其衍生物的浓度变化。此外,利用神经血管耦合机制,这种方法还可以推断大脑内的神经活动。在我们的研究中,与健康对照组相比,MGD患者病理标本的500–600纳米和600–700纳米范围内的光谱系数显著增加。而且,这一波长范围内的光谱系数在两个年龄组和MGD相关临床评估类别中都表现出显著差异,尤其是在600–700纳米范围内。此外,在年轻患者和干眼症状更严重的患者中观察到了更高的光谱系数。由于本研究的光学设置测量的是透射光谱,因此增加的光谱系数表明MGD患者在这个波长范围内的吸收相对减少。与此一致的一个可能的解释是,这些变化反映了局部血红蛋白性质或浓度的改变。Liu等人[19]之前曾报告说,相对缺氧的环境有利于睑板腺的正常功能。尽管我们的发现与氧气相关过程的变化可能性一致,但需要进一步的研究来确定观察到的光谱变化是否直接反映了补偿机制或其他适应性反应。总体而言,这些结果突显了高光谱分析作为探索MGD病理生理变化的强大工具的潜力。

睑板脂是睑板腺分泌的各种脂质的复杂混合物,是泪膜最外层的关键组成部分[13]。它具有重要的生理作用,如减少泪液蒸发和保护角膜和结膜。睑板脂主要由极性和非极性脂质组成。在极性脂质中,磷脂约占70%,而非极性脂质主要由蜡酯和胆固醇酯组成[20]。使用传统的显微镜光源测量脂质浓度具有挑战性,因为这些光源主要覆盖可见光谱范围。在我们的研究中,观察到MGD患者和健康对照组在800–900纳米的近红外(NIR)范围内存在显著的光谱差异。此外,在MGD患者的MG区域和非MG区域之间也检测到了光谱变化。而且,这一波长范围内的光谱吸收系数与年龄、泪膜稳定性和睑板腺功能参数有关。Hwang等人报告说,通过人类MG的腺泡的光传输显著减少,这主要是由于睑板腺内富含脂质的成分引起的光散射[21]。此外,几项研究对人类睑板脂进行了体外光谱测量,以研究其化学结构和分子间相互作用的变化[14, 22]。核磁共振(NMR)光谱结合主成分分析能够以86%的准确率区分MGD患者的睑板脂和正常睑板脂,检测到MGD样本中CH?基团、脂质氧化产物和萜类化合物的水平显著降低[23]。拉曼光谱识别出MGD患者和正常参与者的睑板脂具有近似相同的脂质饱和度,但检测到MGD患者随着年龄增长而逐渐减少的类胡萝卜素。然而,拉曼光谱和NMR光谱都限于单点光谱采集,本质上缺乏空间成像能力,无法实现目标区域的实时光谱映射。基于硅的超表面SCNN芯片能够快速获取睑板腺病理组织切片的微观光谱特征图。这种方法可能有助于未来研究MGD进展期间睑板脂成分动态的变化,有助于开发无创诊断和监测工具。

在目前与睑板腺相关的深度学习研究中,主要方法是使用标准RGB图像来训练神经网络模型,以识别不同患者的腺体萎缩程度[24, 25]。这为临床医生提供了睑板腺形态变化的定量评估。然而,我们的研究利用睑板腺的光谱数据来开发神经网络模型。光谱数据提供了传统RGB成像之外的额外信息,可能有助于提高分类性能。基于超表面的SCNN相机的主要优势在于它们能够同时捕获空间和光谱信息,从而增强数据维度并提高CNN模型的预测性能。我们的结果表明,SCNN的性能与使用商业光谱图像训练的模型相当,同时在多个指标上显著优于基于RGB的模型,包括准确率、精确度、召回率和AUC。空间和光谱信息的结合可能 permet 更全面地评估睑板腺组织属性,从而有助于MGD的早期检测和监测。这些结果表明,从睑板腺病理切片获得的光谱为准确诊断MGD提供了可靠的特征。因此,光谱分析有望简化诊断工作流程并提高临床诊断效率。与通常需要几十秒来捕获单个高光谱图像的商用高光谱相机相比,SCNN系统可以在几十毫秒内生成光谱特征图——与传统RGB相机的曝光时间相当。这一显著改进解决了商用高光谱相机的关键限制:它们的长时间采集使得它们不适合作为实时体内临床应用,因为它们无法:(1)补偿测量过程中的眼球微动,(2)捕捉动态生物过程,或(3)满足常规临床诊断的时间要求。此外,得益于OCL的传感器内计算架构,SCNN能够超快速和低功耗地执行MGD病理诊断任务。它实现了与商用高光谱相机相当的诊断准确性,同时提供了集成到微型系统中进行体内MGD诊断的潜力。这显著提高了临床诊断的效率和准确性。此外,我们基于光谱的CNN模型的成功突显了将先进成像技术与机器学习结合以提高眼科学诊断准确性的潜力。

本研究有几个局限性需要承认。首先,这项回顾性分析使用了2020年收集的睑板腺组织。尽管我们证明了可以从档案标本中可靠地获得稳定的光谱数据,但体外处理(包括切片和准备过程)可能会改变血红蛋白和睑板脂等关键成分,从而可能影响光谱测量。此外,光谱特征代表的是固定时的“快照”,而不是动态生理状态。为了解决这些局限性,未来的研究应致力于开发实时、体内光谱成像技术。鉴于本研究中展示的SCNN芯片的紧凑架构和快速采集速度,一个有前景的方向是将其小型化并集成到临床裂隙灯系统中,以便在常规眼科检查中对睑板腺进行无创、体内光谱评估。其次,本研究中的样本量(N=11)是一个限制,降低了统计功效,因此需要对我们的发现的可推广性保持谨慎。为了解决这个问题,我们实施了基于补丁的增强策略,将光谱图像分割成40×40像素的补丁进行训练。这种方法有效增加了训练样本的多样性,同时保留了局部组织形态。重要的是,最终模型是在原始的、未裁剪的图像上评估的,并取得了优异的分类准确率,突显了学习到的表示的稳健性。这些发现为未来的工作奠定了重要基础,未来的工作将优先考虑组建更大规模的、多机构的光谱队列,并开发更复杂的人工智能架构,以推动该领域朝着临床可行的诊断工具发展。第三,为了更详细地研究睑板脂中不同脂质成分的光谱特性,需要使用900–1700纳米NIR光谱采集系统进行额外的研究。这一扩展的光谱范围可以提供关于睑板脂分子组成和相互作用的更深入见解,从而增强我们对它在MGD中作用的理解,并提高诊断精度。第四,尽管基于SCNN的系统和商用推扫式高光谱系统在光谱通道、光学配置和噪声特性上有所不同,但商用系统是光谱图像分析的广泛使用的基准。这种比较并非旨在进行严格的参数匹配评估,而是一种针对已建立的光谱成像模式的实际参考。值得注意的是,尽管SCNN基于的系统的架构紧凑且硬件配置大大简化,但它实现了相当的分类性能,证明了其有效的光谱特征提取和分析能力。第五,所有组织样本均来自眼睑痣切除病例,这可能无法完全代表普通人群中典型的MGD病理。在解释研究结果时应考虑这种选择偏差,并在推广结果时需要谨慎。

总之,据我们所知,这项研究是首次使用高光谱相机和SCNN芯片对MGD患者的睑板腺病理切片的光谱特性进行的研究。我们在关键波长范围内识别出MGD患者的疾病特异性光谱特征,这些特征可能与血红蛋白和睑板脂组成的变化有关。此外,这项研究首次将睑板腺病理切片的光谱数据与AI结合,使用体外样本开发了基于光谱的MGD诊断框架,并使用SCNN系统实现了传感器内分类。这项工作不仅为基于光谱的MGD检测建立了概念验证,并展示了SCNN技术在眼部表面疾病研究中的进一步探索潜力。

**方法**

**患者招募**
这项回顾性研究包括了2020年6月至2020年12月在北京协和医院眼科部门接受眼睑色素痣切除手术的患者。根据国际MGD工作组的指南[26],如果患者满足以下至少两个标准,则诊断为MGD:(1)眼睑边缘异常(眼睑边缘形态和MG开口),(2)睑板脂分泌异常(例如可挤出性和质量),(3)与干眼相关的眼部症状,(4)MG的结构异常,以及(5)泪膜脂质层厚度异常。糖尿病患者和自身免疫性疾病患者被排除在外。记录了以下眼部表面参数:TBUT(泪膜破裂时间)、CFS(角膜 fluorescein 吹气时间)、MG可挤出性和睑板脂质量评分。所有参与者还被要求完成OSDI(Ocular Surface Disease Index)量表。这项研究得到了中国北京协和医院机构审查委员会的批准(批准号ZS-3516)。每位参与者都获得了书面知情同意书,同意参与研究,包括使用他们的临床数据和切除的组织样本。

在每个患者的眼睑边缘痣手术切除过程中,仔细收集了多余的眼睑组织。使用精细的眼科镊子,从切除的组织中仔细分离出MG组织。使用眼科剪刀切除了围绕睑板腺(MG)的多余结缔组织和脂肪组织。记录了每个样本的解剖学来源,包括眼睛(左侧或右侧)和眼睑(上侧或下侧)。及时固定、脱水并蜡包埋组织,使用石蜡切片机进行连续切片,在烘烤后选择理想的组织切片,并将它们存放在室温下以供将来使用。解剖出的睑板腺组织立即用10%中性缓冲福尔马林固定,以保持细胞形态。固定后,组织经过一系列梯度乙醇溶液的标准脱水处理,然后用二甲苯清洗。脱水后的组织被嵌入石蜡中。使用石蜡切片机切割石蜡包埋组织的连续切片,在烘烤后选择理想的组织切片,并将其存放在室温下用于光谱成像。所有样本在2020年收集后立即进行标准化和及时的处理,以确保组织完整性的保存,并最小化由于样本处理差异可能引起的光谱特性的任何潜在变化。

SCNN芯片的架构包括一个光学卷积层(OCL)和一系列电子神经层(ENLs)。OCL通过将超表面阵列芯片与互补金属氧化物半导体(CMOS)图像传感器(CIS)耦合来实现,而ENLs则在计算机软件中实现[9]。OCL由\(H\times W=175\times 123\)个相同的光学卷积单元(OCUs)组成,每个OCU包含\(K=3\times 3\)个卷积核(图5a)。因此,OCL产生一个尺寸为\(H\times W\times K=175\times 123\times 9\)的光谱特征图(图5b)。每个卷积核包含一个周期性排列的超表面结构和下面的CIS像素。以单个OCU为例,每个超表面执行其透射光谱\({w}_{i}(\lambda )\)与入射光谱\(x(\lambda )\)之间的哈达玛德积,而CIS像素则积分不同波长的透射光谱强度。这个过程有效地计算了入射光谱与超表面透射光谱之间的内积,得到输出\(v=\int {w}_{i}(\lambda )\cdot x(\lambda )d\lambda\)(图5c)。这里,\(i\)表示OCU内卷积核的索引,范围从1到9。可以看出,在OCL中,输入是具有尺寸\(H\times W\times C\)的成像对象的高光谱数据立方体,其中\(C\)是光谱采样点的数量。网络权重对应于每个卷积核中超表面的透射光谱,输出是一个尺寸为\(H\times W\times K\)的光谱特征图。每个OCU中卷积核使用的超表面结构与我们之前的SCNN设计[9]中采用的结构一致,并经过精心设计以产生不同的透射光谱,从而实现有效和区分性的光谱特征提取(图5d)。图5e展示了来自九通道超表面的测量透射光谱的t分布随机邻居嵌入(t-SNE)结果。尽管由于制造引起的变化使得特征空间中存在一些波动,但提取的特征 still 显示出九个通道之间的明显区别,证明了OCUs的强大光谱特征提取能力。

光谱卷积神经网络(SCNN)芯片的工作原理。a SCNN芯片的照片和光学显微镜图像。该芯片由\(H\times W = 175 \times 123\)个光学卷积单元(OCUs)组成,每个OCU包含\(K = 3 \times 3\)个卷积核。每个卷积核由一个具有特定纳米结构的超表面和一个对应的3×3像素区域的互补金属氧化物半导体(CMOS)图像传感器(CIS)组成。b 来自光学卷积层(OCL)的输出光谱特征图。CIS捕获的2D图像被重塑成一个尺寸为H×W×K=175×123×9的数据立方体。c OCL层中单个OCU的传感器内计算原理。输入信号,表示为入射光谱\(x(\lambda )\),与9个超表面的透射光谱\({w}_{i}(\lambda )\)进行哈达玛德积。得到的强度由每个超表面下的CIS像素积分,产生\({v}_{i}(\lambda )\),然后发送到电子神经层(ENL)进行进一步处理。d 九个设计的超表面的扫描电子显微镜(SEM)图像。这些超表面经过精心设计,以在可见范围内产生独特且多样的光谱调制轮廓。e 来自九通道超表面的测量透射光谱的t分布随机邻居嵌入(t-SNE)可视化结果。

在OCL的传感器内计算之后,提取的特征图\(H\times W\times K\)被转发到预训练的ENLs。对于MGD和非MGD的分类,ENLs被实现为一个卷积神经网络(CNN),它由四个卷积块和一个全连接分类头组成。值得注意的是,虽然OCL的权重在超表面制造后是固定的,但ENLs的权重仍然是完全可训练的,这为SCNN架构适应各种应用场景提供了灵活性。

我们设计了高光谱成像系统(图6)来捕获睑板腺病理切片的光谱数据。图6a显示了成像系统的物理设置,图6b展示了光学路径图,图6c呈现了重建的光谱曲线示意图,图6d描绘了SCNN网络的架构。使用GaiaField Pro V10高光谱成像系统(中国四川双流河浦)获取了商业光谱图像,该系统是一种专为高分辨率成像设计的商业级光谱相机。使用基于超表面的相机获取了光谱特征图。超表面结构是在蓝宝石晶圆上的硅衬底上制造的,顶层硅层厚度为220纳米。采用电子束光刻定义超表面图案,然后通过感应耦合等离子体刻蚀将设计转移到硅层中。随后,使用缓冲氢氟酸湿法刻蚀选择性地去除埋藏的二氧化硅层,从而释放出图案化的硅超表面。为了将超表面与CMOS图像传感器集成,制造的超表面通过聚二甲基硅氧烷粘合层转移到CIS表面。使用 commercially available Basler acA1920-40um相机作为CIS平台。整个制造过程与标准CMOS技术兼容,确保了大规模生产时的可扩展性和成本效益。该系统在尼康光学显微镜下用于捕获睑板腺病理切片的高光谱图像和光谱特征图(图6a)。还在显微镜下获取了病理切片的传统RGB图像以进行比较分析。

研究过程的示意图概述。a 使用基于超表面的光谱卷积神经网络(SCNN)相机(箭头)获取的睑板腺组织切片的光谱特征图。对照组是没有MGD的参与者。b 睑板腺病理切片光谱成像的实验设置。c 有或没有睑板腺功能障碍(MGD)的参与者的病理切片测量光谱强度数据的示例图。d 用于分类的卷积神经网络架构的示意图。

本研究包括11名受试者,其中5名被诊断为MGD,6名为年龄匹配的健康对照组。对于每位参与者,准备了2-4个睑板腺组织的病理切片。根据病理组织的大小,每个切片捕获了5-10张光谱图像。商业光谱图像的空间分辨率为480×550像素。图像的光谱数据覆盖了385.7至1005.6纳米的波长范围,包括719个波长点。获取的SCNN图像分辨率为1575×1107像素,经过筛选和重塑后,获得了尺寸为175×123×9的光谱特征图。筛选算法的详细信息在补充材料4中提供。

对原始光谱数据进行了系列预处理步骤,以便后续的病理分类。由于显微镜光源在450纳米以下的光谱范围内的光线强度较低,因此只考虑450至1000纳米之间的商业光谱数据作为有效特征波长。这对应于商业光谱数据向量中原始719个波长点中的636个波长点。考虑到显微镜光源强度分布的空间不均匀性,对每个像素的原始商业光谱数据进行了归一化处理以消除这种变化。绝对光强度值被转换为0到1之间的相对强度值。具体的归一化过程如下:设第i个像素的w维光谱数据表示为:$$\begin{aligned} &\ \ X_{i} = [x_{i1}, x_{i2}, \cdots, x_{iw}]; \\ {t}_{i}=&\sqrt{{X}_{i1}^{ 2}+{X}_{i2}^{ 2}+\cdots +{X}_{iw}^{ 2}} \end{aligned}$$第i个像素的归一化光谱数据表示为:$${X}_{i\_Norm}=\frac{1}{t}\left[{x}_{i1}, {x}_{i2}, \cdots {,x}_{iw}\right]$$所提出的OCL架构以其三维原始高光谱数据立方体作为主要输入。OCL通过一组九个专门的卷积核进行同时的光学感应和卷积计算,每个卷积核具有紧凑的3×3配置和优化的步长-nine。在初始的光学处理阶段之后,生成的特征图通过中央处理单元上的专用电处理层进行后续细化。这种混合光电子架构最终产生了尺寸为175×123×9的高分辨率像素级检测输出,从而实现了光谱特征的高精度空间表征。对于每位参与者,从病理切片的睑板腺区域和非睑板腺区域各选择了100个随机像素点。在进行光谱分析之前,通过从每个数据点减去整个测量波长范围的平均光谱值来执行基线校正,以最小化背景噪声并确保测量结果的可比性。然后使用梯形积分方法计算每个像素在以下波长范围内的AUC:500–600, 600–700, 700–800, 和800–900纳米。这个AUC值被定义为该像素在相应波长范围内的光谱系数。

数据的正态性使用Shapiro–Wilk检验进行了评估。遵循正态分布的变量表示为均值±标准差,而不满足正态性假设的变量则表示为中位数和四分位数范围。对于人口统计和临床数据比较,使用双尾Student's t检验分析参数变量,而非参数变量使用双尾Wilcoxon秩和检验进行比较。对于组间的光谱系数比较,应用了双尾Wilcoxon秩和检验,因为光谱数据不满足正态性假设。为了控制多重比较,使用假发现率(FDR)方法调整了P值。调整后的P值<0.05被认为是统计学上显著的。对于热图可视化,在每个像素点使用相同的非参数检验评估统计显著性,并使用FDR方法调整P值以控制I型错误。

对于亚组分析,根据既定的临床指南和文献选择了以下临界值:(1)TBUT使用多个临床相关阈值进行分析:10秒(干眼的诊断阈值)[27],8秒(临界范围的上限)[28],以及5秒(表示泪膜稳定性严重下降)[29]。(2)将年龄分类为50岁是基于之前的研究,这表明它是睑板腺变化的一个阈值,第五十年后形态和功能改变变得更加明显[30, 31];(3)CFS在1分处划分与临床分级尺度一致,其中分数≥1表示临床显著的角膜染色[32];(4)OSDI在13分处划分是基于症状性干眼的诊断阈值[33];(5)MGEX在3分处二分反映了腺体功能严重下降[34];(6)泪脂质量在1分处划分表示分泌异常[4]。P值小于0.05被认为具有统计学意义。所有统计分析都是使用R软件(版本4.2.1)进行的。

商业光谱图像的数据预处理后,636维的光谱向量仍然表现出显著的相关性。如果直接将这些向量输入神经网络进行训练,会导致输入数据冗余,可能影响神经网络的特征提取效率。因此,应用了主成分分析(PCA)来减少商业光谱数据的维度。这种方法有效地保留了必要的特征信息,同时减少了特征相关性,消除了冗余信息,并提高了内存利用和特征提取效率。关于PCA方法的详细描述,请参见补充材料1。为了减少输入神经网络的病理图像中的空白区域,我们从分辨率为500×480像素的商业光谱图像中裁剪出一个300×300的有效区域。对于每个裁剪后的商业光谱图像,使用步长为40像素的滑动窗口提取40×40像素的子区域,每个图像 thus 获得196个子图像。对于每个光谱特征图,使用步长为10像素的滑动窗口提取40×40像素的子区域,每个图像 thus 获得126个子图像。这些子图像被输入到卷积神经网络(CNN)中。简化后的光谱图像数据仍然保留了相应病理切片的微观形态特征。每张商业光谱图像的尺寸为40(像素)×40(像素)×196(波长通道)。每个光谱特征图的尺寸为40(像素)×40(像素)×9(通道)。在模型训练过程中,数据集划分是在整个切片图像层面上进行的。对于商业光谱图像,随机选择80%的整个切片图像(共141张)作为训练集,剩余的20%(35张)作为验证集。每次训练迭代使用从每张训练图像中提取的196个子图像,总共得到27,636个训练样本。验证集包含6,860个验证样本(35张图像×196个子图像)。对于光谱特征图,80%的整个切片图像(共148张)被分配到训练集,剩余的20%(37张)到验证集。每次训练迭代使用从每张训练图像中提取的126个子图像,总共得到18,648个训练样本。验证集包含4,662个验证样本(37张图像×126个子图像)。为了评估整个切片图像层面的分类准确性,采用了一种基于补丁的投票策略。为了进一步评估模型在样本量有限情况下的鲁棒性,在整个切片图像层面进行了蒙特卡洛交叉验证。具体来说,数据集被随机划分为训练集和验证集5次,然后分别对每个分割部分训练和评估SCNN模型。在每次分割中,光谱图像被裁剪成不重叠的40×40像素的补丁用于网络训练,同时确保同一整个切片图像的补丁不会分布在不同的子集中。共进行了5轮验证,最终病理分类结果是通过平均所有轮次的结果得出的。每次验证后都会生成ROC曲线,并计算AUC以提供模型性能的总体评估。CNN模型使用PyTorch 2.6.0实现,并在NVIDIA GeForce RTX 4060 GPU上进行训练。该模型的架构包括四个卷积块,用于处理尺寸为40×40的9通道高光谱输入。每个块包含两个3×3的卷积层(填充宽度=1),随后是批量归一化和ReLU激活函数,以及一个2×2的最大池化操作来实现空间下采样。四个块中的特征图数量分别为32、64、128和256。在最后一个卷积块之后,特征图(256×2×2)被展平并输入到一个具有128个单元的全连接层,接着是ReLU激活函数和一个丢弃层(丢弃率=0.5)。最后一个具有2个输出神经元的全连接层生成二分类的logits。训练采用批量大小为64,优化器使用Adam,初始学习率为1×10^-4,L2正则化的权重衰减系数为0.01。同时应用了StepLR学习率调度器。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号