ARTFuse-Net：用于结构化视网膜疾病分类的可靠OCT–OCTA多视图融合技术

《Pattern Recognition》：ARTFuse-Net: Reliable OCT–OCTA multi-view fusion for structured retinal disease classification

　　•ARTFuse-Net在联合OCT-OCTA疾病分类任务中表现出优异性能。•FDRF通过分离共享特征与特定特征，实现具有质量意识的多视图融合。•AHR模型能够体现解剖结构层次关系，并分离跨模态的结构信息。•LGTA可保留类别结构与特征可分性。•外部分析有助于评估模型的质量敏感度及跨模态迁移能力。

引言
诸如年龄相关性黄斑变性（AMD）和糖尿病视网膜病变（DR）之类的视网膜疾病是全球范围内导致视力障碍的主要病因。临床评估通常需要结合结构和血管方面的证据：光学相干断层扫描（OCT）可用于观察视网膜形态，而光学相干断层扫描血管造影（OCTA）则能显示微血管及其灌注模式[1]、[2]。在配对的OCT/OCTA检查中，与疾病相关的信息分散在不同模态和不同视网膜层面的正视投影中，而非集中在单一图像中。本文研究如何基于有序的OCT/OCTA投影对视网膜疾病进行个体级分类，其中每个受检者由多个结构和血管视角的数据表示。这种设置自然构成了一个多视图学习问题[3]、[4]。这些视角来自不同模态及视网膜层面的正视投影，如OCT以及OCTA的全层和薄层投影。OCTA-500等公共数据集提供了配对的OCT/OCTA数据体以及多种正视投影，为多视图视网膜表征学习提供了有用的基准[5]。在模式识别领域，多视图学习已被广泛研究，作为一种利用不同来源数据之间的共识性与互补性的方法[6]。然而，大多数视网膜疾病分类器仍然针对单一的OCT或OCTA视图进行优化，而通用的多视图聚合方法并未充分考虑视网膜层面的有序解剖结构、视图间的质量差异以及跨模态的语义不对称性[7]、[8]（见图1）。

可靠的OCT–OCTA融合十分困难，因为这些视图虽然具有信息价值，但无法相互替代。首先，不同受检者和不同视网膜层面的投影质量存在差异，因此有缺陷或信号强度低的视图不应对最终结果产生同等影响。其次，不同的视网膜层面编码着不同的解剖学意义，简单的聚合方式很可能会导致层特异性疾病特征被模糊。第三，OCT和OCTA提供的信息虽具互补性，但存在不对称性：结构异常和血管变化可能通过不同的视觉证据指向相同的诊断结果。缺失的视图、噪声以及视图间的不对齐会在实际应用中进一步凸显这些缺陷，但核心挑战在于如何学习出一种既考虑可靠性、又了解解剖结构且具备类别区分能力的个体级表征。这一挑战与不完整且需可靠性的多视图学习相关，在这类学习中，不完美的视图需要强大的融合机制，而非简单的统一聚合[9]、[10]、[11]。

现有的联合OCT–OCTA疾病分类方法已探索过特征拼接、基于注意力的聚合以及跨模态交互等方法。例如，MINet提出了一种用于OCT–OCTA多类分类的多步骤交互框架[12]。然而，许多现有方法都是在相对完整且对齐良好的输入数据下开发和评估的，而且视图质量往往被视为独立的筛选步骤或辅助任务，未被整合到融合过程中。与此同时，OCTA图像质量评估（IQA）也得到了积极研究，相关数据集包括DRAC[13]和OCTA-25K-IQA[14]。这些资源为将可靠性指标直接纳入多视图融合提供了依据，同时也让我们能够探究所学到的权重是否包含视图级别的质量信息。从临床应用角度看，这种四类分类体系旨在用于图像采集后的个体级病例分级：类别概率可以帮助眼科医生优先处理正常眼、AMD患者、DR患者以及其他异常病例，而视图可靠性权重则可用于标记质量较低或视图间不一致的投影，以便进一步仔细检查，而非用于自主诊断。

为应对这些挑战，我们提出了ARTFuse-Net，这是一种具有可靠性意识的联合OCT–OCTA多视图视网膜疾病分类框架。其核心思路是，可靠的融合应以跨视图共识为引导，同时保留不同模态和视网膜层面的特定残留特征。ARTFuse-Net通过三个核心组件来实现这一理念。

基础组件
分离式可靠性融合（FDRF）采用冻结版的Vision Transformer（ViT）[15]来提取各视图的描述符，分离共享特征与视图特定特征，并通过共享特征的共识来估计视图可靠性权重，从而实现具有质量意识的融合。解剖结构引导的混合正则化（AHR）模型能够体现视网膜层面的层次结构，将OCT主导的结构特征与OCTA特有的血流动力学信息分开，促使表征结果更符合视网膜的解剖结构。标签引导的拓扑对齐（LGTA）则使特征拓扑与标签拓扑保持一致，从而为后续分类创造类别一致的邻域结构并提升特征的可分性，减少不同视图之间表征结果的偏差。

我们在OCTA-500数据集上使用仅针对患者的五折交叉验证方法对ARTFuse-Net进行了评估[5]。主要对比对象包括采用冻结特征的多视图基线模型、针对特定任务优化的OCT/OCTA融合变体，以及在使用相同六视图配置下经过ImageNet预训练后再微调的ViT-S基线模型。除了完整视图下的评估，我们还进行了控制性的扰动测试，包括缺失视图、视图特定质量下降以及视图间不对齐等情况，以此检验模型在输入数据不完美时的鲁棒性。此外，我们还使用了带有IQA标签的数据集（DRAC和OCTA-25K-IQA）[13]、[14]以及MEMO数据集[16]，分别用于辅助分析模型的质量敏感度及跨模态描述符的迁移能力，但这些数据并非用于构建统一的IQA或注册模型。

主要贡献如下：
•我们将OCT–OCTA视网膜疾病分类问题视为一个具有可靠性意识的多视图学习问题，其中个体级预测需要处理视图间的质量差异、不同层面的结构异质性以及跨模态的语义不对称性。
•我们提出了FDRF方法，该方法通过跨视图的共识而非独立的图像质量分类器来估计视图可靠性，从而在疾病分类模型中实现具有质量意识的融合。
•我们引入了AHR机制，通过OCT到OCTA的残差特性、完整的薄层层次结构以及逐层互补性来编码OCT–OCTA的解剖结构。
•我们设计了LGTA机制，利用类别级的关联拓扑对融合后的表征结果进行正则化，以此降低不同视图之间表征结果的偏差。

章节节选
单视图OCT/OCTA视网膜疾病分类
目前，单视图视网膜疾病分类已通过单独使用OCT或OCTA得到了广泛研究。在OCT领域，深度学习方法被用于从结构图像中识别视网膜疾病，应用范围从早期的正常眼与AMD分类，到大规模的多类筛查，再到近期基于Transformer的分类器，这类分类器在表征学习方面取得了更大进步[7]、[17]、[18]、[19]。在OCTA领域，现有的单视图研究相对较少，主要聚焦于……

问题定义
给定一个个体级多视图OCT/OCTA数据集D={(Xi,yi)}i=1N，其中yi∈{0,…,K?1}，每个样本包含V个有序视图，记为Xi=xi,vv=1V。在标准的六视图配置中，每个视图由一个模态-视网膜层面对（m,s）来指定。此处，ILM、OPL和BM分别代表内界膜、外丛状层和布鲁赫膜。模态集合M={OCT,OCTA}，视网膜层面集合S={ILM_OPL,OPL_BM,FULL}，因此视图集合U可定义为U=M×S，U中的每个元素都是一个模态-视网膜层面对（m,s）。

数据集
OCTA-500是联合OCT–OCTA多视图疾病分类任务的主要基准数据集。其余数据集则用于具有不同目的的辅助分析：DRAC和OCTA-25K-IQA-SEG（在IQA分析中简称为OCTA-25K-IQA）是用于研究所学到的可靠性评分是否与图像质量相关的OCTA图像质量数据集，而MEMO则提供配对的EMA–OCTA图像，用于探究跨模态的对应关系。对于这些外部数据集，我们并不……

结论
本文通过提出ARTFuse-Net，解决了一个联合OCT–OCTA多视图视网膜疾病分类问题。该框架具有可靠性意识，融合了共享特征与特定特征的分离、基于解剖结构的正则化以及基于标签的拓扑对齐技术。其核心思想是在疾病分类模型内部，通过跨视图的共识来估计视图可靠性，同时以OCT–OCTA的解剖结构及类别级拓扑作为训练约束条件。在OCTA-500数据集上的实验表明，……

作者贡献声明
庄涛：负责原文撰写——初稿、验证、方法设计、形式分析、数据整理。杨林倩：负责原文撰写——审阅与编辑、方法设计、研究实施、形式分析。金忠：负责原文撰写——审阅与编辑、项目监督、概念构思。黄苏拉：负责验证、研究实施、数据整理。吴希寅：负责原文撰写——审阅与编辑、项目监督、项目管理、资金获取、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了贵州省基础研究计划（黔科合基金会[2024]青年项目094）、贵州省基础研究计划一般项目（黔科合基金会MS[2026]149）、中国国家自然科学基金委员会欠发达地区基金项目（项目编号62562065）以及中国国家自然科学基金委员会常规项目（项目编号62372238）的支持。

庄涛|杨林倩|金忠|黄苏拉|吴希寅