HSGR-LungNet：一种异构空间图推理方法，用于基于CT图像的3D点云分类，可识别肿瘤相关病变、感染相关病变以及非病变肺部组织

《Information Fusion》：HSGR-LungNet: heterogeneous spatial graph reasoning for CT-derived 3D point-cloud classification of tumor-Related lesions, infection-related lesions, and non-lesion pulmonary context

　　• CT 病变被表示为具有病变意识的 3D 点云。
• 异构图模型描述了病变、边界和肺部上下文。
• 自适应融合将局部几何结构与空间拓扑结合在一起。
• HSGR-LungNet 在五个 CT 数据集上提高了准确性和鲁棒性。

**引言**
肺肿瘤和肺部感染是胸部计算机断层扫描（CT）中常见的、具有临床意义的两种胸部异常类型。准确区分肿瘤相关病变、感染相关病变和非病变肺部上下文对于计算机辅助诊断、病变监测、治疗计划和临床决策支持至关重要。肺癌仍然是全球最重要的健康问题之一，据报告，2022 年它是全球诊断最频繁的癌症类型，也是癌症相关死亡的主要原因 [1]。同时，包括病毒性和炎症性肺疾病在内的肺部感染会在 CT 上产生复杂的实质异常，这些异常可能与肿瘤相关的影像学表现重叠，从而增加自动分类的难度 [2]、[3]。胸部 CT 提供高分辨率的三维解剖信息，被广泛用于检测肺结节、肿瘤肿块、炎症性病变和感染相关的实质异常 [4]、[5]、[6]、[7]。然而，基于 CT 的可靠分类仍然具有挑战性，因为肺部病变可能表现出异质的形态、模糊的边界、可变的病变大小以及部分重叠的影像学表现。此外，人工智能辅助的 CT 研究表明，评估肺部感染通常需要将影像学模式与临床和上下文信息结合起来，这进一步突显了区分感染相关异常与其他胸部疾病的难度 [8]。

**深度学习的最新进展**
深度学习的最新进展显著改善了肺部病变的自动分析能力。端到端的三维深度学习在低剂量胸部 CT 中展示了强大的肺癌筛查潜力，最近的人工智能辅助 CT 研究进一步证明了深度模型在肺结节检测、恶性风险评估和临床决策支持方面的价值 [5]、[6]、[7]。最近，还开发了大规模的肺部 CT 基础模型，以支持多种下游任务，包括病变分割、诊断、预后预测和 CT 图像增强，表明从肺部 CT 中提取的表示方法正朝着更广泛和更通用的影像智能方向发展 [9]。现有方法通常依赖于二维 CT 断层、图像块、基于体素的三维卷积网络或全体积表示 [2]、[3]、[10]、[11]。这些方法可以从 CT 图像中提取有用的强度、纹理和语义特征，但也可能存在一些限制。基于断层的方法可能会丢失断层间的空间连续性，而密集的基于体素的模型则常常引入冗余的背景计算和高内存成本。此外，许多现有模型主要强调局部外观特征，并未明确表示病变级别的空间组织。这一限制很重要，因为肺肿瘤和肺部感染不仅在局部强度和纹理上有所不同，还在三维形态、边界特征、病变分布以及与周围肺组织的上下文关系上也存在差异。

**点云学习和图神经网络**
点云学习和图神经网络提供了从结构角度表示 CT 病变的潜在解决方案。与密集的体素网格相比，从 CT 导出的点云可以更紧凑地描述以病变为中心的三维几何结构，并减少不必要的背景计算。用于三维点云的深度学习方法在处理不规则空间数据和学习从无序点集合中提取的判别性几何表示方面表现出强大的能力 [12]。同时，图神经网络适用于建模非欧几里得关系结构，并越来越多地用于捕获复杂生物医学数据中的空间、拓扑和上下文依赖性 [13]、[14]、[15]。因此，基于图的建模可以编码病变区域、边界区域和周围肺部上下文之间的空间依赖性。然而，直接将通用的点云网络或传统图模型应用于肺部 CT 病变分类仍然不够。首先，公共胸部 CT 数据集并非最初以点云数据集的形式组织，因此需要一种具有医学意义的 CT 到点云的构建策略。其次，病变内部、病变边界和周围肺部上下文提供了不同的诊断线索，不应被视为相同的点子集。第三，空间邻近性、边界-上下文依赖性、病变共存性和形态相似性对应于不同的解剖和几何意义，但标准图模型通常以统一的方式处理图边。最后，串联组合了局部几何结构和图级表示，而没有明确构建乘积或差异特征。随后的非线性网络仍然可以学习交互作用和输入依赖的权重。本研究评估了一种显式的交互作用构建方法，而不是假设串联无法学习这些关系。

**研究动机**
基于这些观察结果，本研究将肿瘤相关病变、感染相关病变和非病变肺部上下文的分类问题表述为一个联合的几何-拓扑表示学习问题。核心假设是，通过联合建模局部三维形态和异质空间关系，可以提高 CT 导出的候选分类的准确性。具体而言，紧凑的肿瘤样病变可能通过局部密度、表面变化、边界不规则性和以病变为中心的几何结构来更好地表征，而感染相关病变可能需要更强地建模其弥漫性分布、周围受累情况以及与肺部上下文的关联。这一动机与最近基于 CT 的研究结果一致，这些研究表明病变大小、密度、形状和上下文信息对肺结节风险分层和人工智能辅助的肺部疾病评估非常重要 [5]、[9]。因此，肺部病变不应仅表示为孤立的 CT 块或均匀的点集合。相反，它们的判别性表示应整合病变内部结构、边界形态、周围肺部上下文以及特定关系的空间拓扑。在采用的弱协调注释协议下，目标标签空间包括肿瘤相关病变、感染相关病变和非病变肺部上下文。非病变肺部上下文类别指的是根据可用注释构建的非目标肺部区域，而不是临床确认的健康肺组织。

**信息融合**
HSGR-LungNet 结合了从相同 CT 数据中获取的两种表示方法。点云分支编码局部描述符，而图分支对也包含几何信息的特征应用特定关系的处理。这些分支不是独立的成像模态；消息传递和自适应融合是处理组件，而非额外的数据源。串联后接非线性网络可以学习这些表示之间的关系。所提出的模块明确构建了乘积和绝对差异特征，并将它们与自适应门控结合在一起。报告中的消融研究在采用的候选级分类协议下评估了这种架构选择。

**为应对这些挑战，本文提出了 HSGR-LungNet**，这是一种用于 CT 导出的肺部病变点云分类的异构空间图推理网络。该框架首先通过从病变内部、病变边界和周围肺部上下文进行病变感知的分层采样，将以病变为中心的 CT 区域转换为结构化的三维点云。每个点使用空间坐标、标准化 Hounsfield 单位强度、以病变为中心的距离、局部密度、表面变化和区域指标来表示。然后使用局部病变几何编码器从 CT 导出的点云中提取细粒度的形态学表示。同时，通过定义病变节点、边界-上下文节点、肺部上下文节点以及多种关系类型（包括空间邻近性、边界-上下文关系、病变共存性和形态相似性）来构建异构病变空间图。关系感知的图推理模块在不同边类型之间传递信息，几何-拓扑交互融合模块自适应地整合形态学和拓扑表示，以实现最终分类。这种设计使得所提出的模型能够在统一框架中捕获局部病变特征和高级空间组织。

**本文的主要贡献如下**：
1. 开发了一种基于 CT 的点云表示框架，用于分类肿瘤相关病变、感染相关病变和非病变肺部上下文，实现了紧凑的三维候选模型，同时减少了冗余的全体积计算。
2. 构建了异构病变空间图，以明确建模病变、边界-上下文和肺部上下文节点及其多种具有医学意义的 relación 类型，从而扩展了传统的均匀邻域建模，并在图级别实现了多关系信息融合。
3. 引入了关系感知的图推理和几何-拓扑交互融合机制，以自适应地整合局部病变形态和图级空间拓扑，改善了模糊的肿瘤-感染模式的表示。交互模块在自适应门控之前明确构建了乘积和绝对差异特征。这为测试一致性-差异解释提供了架构基础，而无需断言串联或注意力的一般限制。
4. 在多个公共胸部 CT 数据集上进行了全面实验，并将 HSGR-LungNet 与代表性的点云、基于图的、基于变压器的、基于状态空间的、自监督的和面向医学病变的基线在分类性能、鲁棒性、跨数据集泛化能力、计算效率和可解释性方面进行了比较。此外，还进行了回顾性临床应用分析，以评估该框架在候选级放射学工作流中的实际效用，包括端到端延迟分析和病例级预测可靠性。

**本文的其余部分组织如下**：
第 2 节回顾了基于 CT 的肺部病变分析、点云学习、图神经网络和空间关系建模的相关研究。第 3 节详细描述了 HSGR-LungNet，包括病变感知的点云构建、异构空间图生成、关系感知的图推理、几何-拓扑交互融合和优化目标。第 4 节介绍了数据集、评估指标、实现细节、比较实验、消融研究、鲁棒性分析和可解释性评估。第 5 节讨论了所提出框架的主要发现、局限性和潜在影响。第 6 节总结了本研究并概述了未来的研究方向。

**相关工作**
深度学习已被广泛用于胸部 CT 的肺部病变分析，特别是在肺结节检测、肺癌筛查、肺部感染识别和病变分割方面。Ardila 等人开发了一种用于从低剂量 CT 进行肺癌筛查的端到端三维深度学习系统，并证明当当前和之前的扫描一起建模时，体积 CT 信息可以改善恶性风险预测 [6]。

**方法**
本节介绍了 HSGR-LungNet，这是一种用于 CT 导出的三维点云分类的异构空间图推理网络，用于肿瘤相关病变、感染相关病变和非病变肺部上下文的分类。核心动机是，肺部病变不应仅由密集的体素网格、二维切片或均匀的点集合表示。相反，应考虑局部病变几何结构、边界形态、周围肺部上下文和特定关系的空间特征。

**实验**
本节介绍了对提出的 HSGR-LungNet 进行的实验评估，该网络用于 CT 导出的肿瘤相关病变、感染相关病变和非病变肺部上下文的分类。实验旨在评估所提出框架的有效性、鲁棒性、泛化能力、计算效率、可解释性和实际临床适用性。具体而言，评估首先介绍了采用的公共胸部 CT 数据集。

**讨论**
HSGR-LungNet 在常见的弱协调协议下获得了比评估的点云、图、变压器、基于状态空间、自监督和医学基线更高的平均性能。94.3% 的宏观 F1 分数比 SI-Mamba 高出 2.8 个百分点，在准确性、宏观 F1 分数、宏观 AUROC 和宏观 AUPRC 方面，五次运行的对比都具有显著性。这些结果支持了几何-拓扑建模在候选级区分中的改进作用。

**结论**
本研究提出了 HSGR-LungNet，用于从 CT 导出的三维点云中进行肿瘤相关病变、感染相关病变和非病变肺部上下文的候选级分类。在常见的评估协议下，病变感知的分层采样、关系感知的图推理和几何-拓扑交互融合产生了互补的增益。完整模型的平均值为 94.8% 的准确率、94.3% 的宏观 F1 分数、96.8% 的宏观 AUROC 和 94.6% 的宏观 AUPRC。

**作者贡献**
概念化：Ye Zhang, Mingshan Xue 和 Shaoqiang Li；方法论：Ye Zhang, Mingshan Xue, Ziyang Xia 和 Zhenxing Wang；软件：Zhenxing Wang；验证：Lei Liu, Jiaqi Zhang 和 Ziyang Xia；形式分析：Jiaqi Zhang, Ziyang Xia 和 Zhenxing Wang；调查：Ye Zhang, Lei Liu, Jiaqi Zhang 和 Mingshan Xue；资源：Ye Zhang, Mingshan Xue 和 Shaoqiang Li；数据管理：Lei Liu, Jiaqi Zhang 和 Ziyang Xia；写作-原始草稿准备：Ye Zhang 和 Mingshan Xue。

**数据和代码可用性**
本研究分析的所有成像数据均来自参考文献 [33]、[34]、[35]、[36]、[37] 中描述的源项目：LIDC-IDRI、LUNA16、医学分割十项赛肺肿瘤任务、COVID-19 CT 肺部和感染分割数据集以及 MosMedData。访问受相应仓库条款的约束。分析代码、特定研究的纳入、排除、标签映射和分割清单、基线源快照、实验配置等。

**资助**
本研究由广东省专项支持计划项目 2024（授权号 0720240254）资助。

**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文的工作。