TaFormer：基于脑电图（EEG）的情绪识别技术，采用三元组注意力变换器（triplet attention transformer）和四维特征密集表示（4D feature dense representation）
《Biomedical Signal Processing and Control》：TaFormer: EEG-based emotion recognition using triplet attention transformer and 4D feature dense representation
编辑推荐：
跨模态引导的NPC原发肿瘤分割框架通过MRI辅助训练提升CT图像分割精度，推理阶段仅需CT图像，解决多模态影像部署受限问题，实验验证其在内外部数据集上有效增强软组织感知与边界划分能力。
连正宇|宁振远|张宇|梁书军
南方医科大学生物医学工程学院，广州，中国
摘要
准确的原发肿瘤勾画对于鼻咽癌（NPC）的放射治疗计划至关重要，然而当前的临床工作流程主要仍依赖于计算机断层扫描（CT）。仅使用CT进行分割存在挑战，因为鼻咽区域的软组织对比度较低，边界模糊。尽管磁共振成像（MRI）能够提供补充的软组织信息从而提高勾画精度，但由于调度、设备限制、成本以及患者特定因素，配对的多模态成像在临床应用中往往不可用。因此，需要一种在保持仅使用CT进行推理的同时提高精度的实用临床解决方案。为此，我们提出了一种基于多模态引导的原发NPC肿瘤勾画分割框架。在训练过程中，MRI仅作为辅助指导来帮助学习与肿瘤相关的特征表示，而在推理阶段则完全依赖CT，以确保临床可行性。该框架包括三个组成部分：(i) 对齐模块（Align），通过邻域加权聚合和L1一致性约束促进跨模态特征空间的一致性（而非显式的图像空间配准）；(ii) 风格感知特征迁移模块（SAFM），将MRI的特征风格转移到CT特征中以增强对软组织的感知；(iii) 混合注意力模块（Hybrid Attention Module），整合频率域和空间域的注意力来增强边界感知能力，同时抑制噪声。在内部NPC患者队列和外部数据集上的实验表明，MRI生成的先验信息可以有效提升仅使用CT的分割效果，表明我们的方法在多模态成像不可用时具有实际应用潜力。
引言
鼻咽癌（NPC）是一种常见的头颈部恶性肿瘤，具有独特的地理分布特征，放射治疗仍然是标准治疗方法，能够为许多患者实现良好的局部控制和长期生存[1]。在放射治疗中，准确勾画原发肿瘤靶区体积对于治疗计划至关重要，因为它直接影响靶区的覆盖范围、正常组织的保护以及最终的治疗安全和效果[2]。在当前的临床工作中，规划CT仍然是剂量计算和计划优化的基础；然而，手动勾画耗时且高度依赖于操作者，导致观察者间和观察者内的差异较大。这些因素推动了可靠自动分割方法的发展，以提高NPC放射治疗的效率和一致性。
尽管基于深度学习的医学图像分割技术取得了快速进展，但仅使用CT进行NPC分割仍然具有挑战性。大多数基于CT的方法采用编码器-解码器架构（例如U-Net的变体），并结合多尺度融合和注意力机制来增强区分能力[3],[4],[5],[6],[7],[8],[9],[10]。然而，NPC肿瘤在CT图像上通常体积较小、形状不规则，与周围软组织的对比度低，并且CT本身容易受到噪声影响，软组织区分能力较弱。因此，即使是最先进的仅基于CT的模型也难以处理边界模糊和背景干扰问题，从而限制了分割的精度和鲁棒性。
MRI能够提供补充的软组织信息，显著改善肿瘤边界的勾画效果。因此，多模态辅助分割受到了越来越多的关注，利用T1CE等MRI序列来增强CT单独成像时的解剖学感知[11],[12]。然而，许多多模态方法在训练和测试阶段需要配对的CT-MRI数据（通常需要严格的配准）。这种依赖性带来了实际问题：(i) 由于设备限制、调度、成本或患者特定因素，多模态成像在临床应用中并不总是可行的；(ii) 配准不准确可能会引入不稳定因素，降低分割的可靠性。因此，理想的临床解决方案应该能够在利用MRI生成的先验信息的同时，仍然保持仅使用CT进行推理，避免依赖多模态成像的可用性或脆弱的测试时配准。
为了解决这一难题，我们提出了一种跨模态引导的分割框架，在训练阶段仅使用MRI来指导CT特征表示的学习，而在实际应用阶段则仅使用CT进行推理。我们的目标不是估计图像空间的几何变形，而是鼓励生成不受模态影响的特征表示，将MRI的补充信息转移到CT特征中。具体来说，我们引入了：(i) 对齐模块（Align），通过邻域加权聚合和轻量级的一致性约束来促进跨模态特征空间的一致性，无需显式的图像配准；(ii) 风格感知特征迁移模块（SAFM），将MRI的特征风格转移到CT特征中，以增强在仅使用CT进行推理时的软组织感知；(iii) 混合注意力模块，整合频率域和空间域的注意力来增强边界感知能力，同时抑制噪声。在内部NPC患者队列和外部数据集上的实验表明，MRI生成的先验信息可以有效提升仅使用CT的分割效果，表明我们的方法在多模态成像不可用时具有实际应用潜力。
方法
在这项研究中，我们提出了一种跨模态引导的分割框架，用于鼻咽癌（NPC）的分割，以克服CT图像中软组织对比度低和边界模糊的问题。该框架在训练阶段仅利用MRI生成的结构性先验信息来增强CT特征表示的学习，而在实际应用阶段则仅使用CT进行推理，从而保持常规CT基放射治疗工作流程的可行性。如图1所示，该框架包含三个核心组成部分：
数据集
本研究使用了两个独立的数据集。第一个数据集（内部数据集）包含249名病理学诊断为NPC的患者，获得了南方医科大学南方医院的伦理审查委员会的批准。由于研究的回顾性特性，无需签署书面知情同意书，所有数据在分析前均已匿名处理。该数据集包含了患者在接受放射治疗前拍摄的配对规划CT图像和T1加权增强MRI（T1CE）图像。
讨论
本研究提出了一种针对临床常见情况的跨模态引导的鼻咽癌（NPC）分割框架，在这种情况下，多模态成像并不完整，CT仍然是放射治疗计划的主要成像方式。该框架在训练阶段利用MRI生成的先验信息来增强CT特征表示的学习，而在实际应用阶段仅使用CT进行推理，旨在提高软组织感知能力。
结论
总之，我们提出了一种跨模态引导的鼻咽癌（NPC）分割框架，在训练阶段仅使用MRI来增强CT特征表示的学习，而在实际应用阶段仍保持仅使用CT进行推理。在内部和外部数据集上的实验表明，该框架能够提高分割的精度和鲁棒性，表明在不依赖多模态输入的情况下，可以利用MRI生成的先验信息，为未来的多模态研究提供了参考。
CRediT作者贡献声明
连正宇：撰写 – 原始草稿、可视化、验证、软件开发、项目管理、方法论、数据分析、概念化。宁振远：撰写 – 审稿与编辑、监督、资源协调、项目管理、方法论、研究设计、资金申请、数据分析、概念化。张宇：撰写 – 审稿与编辑、监督、资源协调、项目管理、方法论、研究设计、资金申请、数据分析
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
