《Analytica Chimica Acta》：Multimodal microscopic imaging combining dual branch structure-component decoupled fusion for breast tumor image analysis and label-free intelligent diagnosis
编辑推荐：
•四种无标记显微技术，能够捕捉到互补的乳腺组织特征。•采用双分支解耦技术，分离结构和组成特征的学习。•贡献度估计提高了诊断决策的可解释性。•多模态融合框架支持对多类乳腺组织的快速智能诊断。引言乳腺癌（BC）是一种严重威胁女性健康的常见恶性肿瘤[1]。在临床上，苏木精和伊红（H&E
- •
四种无标记显微技术，能够捕捉到互补的乳腺组织特征。
- •
采用双分支解耦技术，分离结构和组成特征的学习。
- •
贡献度估计提高了诊断决策的可解释性。
- •
多模态融合框架支持对多类乳腺组织的快速智能诊断。
引言
乳腺癌（BC）是一种严重威胁女性健康的常见恶性肿瘤[1]。在临床上，苏木精和伊红（H&E）染色被广泛认为是BC诊断的“金标准”[2]。然而，染色的质量有限，常常使得在术中病理检查中难以识别癌变病灶，从而增加了误诊的风险[3,4]。此外，组织学切片的解读很大程度上依赖于病理学家的经验，这限制了诊断的效率和一致性[5]。因此，迫切需要一种快速、准确且可解释的辅助诊断方法。
近年来，无标记光学显微镜技术在乳腺组织分析中受到了越来越多的关注[6,7]。明场显微镜成像（BFMI）利用组织的固有吸收对比度来提供整体形态和背景纹理[8]。相位对比显微镜成像（PCMI）通过在明场光路中插入相位板来引入光学路径差异，增强透明组织中细胞边缘和核轮廓的可见性[9]。这是一种高效便捷的方法，可以捕捉形态细节，无需复杂的光学调整，并实现高对比度的无标记成像。荧光显微镜不需要外加染色，而是激发内源性荧光团（如NADH、黄素和卟啉）产生特定信号，揭示病理过程中的生化变化[10,11]。不同的内源性荧光团对激发波长有选择性反应，绿色荧光主要反映黄素的荧光，而蓝色荧光则选择性激发卟啉[12,13]。这两种荧光信号从不同角度提供了关于组织分子代谢的互补信息[14]。总而言之，这四种技术提供了互补的结构和分子信息。结构信息主要反映组织形态、细胞组织和微结构变化，可以通过BFMI和PCMI来捕捉。先前的研究表明，明场和基于相位的成像可以通过形态和微观结构变化来表征乳腺组织[15,16]。相比之下，组成信息描述了组织内的生化和分子变化。基于荧光的研究揭示了与乳腺病变相关的内源性荧光团和代谢成分的变化[6]，提供了超越形态评估的补充信息。研究表明，乳腺肿瘤病灶与细胞核增大、腺体结构紊乱以及内源性荧光团的含量和比例变化有关[17,18]。这些特征在肿瘤周围（P）组织、良性纤维腺瘤（F）组织和癌组织（C）之间有显著差异。
然而，单一成像模式无法同时满足结构和生化组成的双重诊断要求[19][20][21]。BFMI和PCMI对早期的生化变化不敏感，而荧光显微镜的空间分辨率不足。因此，将明场、相位对比和荧光通道集成到一个多模态框架中，构建一个结构-组分双分支融合网络，可能会克服单一模式数据的局限性，实现P、F和C组织的快速、准确和可解释的区分。
尽管多模态光学显微镜为乳腺肿瘤诊断提供了丰富的结构和组成信息，但现有的深度学习方法在充分利用和融合这些特定模式特征方面仍存在局限性[22][23][24]。传统的多模态融合策略通常依赖于简单的特征连接或加权求和，未能明确模拟结构和组成特征之间的共享和互补关系[25,26]。这往往导致融合表示冗余和区分性能有限。此外，大多数现有模型仅关注正常组织和恶性组织之间的二元分类[27]。这种方法无法满足当前对F和C之间准确高效区分的临床需求。此外，这些模型缺乏可解释性，难以确定它们的决策是依赖于形态学还是生化线索。
为了解决这些问题，提出了一种双分支结构-组分解耦的多模态图像融合网络。该网络根据生物学相关性将四种成像模式分为结构分支和组成分支。共享-互补分解（SCD）模块分离了共享特征和分支特定特征，而双向交叉注意力（BCA）机制促进了分支间的特征交互。最后，贡献度估计模块输出了结构、组成和耦合贡献权重，为分类决策提供了可解释性。这种方法有望克服现有融合策略的局限性，提供稳定可靠的术中决策支持，展现出潜在的临床应用价值。
章节片段
样本准备
乳腺组织样本来自安徽医科大学第一附属医院、马鞍山人民医院和江苏省人民医院，共涉及42名患者。所有样本均获得了机构审查委员会的批准，并经过了患者的知情同意。患者的年龄范围从22岁到80岁不等。患者编号为S1-S42，其中S1-S27为BC患者，S28-S42为良性纤维腺瘤患者。
多模态图像融合与分析
图4展示了C、P和F的代表性输入级融合结果。融合图像是使用SMF模块学习到的空间权重生成的，展示了结构分支（BFMI
讨论
所提出的双分支结构-组分解耦融合网络在多模态乳腺组织图像的术中分析中实现了高分类性能和可解释性。结构分支整合了BFMI和PCMI，保留了整体组织形态，并增强了细微结构特征。组成分支结合了GFI和BFI信号，获得了分子成分的互补表示。SCD模块分离了共享特征和分支特定特征
结论
本研究提出了一种基于多模态显微镜的双分支结构-组分解耦融合网络，用于乳腺组织病变的快速术中诊断。通过将BFMI、PCMI、GFI和BFI整合到一个统一的融合框架中，该网络能够结合来自互补成像模式的形态学、相位相关和内源性荧光信息。网络有效地整合了结构和分子信息，实现了高效的协同作用
CRediT作者贡献声明
丁朝阳：撰写 – 原始草稿、方法论、研究。丁胜：资源、资金获取。吴金金：方法论。朱建波：软件。裴静：资源、资金获取。刘崇艳：资源。上林伟：监督、资金获取。王慧杰：监督、资金获取。尹建华：撰写 – 审稿与编辑、监督、资金获取、概念化。
利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文所报告的工作。
致谢
作者感谢国家自然科学基金（62375127, 62105147）；江苏省优秀博士后计划对上林伟的支持（2024?ZB-380486）；安徽省健康科学研究项目的资助
丁朝阳|丁胜|吴金金|朱建波|裴静|刘崇艳|上林伟|王慧杰|尹建华
