基于标签语义驱动特征交互增强的多标签舌象分类方法及其在中医智能诊断中的应用

本文提出一种标签语义驱动的特征交互增强框架（LSDFIE），通过跨模态融合模块（CMFFM）和图像模态注意力增强模块（IMAEM）解决多标签舌象分类中语义信息利用不足与层次特征协同机制缺失的问题，在MlLTID和Tooth-Marked数据集上分别达到93.02%和95.33%的mAP，显著提升中医（TCM）舌诊智能化水平。

　　

^研究亮点

• 本研究提出一种名为标签语义驱动特征交互增强（LSDFIE）的多标签舌象分类框架。通过模块间协同作用，LSDFIE缩小了语义间隙，并生成蕴含上下文信息的实例级表征。将这些实例级表征与空间级表征聚合后，可形成判别性更强的特征集，从而实现多标签舌象的鲁棒分类。在特征提取和聚合阶段，该方法采用两个关键组件：正交通道注意力（OCA）模块和内容引导注意力（GCA）模块。OCA模块解耦通道响应，迫使不同通道关注语义独立的舌象信息，此举增强了特征语义判别力，并为网络提供了更高质量、更具判别性的输入特征。同时，GCA模块聚合多层级特征，它使聚合特征的通道注意力权重与空间注意力权重相互交互，并自适应引导模型关注重要信息，从而强化模型捕获全局上下文信息的能力，生成更具判别力的分类特征表征。

• 提出了一种联合优化实例级特征增强表征与最终网络输出的训练策略。该策略使模型能更有效地捕捉舌象数据中的实例级语义信息和空间细节。通过这两种表征的协同学习，网络的学习效率得到显著提升。

^{结论与未来工作}

本研究针对多标签舌象分类提出了一种新颖的LSDFIE分类框架。现有方法常受限于低效的跨模态特征交互和单层级特征对多类目标识别的不足。为解决这些问题，我们设计了一个跨模态特征融合模块，该模块在标签语义的引导下生成蕴含局部细粒度特征的实例级表征。随后，图像模态注意力增强模块利用空间级表征与实例级表征间的相关性，进一步丰富实例级表征的语义内容。最终，通过内容引导注意力（CGA）模块实现多层次表征的交互与融合，生成判别性更强的特征集用于分类。实验结果表明，所提方法在多个数据集上均实现了优越的分类性能，展现了出色的泛化能力。未来工作将探索更高效的跨模态交互机制，并推动该框架在临床辅助诊断中的实际应用。