非目标偏差假设:探究跨模态知识蒸馏中的模态差异

《Neural Networks》:Non-target Divergence Hypothesis: Toward Understanding Modality Differences in Cross-Modal Knowledge Distillation

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  陈一龙|徐宗义|黄晓水|赵珊珊|高新波重庆邮电大学图像认知重点实验室,中国重庆市崇文路2号,400065摘要与单模态知识蒸馏(KD)相比,由于模态差异的存在,跨模态KD更具挑战性。然而,这些差异如何影响跨模态KD仍缺乏充分理解。在本文中,我们提出了“非目标差异假设”(NTDH),

  
陈一龙|徐宗义|黄晓水|赵珊珊|高新波
重庆邮电大学图像认知重点实验室,中国重庆市崇文路2号,400065

摘要

与单模态知识蒸馏(KD)相比,由于模态差异的存在,跨模态KD更具挑战性。然而,这些差异如何影响跨模态KD仍缺乏充分理解。在本文中,我们提出了“非目标差异假设”(NTDH),该假设认为模态差异主要通过非目标类别预测的差异来影响跨模态KD,并且较小的非目标差异会导致学生模型更好的性能。我们进一步基于Vapnik-Chervonenkis(VC)理论提供了理论分析,推导出了跨模态KD误差的上界,从而支持了这一假设。在五个跨模态数据集上的广泛实验验证了NTDH的有效性、通用性和实际相关性。

引言

近年来,跨模态知识蒸馏(KD)将传统的KD方法扩展到了多模态学习领域,并在各种应用中取得了显著成果(Jing等人,2025年;张、余、王、田、余、李、宁,2025a年;张、唐、关,2022年)。然而,目前大多数跨模态KD方法主要关注复杂的融合策略(Ding等人,2022年;孙等人,2024年)或损失函数的设计(Tung和Mori,2019年;赵等人,2022年),缺乏对“跨模态KD为何有效或无效”的根本机制的深入理论研究。现有的理论研究主要从模型容量差异(Cho和Hariharan,2019年;Tang等人,2020年)和架构(归纳偏差)差异(Ren等人,2022年)的角度探讨单模态KD。然而,对于存在模态差异的KD,即正式的跨模态KD,相关分析仍然是一个未解决的问题。
在少数尝试探索这一机制的研究中,Xue等人(2023年)提出了“模态聚焦假设”(MFH)。该假设认为跨模态KD的性能取决于教师网络中保留的跨模态通用关键特征的比例;这一比例越高,学生网络的性能越好。Fushuo Huo等人(2024年)发现跨模态KD的失败可能归因于软标签不对齐。然而,上述研究存在两个主要问题:(1)结论仅通过实验验证,缺乏理论支持。例如,MFH中提到的跨模态通用关键特征难以量化,这在实际应用中识别这些特征是一个重大挑战。此外,软标签不对齐问题仅通过计算软标签的平均Kendall等级相关系数(KRC,Kendall,1948年)来说明多模态软标签之间的不对齐,但缺乏数学证明。(2)实验设计缺乏有效的变量控制。在研究模态差异对跨模态KD的影响时,其他因素(如模态对齐、模态平衡、模型容量和架构差异)没有得到有效控制。例如,在VGGSound数据集中(Chen等人,2020年),由于模态不平衡,声音分类的准确率高于图像分类。因此,Huo等人(2024年)提到的软标签不一致可能源于模态不平衡而非模态差异本身。此外,在MFH验证实验中,音频使用全连接层,图像使用2D卷积层,这使得结果难以仅归因于模态差异。
为了解决上述挑战,我们不仅提供了理论分析和证明,还在实验阶段消除了潜在的混淆因素——如模态对齐、模态平衡、模型容量和架构差异。通过这些改进,我们旨在探索传统KD方法在跨模态KD中经常失败的原因。我们发现非目标类别预测的差异是一个关键因素,差异越小,学生网络的性能越好。基于这一发现,我们提出了非目标差异假设(NTDH)。为了快速理解NTDH,我们以成对的图像和LiDAR语义分割任务为例。具体来说,我们关注“道路”的预测,如图1顶部所示。图1底部的维恩图展示了两种模态下“道路”的预测结果,分为两部分:(1)深蓝色重叠区域,代表目标类别预测,即“道路”与“非道路”之间的二分类;(2)浅蓝色非重叠区域,代表非目标类别预测,即除“道路”之外的所有其他类别的多类预测。根据NTDH,如果非重叠区域存在显著差异——意味着非目标类别预测的差异较大——跨模态KD的有效性会显著降低,在某些情况下,蒸馏过程甚至可能失败。
我们工作的贡献可以总结如下:
  • 1)
    我们提出了NTDH,认为由模态差异引起的非目标类别预测的差异是影响跨模态KD有效性的关键因素。
  • 2)
    我们证明了跨模态KD误差的上界,从而验证了NTDH的合理性。
  • 3)
    我们在五个多模态数据集上进行了系统评估,结果支持NTDH的有效性。

章节片段

单模态KD

KD是一种将知识从教师网络传输到学生网络的一般技术,广泛应用于各种视觉任务(Chen等人,2025年;Wu等人,2025年)。近年来,研究人员不仅在改进蒸馏技术和扩展应用领域方面取得了显著进展,还在逐步探索KD的潜在机制(例如,Cho和Hariharan(2019年)以及Mirzadeh等人(2020年)的研究)。

提出的假设

在本节中,我们首先定义符号并介绍后续证明所需的假设。接下来,我们基于Scikit-learn数据集(Pedregosa等人,2011年)的实验结果详细解释了非目标差异假设(NTDH)。最后,我们基于Vapnik-Chervonenkis(VC)理论(Vapnik,1999年)证明了这一假设。

实验

在本节中,我们通过在五个多模态数据集上的实验来验证NTDH。首先,我们介绍了实验中使用的数据集和网络模型。接下来,我们详细阐述了实验设计和方法论。最后,我们评估了NTDH的有效性,并展示了其广泛的适用性和实际价值。

结论与未来工作

在这项工作中,我们研究了模态差异在跨模态知识蒸馏中的作用,并提出了NTDH。通过理论分析和在多个多模态数据集上的广泛实验,我们表明减少非目标类别预测的差异可以一致地提高学生模型的性能。这些发现为理解跨模态知识蒸馏何时以及为何成功或失败提供了新的视角。

CRediT作者贡献声明

陈一龙:撰写——审稿与编辑,撰写——初稿。徐宗义:监督,项目管理。黄晓水:验证,方法论。赵珊珊:验证,调查。高新波:项目管理,资金获取。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号