《Sensors》：Multi-Granularity Distillation of Intervention Sensitivity Representations for Multimodal Large Language Models
编辑推荐：
现有的多模态大语言模型（MLLM）知识蒸馏方法主要对齐输出分布或中间表征，但很少监督预测如何依赖局部视觉证据，这一局限可能阻碍细粒度感知与组合推理的迁移。研究人员提出了因果与多源视觉归因蒸馏（CMVAD），在蒸馏过程中迁移教师模型衍生的视觉证据。区域级干预首先
现有的多模态大语言模型（MLLM）知识蒸馏方法主要对齐输出分布或中间表征，但很少监督预测如何依赖局部视觉证据，这一局限可能阻碍细粒度感知与组合推理的迁移。研究人员提出了因果与多源视觉归因蒸馏（CMVAD），在蒸馏过程中迁移教师模型衍生的视觉证据。区域级干预首先估计token级因果视觉归因，识别影响每个生成token的图像区域。因果证据适配器获取（CEAF）模块联合建模token重要性与语义交互，将多源因果证据自适应聚合为统一表征。多粒度归因蒸馏（MAD）目标通过全局证据分布对齐、关键区域对齐与证据排序一致性迁移该表征。在通用视觉问答（VQA）与组合推理基准上的实验表明，CMVAD优于现有MLLM蒸馏方法，在保留竞争性视觉问答性能的同时，在组合推理上取得更大提升。跨教师–学生架构的结果证明了其泛化性。研究人员进一步通过VisDrone无人机目标检测进行总体对比评估，为CMVAD在无人机影像中目标识别与定位的适用性提供补充证据。
研究背景与问题方面，多模态大语言模型（MLLM，融合视觉编码器与语言模型的多模态人工智能系统）通过整合视觉感知与语言生成能力，支持视觉问答、图像描述与视觉推理等复杂任务，然而其庞大的计算与内存需求严重制约了在资源受限平台上的实际部署。为解决该问题，知识蒸馏（KD，将大型教师模型知识迁移至紧凑学生模型的压缩技术）成为重要的技术路径，但现有方法主要聚焦于对齐教师与学生模型的输出分布、中间表征、注意力模式或跨模态交互。尽管这些形式化对齐在常规视觉问答基准上取得了一定改进，却未能直接约束哪些图像区域对模型预测具有因果影响，导致学生模型可能在复现教师答案时依赖不同的图像区域或语言先验，即产生视觉证据不匹配问题。这种缺陷对于需要精确关联物体属性与关系的组合推理任务尤为致命，同时在无人机（UAV，搭载传感器的无人航空平台）航拍影像中，小目标识别与定位往往依赖于杂乱背景中的微小局部区域，现有蒸馏机制难以保证紧凑模型在知识迁移过程中保留任务相关的细粒度视觉感知能力，因此亟需探究教师模型对局部视觉信息的依赖性能否作为有效监督信号，以补充并增强常规蒸馏目标。
围绕上述问题，研究人员开展了基于因果与多源视觉归因蒸馏（CMVAD，Causal and Multi-source Visual Attribution Distillation，融合因果归因与多源证据迁移的蒸馏框架）的系统性研究，通过将决策关键视觉证据显式引入蒸馏过程，突破了传统结果级对齐的局限。该框架首先利用区域级干预估计教师模型的token级因果视觉归因，进而通过专门设计的证据聚合模块将多源视觉证据融合为统一表征，最终采用多粒度归因蒸馏策略实现分层迁移。研究得出结论：CMVAD在通用视觉问答与组合推理任务上均显著优于现有蒸馏方法，尤其在组合推理上提升幅度更大，且在不同教师-学生模型配置下表现出良好的泛化性与可扩展性；补充实验进一步验证了其在无人机目标检测领域的适用潜力。该研究的意义在于将知识蒸馏从单纯的输出或特征匹配扩展至视觉证据迁移的新范式，使学生模型不仅能够获得预测一致性，更能继承教师模型背后的视觉推理机制，为复杂视觉推理能力的压缩与迁移提供了全新思路。
为开展上述研究，研究人员主要依托以下关键技术方法与数据资源：在视觉证据构建阶段，通过区域级干预（对图像局部区域执行掩码、模糊或替换以估计因果效应）估计token级因果视觉归因，并将原始归因分数经平滑与温度系数调节转化为非负概率分布；在证据聚合阶段，采用因果证据适配器获取（CEAF，Causal Evidence Adapter Fetch）模块，联合建模token重要性权重与成对语义交互，将多源token级因果证据聚合为统一的教师侧视觉证据表征，学生模型则借助轻量化归因预测头直接估计证据分布；在知识迁移阶段，引入多粒度归因蒸馏（MAD，Multi-granularity Attribution Distillation），从全局证据分布对齐、关键区域对齐与证据排序一致性三个粒度对视觉知识进行分层监督。实验采用GQA、TextVQA、MME、SugarCrepe等公开基准，并在VisDrone2019-DET无人机目标检测数据集上开展补充验证；训练流程采用SigLIP-so400m-patch14-384视觉编码器并遵循三阶段训练策略。
在对比实验中，研究人员发现CMVAD在约2B参数规模的学生模型上取得了63.8%的通用视觉问答平均准确率，较代表性基线LLaVA-KD-2B提升2.3个百分点；在SugarCrepe组合推理基准上达到83.6%的准确率，较LLaVA-KD-2B提升8.3个百分点，较其他2B级模型最高领先16.6个百分点，表明该方法在细粒度组合推理上的优势尤为突出。在蒸馏方法与区域干预策略的对比中，CMVAD在GQA、TextVQA、MME及SugarCrepe上均取得最优性能，验证了证据感知蒸馏相较于传统输出对齐及注意力迁移的优越性。消融实验表明，单独使用CEAF模块即可使SugarCrepe准确率从76.3%提升至81.7%，证实了因果视觉证据建模的有效性；而单独使用MAD模块则在GQA、TextVQA与MME上分别带来3.2、5.7与5.5个百分点的性能提升，证明了多粒度归因蒸馏策略的独立有效性。可扩展性实验显示，当固定教师模型为Qwen1.5-4B时，将学生模型从Qwen1.5-0.5B扩展至Qwen1.5-1.8B，可使通用视觉问答平均得分提升6.4个百分点，SugarCrepe准确率提升12.0个百分点；进一步将教师模型替换为容量更大的Qwen2.5-7B后，SugarCrepe准确率进一步提升至84.5%，表明更强教师模型能够提供更高质量的监督信号。在VisDrone无人机目标检测评估中，CMVAD多次独立运行取得（62.00 ± 0.70%）mAP@0.50与（39.00 ± 0.36%）mAP@[0.50:0.95]，95%置信区间分别为[60.26, 63.74]与[38.10, 39.90]，较小的标准差表明该方法在多次独立实验中保持了稳定的检测性能。可视化分析通过热力图直观展示了CMVAD相较于基线模型更关注决策相关的关键图像区域，进一步佐证了其对局部视觉证据的精准捕捉能力。
讨论部分强调，仅依赖输出监督的传统知识蒸馏不足以有效迁移多模态大语言模型的视觉推理能力，CMVAD通过整合因果视觉证据建模与多粒度视觉证据蒸馏，显著增强了学生模型的视觉感知与组合推理能力。研究结论翻译与总结如下：干预衍生的视觉监督信号与常规的输出分布及中间表征对齐形成有效互补，通过token级视觉监督、多源证据聚合与多粒度对齐的有机结合，CMVAD有效改善了紧凑学生在视觉问答与组合推理基准上的综合表现；补充开展的VisDrone无人机目标检测评估进一步拓展了该方法在航拍影像目标识别与定位任务中的适用性验证。上述发现共同支持了核心结论，即显式迁移教师模型对局部视觉信息的依赖性，对于在资源受限场景下实现紧凑多模态大语言模型的高质量知识迁移与视觉推理保持具有重要价值。
