《Knowledge-Based Systems》：Mamba-MVQ: Aligning mixed-precision quantization with Mamba for efficient multimodal reasoning
编辑推荐：
多模态大语言模型（Multimodal Large Language Models, MLLMs）近来在广泛的多模态理解与推理任务中取得了显著进展，包括视觉问答、图像对话和跨模态推理。通过将强大的大语言模型与视觉编码器相结合，这些系统展现出强大的语义泛化
多模态大语言模型（Multimodal Large Language Models, MLLMs）近来在广泛的多模态理解与推理任务中取得了显著进展，包括视觉问答、图像对话和跨模态推理。通过将强大的大语言模型与视觉编码器相结合，这些系统展现出强大的语义泛化能力和日益灵活的多模态交互能力。然而，尽管性能令人印象深刻，MLLMs的庞大规模计算复杂度和内存占用仍是其可扩展且经济高效部署的主要障碍。因此，在保持多模态推理能力的同时提高MLLMs的效率，既是一个技术上重要、又具有实际意义的研究问题。为缓解大型多模态模型的效率瓶颈，现有研究主要探索了低比特量化、高效序列建模和令牌缩减机制等方向。然而，将这些策略直接应用于MLLMs仍面临挑战：第一，多模态推理关键依赖于保持视觉与语言流之间的语义一致性，而激进压缩极易干扰跨模态交互；第二，现有量化方法主要针对大语言模型开发，未明确考虑Mamba风格多模态架构的结构特征；第三，仅令牌缩减只从输入侧提升效率，无法完全解决多模态骨干内部的大量计算负担。基于上述观察，研究人员提出了基于Mamba的多模态视觉-语言量化框架（Mamba-based Multimodal Vision-Language Quantization, Mamba-MVQ），一种新的高效多模态推理框架，将Mamba架构与对齐感知混合精度量化相统一。其核心思想是从架构、数值精度和令牌冗余三个互补视角共同优化效率。具体而言，框架采用Mamba作为多模态序列建模骨干，利用其相对传统Transformer架构的线性复杂度优势；在此之上，设计细粒度混合精度量化策略，对语义关键的跨模态交互模块（如视觉投影层）分配较高精度，而对不敏感但计算密集的组件（如Mamba块内的线性层）采用更激进的低比特量化；进一步引入基于视觉-语言对比学习的对齐感知校准目标，在压缩过程中显式保持多模态一致性；此外，结合动态令牌合并以减少冗余视觉令牌。通过协同设计，Mamba-MVQ在不显著牺牲模型能力的前提下实现高效多模态推理。本工作的主要贡献有三方面：（1）提出了首个将对齐感知混合精度量化与基于Mamba的多模态架构系统集成的高效MLLM推理框架；（2）提出细粒度量化机制及对齐保持校准损失，使模型在激进压缩下更好地维持跨模态语义一致性；（3）通过结合线性复杂度Mamba序列建模与动态令牌合并，从骨干计算和输入令牌冗余两方面共同降低推理成本。
**论文解读文章**
**研究背景与问题**
多模态大语言模型（Multimodal Large Language Models, MLLMs）已在视觉问答、图像对话和跨模态推理等众多任务中取得显著成功，展现出强大的语义泛化与多模态交互能力。然而，其巨大的计算复杂度和内存占用成为规模化及经济高效部署的主要障碍。现有提高效率的研究方向包括低比特量化、高效序列建模和令牌缩减机制，但这些方法各自存在不足：量化方法主要面向纯文本大语言模型，未考虑多模态交互层对语义的敏感性；令牌缩减仅优化输入侧，无法解决骨干网络内部计算负担；新兴的状态空间模型（State Space Model, SSM）架构如Mamba虽具线性时间推理优势，但已有研究主要关注架构替换，较少与部署导向的模型压缩结合。因此，如何在不明显损失多模态推理能力的前提下，从架构、精度和令牌冗余三个层面联合优化效率，是一项亟待解决的重要问题。
**研究工作与结论**
针对上述挑战，研究人员提出了Mamba-MVQ（Mamba-based Multimodal Vision-Language Quantization）统一框架，将Mamba架构与对齐感知混合精度量化、动态令牌合并相结合。核心思路是从三个互补视角协同优化：采用Mamba作为多模态序列建模骨干，利用其线性复杂度优势；设计细粒度混合精度量化策略，对语义关键的跨模态交互模块（如视觉投影层）分配8比特精度，对计算密集但相对鲁棒的组件（如Mamba块内线性层和Feed-Forward子层）采用4比特量化；引入基于视觉-语言对比学习的对齐感知校准（Alignment-Aware Calibration, AAC）目标，在压缩中显式保持跨模态语义一致性；并通过动态令牌合并（Dynamic Token Merging, DTM）减少冗余视觉令牌。实验结果表明，Mamba-MVQ在MMBench和OpenCompass上实现了极具竞争力的效率-精度平衡：将内存占用降至全精度模型的23.8%，压缩率达76.2%，推理延迟降至121.4毫秒，吞吐量提升至8.24样本/秒，同时平均性能下降仅1.85个百分点，显著优于同等压缩强度下的量化基线。该框架证明了联合优化模型结构、数值精度和令牌冗余是实现高效多模态推理的有效途径。
**关键技术方法**
研究人员采用了三项核心技术：（1）Mamba骨干：采用选择性状态空间机制实现线性时间序列建模，复杂度为O(ndm)，其中n为序列长度，d为隐藏维度，m为状态维度，避免Transformer的二次复杂度；（2）对齐感知混合精度量化：根据层语义敏感性γ
?将参数分为8比特与4比特集合，引入包含特征一致性损失L
feat与对比对齐损失L
con的校准目标L
align，仅优化量化参数并冻结预训练骨干；（3）动态令牌合并：依据令牌间余弦相似度和显著性分数对视觉令牌进行合并，压缩视觉令牌序列后再进入多模态融合。实验基于7B规模Mamba多模态骨干，在MMBench和OpenCompass官方测试集上评估，并使用消融研究验证各组件贡献。
**研究结果**
**总体性能比较**：在MMBench和OpenCompass基准上与全精度模型、通用量化方法（SmoothQuant、AWQ、OmniQuant、EfficientQAT）及令牌压缩方法（ToMe、VL-Mamba、AIM）对比，Mamba-MVQ取得了最佳部署效率，内存占用仅23.8%、延迟最低121.4毫秒、吞吐量最高8.24样本/秒，平均性能下降仅1.85个百分点，优于所有压缩基线。
**组件式分析**：通过逐步添加Mamba骨干、混合精度量化、对齐感知校准和动态令牌合并，验证了各组件贡献。单独使用Mamba骨干使延迟从186.4降至148.1毫秒；引入量化后内存大减但性能下降；加入AAC后性能明显恢复且不增加内存；加入DTM进一步降低延迟，完整模型实现最佳综合权衡。
**整体能力轮廓**：雷达图显示全精度模型仅在原始精度上有优势，而Mamba-MVQ在内存缩减、延迟、吞吐量等效率维度上全面领先，具有更均衡的多维度表现。
**跨基准泛化**：在SEED-Bench、MM-Vet和HallusionBench上，Mamba-MVQ保持有竞争力的精度，并获得最低幻觉率8.7%，表明对齐感知压缩有助于保持可靠的跨模态基础。
**帕累托分析**：散点图显示Mamba-MVQ位于最有利区域，同时实现最小内存占用、最低延迟和最高吞吐量，且靠近帕累托前沿。
**渐进式贡献**：分解显示量化引入明显性能下降，AAC恢复大部分损失，DTM进一步优化延迟，验证了联合设计的互补性。
**校准与可靠性**：Mamba-MVQ在ECE、NLL和Brier Score上均优于所有对比方法，甚至超过全精度模型，说明校准目标有效减小了量化引起的表征漂移和置信度失真。
**长序列扩展**：随着序列长度增长，基于Mamba的方法延迟增幅显著低于Transformer基线，Mamba-MVQ在所有测试序列长度下均保持最低延迟。
**位宽与令牌压缩敏感性**：精度与令牌保留的联合分析显示适度压缩区域性能稳定，过度压缩导致性能快速下降；Mamba-MVQ选定的工作点位于效率高且精度损失可控的区间。
**部署压力测试**：在内存预算逐步收紧的条件下，Mamba-MVQ在严格预算下依然可行且得分最高，而全精度模型在中等预算下即不可运行。
**统计显著性分析**：在MMBench上五次独立运行结果经McNemar检验与配对t检验，AAC组件带来的性能提升和DTM带来的延迟降低均具有统计显著性。
**总结讨论与结论翻译**
总结讨论：研究结果表明，部署效率不仅是工程约束，更应作为与表示质量和跨模态保真度同等重要的内在建模目标。Mamba-MVQ的意义在于证明了可扩展的多模态智能来源于架构、对齐和推理的协同设计。但研究也存在局限：当前评估主要针对分类式基准，在开放式生成任务中激进压缩可能导致更明显的性能退化；混合精度与令牌合并策略尚未实现任务自适应。未来工作将扩展至生成式与序列多模态任务，探索自适应精度分配和动态令牌保留策略。
结论翻译：本文提出了Mamba-MVQ，一个融合Mamba序列建模、对齐感知混合精度量化和动态令牌合并的高效多模态推理统一框架。通过将架构效率与压缩感知的跨模态保持显式耦合，所提方法解决了MLLMs中的一个核心挑战：如何在不大幅损害语义对齐和推理能力的前提下显著降低部署成本。在标准多模态基准和补充效率分析上的广泛实验表明，Mamba-MVQ在精度、内存缩减、运行效率和可靠性之间持续实现强平衡，从而展示了在统一框架内联合优化模型结构、数值精度和令牌冗余的实际价值。
