基于MixCropMask增强与深度混合级融合的多模态人脸防伪域泛化研究

推荐：针对多模态人脸防伪(FAS)中模态不可靠性和数据不平衡问题，研究人员提出MMDGFAS框架，结合MixCropMask增强(MCMA)策略和深度混合级融合技术，显著提升模型在未知攻击场景下的泛化能力，实验显示平均HTER降至12.73%，AUC达91.49%，为跨域安全认证提供新思路。

　　

人脸识别系统在支付、安防等关键领域的广泛应用，使其成为伪造攻击的重灾区。从纸质照片到3D面具，攻击手段不断升级，而现有基于单模态RGB的防伪技术(FAS)在复杂真实场景中表现乏力。更棘手的是，多模态传感器(如红外、深度)虽能捕捉更多伪造痕迹，但跨域部署时面临两大"拦路虎"：一是不同传感器在环境变化下产生模态不可靠性(Modality Unreliability)，导致特征融合失真；二是各源域数据质量与分布差异引发模态失衡(Data Imbalance)，使模型偏向主导域而忽略关键信息。这些问题使得现有方法在WMCA、CASIA-SURF等跨域测试中性能骤降20%以上。

针对这一挑战，上海自然科学基金支持的研究团队提出创新性解决方案。通过设计多模态域泛化框架MMDGFAS和MixCropMask增强策略(MCMA)，在四大基准数据集上实现12.73%的超低平均HTER(半总错误率)，较现有技术提升近30%。该成果发表于《Engineering Applications of Artificial Intelligence》，为动态环境下的生物认证安全树立新标杆。

研究采用三项核心技术：1) 多流CNN架构独立处理各模态特征，结合SK-Bottleneck模块(选择性核卷积)动态调整感受野，缓解跨模态干扰；2) 深度混合级融合策略在空间/通道维度分层整合互补信息；3) MCMA通过随机裁剪-掩码链式增强生成语义一致的多样化样本，特别采用局部掩码技术模拟Dropout效应，打破模型对特定区域的依赖。实验数据来自CASIA-CeFA(C)、PADISI-Face(P)等四大多模态数据集，涵盖柔性面具、化妆攻击等21类欺骗手段。

方法论与结果
SK-Bottleneck设计：将传统Bottleneck中的3×3卷积替换为SKConv，通过注意力机制自适应融合多尺度特征。测试表明该模块使跨模态特征对齐误差降低18.6%。
深度混合级融合：在浅层保留细节纹理，深层强化语义关联。在WMCA数据集上，该策略使柔性面具检测准确率提升至89.2%。
MCMA增强效果：通过亮度抖动-随机裁剪-局部掩码的三阶段增强链，在数据不平衡最严重的PADISI-Face数据集上，模型对少数类(如纹身攻击)的召回率提高34.5%。

结论与展望
该研究首次系统解决多模态FAS中的域偏移难题，通过MMDGFAS框架与MCMA的协同作用，在保持91.49% AUC(曲线下面积)的同时显著降低跨域错误率。特别是SK-Bottleneck对深度模态的动态适应能力，为多光谱生物特征处理提供新范式。未来工作将探索脉冲神经网络(SNN)在模态融合中的应用，以进一步提升实时检测效率。这项技术对金融级活体认证、边境智能通关等场景具有重要实践价值，标志着生物防伪技术从"实验室精准"迈向"现实世界鲁棒"的关键突破。