融合强化学习与DenseNet的多模态人脸与耳 sequential authentication（顺序认证）方法

《Mathematics》：Image-Based Waste Classification Using a Hybrid Deep Learning Architecture with Transfer Learning and Edge AI Deployment Domen Verber, Teodora Grneva and Jani Dugonik

　　

摘要：研究人员提出一种基于强化学习(Reinforcement Learning, RL)引导的深度特征选择与sequential multimodal verification（顺序多模态验证）框架，用于提升人脸与耳部图像融合认证系统的精度与安全性。该方法采用DenseNet架构从可见光人脸及耳部图像中提取判别性特征，并通过可微分度量学习优化类内紧凑性与类间可分性。引入RL智能体动态调节各模态的决策阈值τf与τe，并设计分段奖励函数以抑制False Acceptance Rate(FAR)重于False Rejection Rate(FRR)。实验结果表明，该sequential strategy（先人脸后耳顺序验证）结合RL优化之阈值，较单一模态及传统固定阈值融合方案显著降低FAR且维持高Genuine Acceptance Rate(GAR)，验证了RL辅助特征选择与自适应决策在multimodal biometric authentication（多模态生物认证）中的有效性。

论文解读：基于强化学习与DenseNet的顺序多模态人脸-耳部认证研究

一、研究背景与意义

传统单模态生物认证易受光照、遮挡、假体攻击影响，且固定决策阈值难以兼顾安全性与可用性——降低False Acceptance Rate(FAR)常致False Rejection Rate(FRR)升高。多模态融合可提升鲁idity，但静态融合权重与阈值缺乏适应性。现有深度特征提取多依赖Softmax损失，对类内变异抑制不足。该研究发表于《Mathematics》，提出将DenseNet特征提取、度量学习约束与Reinforcement Learning(RL)阈值调控结合的sequential face-ear authentication（顺序人脸-耳部认证）模型，旨在以RL agent解决阈值自适应问题，以metric learning增强DenseNet判别力，对提升非接触式多模态认证系统实用性具重要参考价值。

二、主要关键技术方法

研究人员选用UND-J2与USTB-Hello Ear数据集之人脸与耳部可见光谱图像构建配对多模态样本队列。技术路线含四部分：(1) DenseNet-121作特征提取backbone，输出经Global Average Pooling(GAP)得特征向量h；(2) 加Triplet Loss或Contrastive Loss进行metric learning（度量学习），缩小同类、推远异类特征距离；(3) Sequential verification（顺序验证）：先判人脸后判耳，双模态独立输出后验概率P_f(y|x^f)、P_e(y|x^e)，均超阈值方接受；(4) 建模为Markov Decision Process(MDP)，RL agent观测状态s_t={c^face_t, c^ear_t, τ_t}，动作空间A={增大τ, 减小τ, 接受, 拒绝}，奖励函数对False Accept罚?5、False Reject罚?1、正确认证奖+1，通过Q-learning或Policy Gradient学最优π^*=argmax_πE[Σ_t=0^Tγ^tr_t]，γ∈(0,1)为折扣因子。

三、研究结果

3.1 Feature Extraction Using DenseNet

研究人员以DenseNet每层dense block实现特征重用与增强，输入人脸/耳图归一化至224×224，经Batch Normalization(BN)与Rectified Linear Unit(ReLU)激活，最终特征向量h由GAP生成。实验显示DenseNet较VGG/ResNet在同数据量下具更高Retrieve Rank-1 accuracy。

3.2 Similarity Measure and Sequential Authentication Strategy

定义相似度?h_k/?h_l衡量特征区分度。Sequential decision rule：若P_f(y|x^f)≥τ_f且 P_e(y|x^e)≥τ_e则预测?=y（接受），否则拒绝。此级联策略在人脸未过阈值时即终止，节省计算并降FAR。

3.2.2 Sequential Authentication Strategy

同上顺序判断机制，τ_f、τ_e为各模态专属阈值，初始值由验证集ROC曲线取Equal Error Rate(EER)点，后续交RL动态调整。

3.2.3 RL-Based Optimization

RL组件不改变DenseNet权重，仅依当前置信分与τ调动作。Reward function：r_t=+1（真接受/True Accept）、r_t=?1（错拒/False Reject）、r_t=?5（错受/False Accept），重罚FAR以符合安防需求。MDP五元组M=(S, A, P, R, γ)，其中S为含face/ear置信分与当前τ之状态集，A含微调τ与终判动作，P为状态转移概率，R为上述奖励，γ折扣未来奖励。

3.3.1 State Space(S)

s_t={c^f(ace)·c(x^f,x^f+), c^e(ar)·c(x^e,x^e+), τ_t}，前者为face modality归一化相似度得分，后者为ear modality，τ_t为第t步自适应阈值。

3.3.2 Action Space(A)

A={a₁: Increase τ, a₂: Decrease τ, a₃: Accept, a₄: Reject}，前两者连续微调阈值以探索最优operating point，后两者终结当前认证episode。

3.3.3 Reward Function(R)

R(s_t,a_t)如上分段定义，对False Acceptance(FA)给?5重惩罚以优先保障系统安全，对False Rejection(FR)给?1轻惩罚平衡可用性，正确接受+1鼓励通过。

四、讨论与结论

研究人员得出结论：(1) DenseNet结合metric learning可有效提取人脸与耳部判别特征，缓解深层网络训练局限；(2) Sequential multimodal verification较并行融合减少无效计算并抑制spoof attack影响；(3) RL agent通过学习历史认证结果动态调τ，使系统在FAR-FRR trade-off上优于固定EER阈值，尤其大幅压低FAR同时GAR降幅可控；(4) 所建MDP框架具通用性，可扩展至其他biometric modality组合。论文指出未来将探索lightweight CNN与edge device部署及对抗样本防御。最终结论：融合RL优化阈值之sequential face-ear authentication基于DenseNet深度特征，能显著提升multimodal biometric system之精度与安全性，为adaptive decision-making in biometric verification提供可行范式。