《Sensors》：Controlled Evaluation of Hybrid Multi-Face Recognition Pipelines for Real-Time Occluded Face Recognition on Edge Devices
编辑推荐：
摘要：部分遮挡人脸的准确识别在非受限实时环境中仍具挑战性，尤其在口罩、局部遮挡、姿态变化及光照变化条件下。本研究提出三种混合多人脸识别流水线（Pipeline）的受控对比，用于鲁棒遮挡人脸识别。为实现公平评估，所有流水线采用相同的SCRFD人脸检测器、预处理协
摘要：部分遮挡人脸的准确识别在非受限实时环境中仍具挑战性，尤其在口罩、局部遮挡、姿态变化及光照变化条件下。本研究提出三种混合多人脸识别流水线（Pipeline）的受控对比，用于鲁棒遮挡人脸识别。为实现公平评估，所有流水线采用相同的SCRFD人脸检测器、预处理协议、线性支持向量机（Linear SVM）分类器及60%未知拒识阈值（Unknown Rejection Threshold），仅特征提取器不同：ResNet29、ConvNeXt及带ArcFace嵌入（Embedding）的ResNet100。为减少数据泄漏（Data Leakage），模型仅使用正常无遮挡人脸训练并测试未见的部分遮挡人脸。评估在自建数据集与公开Real-World Occluded Faces（ROF）数据集上进行，同时将三种已有文献方法有公开代码者按相同实验协议测试。SCRFD配合ArcFace ResNet100与Linear SVM流水线优于已有文献及其他测试流水线：自建数据集五人实时准确率97.475%，混淆矩阵(Confusion Matrix)准确率超99%；ROF数据集墨镜闭集准确率98.66%、口罩闭集97.92%，墨镜阈值判定准确率96.35%、口罩95.14%，等错误率（Equal Error Rate, EER）低于0.007，受试者工作特征曲线下面积（Area Under ROC Curve, AUC）高于99%。实时测试中GPU笔记本达29.25 FPS、每帧延迟34.18 ms，树莓派Raspberry Pi 4约5 FPS、273.4 ms/帧。
论文解读：《边缘设备上实时遮挡人脸识别混合多人脸识别流水线的受控评估》
本文发表于《Sensors》期刊。当前基于深度学习的人脸识别在非受限环境中遇部分遮挡（口罩、墨镜等）、姿态变化及光照改变时性能显著下降，且已有研究多采用不同检测器、预处理、特征提取器、分类器及评估协议，难以判断性能提升源自哪一模块。此外多数工作忽视实时性与边缘设备（Edge Device）部署可行性（帧率FPS、延迟Latency）。为此，研究人员在统一SCRFD检测器、同一预处理流程、相同Linear SVM分类器及固定0.60置信度拒识阈值下，仅变动特征提取网络——ResNet29、ConvNeXt-Tiny、带ArcFace嵌入的ResNet100——开展受控对比，并在自建数据集与公开ROF（Real-World Occluded Faces）数据集上验证仅用无遮挡人脸训练、泛化至未见遮挡测试集的能力，同时对比三种有公开代码的已有方法。结果表明SCRFD＋ArcFace ResNet100＋Linear SVM流水线在识别精度与实时性间取得最佳平衡，在GPU设备与树莓派Raspberry Pi 4上均证实可部署性。该研究通过控制变量法隔离特征提取器影响，强调阈值判定（Threshold-based）评估比闭集（Closed-set）评估更贴近实际应用，对边缘端遮挡人脸识别系统设计具有重要参考价值。
研究人员使用的主要关键技术方法如下：采用自建含15人、含正常与各类部分遮挡（口罩、左眼/右眼/鼻部遮挡）图像的数据集，以及公开ROF数据集（取中性图像训练，墨镜与口罩子集分别测试）；统用人脸检测器SCRFD定位并裁剪对齐，按各特征提取器要求做归一化（ArcFace标准归一化）；三路特征提取分别为ResNet29输出128维嵌入、ConvNeXt-Tiny输出768维、ArcFace ResNet100输出512维，冻结权重作特征提取器；嵌入向量送入校准后Linear SVM（LinearSVC，C=1，类别权重平衡，L2惩罚，平方合页损失，一对多策略，五折交叉验证Sigmoid校准），最大校准置信度＜0.60判为未知（Unknown）；离线指标含准确率、精确率、召回率、F1值、混淆矩阵、ROC/AUC、EER，实时指标含FPS与单帧延迟，于GPU笔记本（ASUS X705UDR）与Raspberry Pi 4 Model B（8GB RAM，外接USB摄像头）分别测速；另将Kumar et al.、Alansari et al.、Li et al.三种有公开代码方法按相同协议重训重评。
研究结果
4.1. Offline Evaluation on the Custom Dataset（自建数据集离线评估）
模型用无遮挡训练、部分遮挡测试。SCRFD＋ArcFace ResNet100＋Linear SVM获闭集准确率99.55%、阈值判定准确率99.20%、AUC 99.33%、EER 0.0092；ResNet29次之；ConvNeXt较低。三篇对比文献方法精度均低于最佳流水线，其中Kumar et al.迁移性最弱。混淆矩阵呈强对角线主导，低置信样本被正确拒识为未知。
4.2. Open-Set Unknown-Identity Evaluation（开集未知身份评估）
用1100张未注册人像测试拒识能力。ArcFace ResNet100流水线拒识率95.64%（误接受率4.36%），ConvNeXt-Tiny与ResNet29分别为90.64%与87.55%。部分对比方法虽近100%拒识但已知身份识别率偏低，需综合考量。
4.3. Real-Time Recognition Results on the Custom Dataset（自建数据集实时识别结果）
连续摄像头输入下单人模式下，ArcFace ResNet100流水线GPU笔记本达约29.08 FPS、延迟34.39 ms/frame；Raspberry Pi 4约4.60 FPS、273.40 ms/frame，证实边缘可部署。ResNet29实测帧率偏低系运行时后端GPU优化不足所致，非单纯网络深浅。
4.4. Real-Time Performance on Edge Devices（边缘设备实时性能）
树莓派监测显示ArcFace ResNet100与ConvNeXt-Tiny占用CPU与RAM较高但FPS最优，Alansari et al.方法最慢。功率值为近似估算。
4.5. Qualitative Difficult Cases（定性困难案例）
倾斜姿态、低照度、大面积遮挡下ArcFace流水线较ResNet29与ConvNeXt更稳定保有一定置信度；但年龄相关外观变化仍为局限，需定期更新库或重训。
4.6. Offline Evaluation on the ROF Sunglasses Subset（ROF墨镜子集离线评估）
中性图训练、墨镜图测试。ArcFace ResNet100闭集准确率98.66%、阈值判定96.35%（拒识率3.65%）、AUC近99%、EER低；Alansari et al.闭集略高但阈值后降幅大。
4.7. Offline Evaluation on the ROF Masked-Face Subset（ROF口罩子集离线评估）
口罩遮住下脸致信息减少。ArcFace ResNet100闭集97.92%、阈值判定95.14%、加权F1 97.31%、AUC 99.66%、EER 0.0057，拒识率仅4.86%；对比方法阈值后明显下降。
4.8. Threshold-Sensitivity Analysis（阈值敏感性分析）
额外测试0.40、0.50、0.70、0.80阈值。降低阈值增接受率、升阈值增拒识率。Kumar et al.即便阈值降至0.40仍仅7.2%准确率，说明低性能主因是域失配及有限迁移性而非单一阈值选取。0.60为稳定操作点。
4.9. Summary of Findings（结果小结）
SCRFD＋ArcFace ResNet100＋Linear SVM在精度、EER、AUC及GPU与树莓派FPS上综合最优。阈值判定评估比闭集严格且贴合现实。有代码对比方法在原文献条件下的优效未必迁移至异协议或广类遮挡条件，凸显受控统一评估之必要。
讨论与结论翻译
讨论指出ArcFace嵌入专为人脸识别设计以增强类间可分性、压缩类内差异，故优于一版通用骨干ConvNeXt；ResNet29低维表征在强遮挡（口罩）下弱于512维ArcFace，但仅凭维度无法完全解释性能差（768维ConvNeXt未胜出）。研究区分闭集与阈值判定评估的重要性得以彰显——后者更贴近真实拒识需求。对比文献方法迁移性各异，说明原设计假设（如专注口罩）影响跨场景泛化。实时实验证实用ArcFace流水线在GPU与树莓派均可行，FPS受检测器、后端加速等多因素共控。局限含自定义集人数少缺人口多样性、未单独量化SCRFD贡献（刻意固定）、未测活体检测（Liveness Detection）/防伪、多人同框人数受限。未来拟做检测器消融（RetinaFace、YOLOv5Face、BlazeFace等）、扩充多样数据集、模型量化压缩以加速树莓派端推理。
结论：本研究在统一SCRFD检测器、预处理、Linear SVM及0.60拒识阈值下，仅变动特征提取器，受控评估了三种混合多人脸识别流水线对实时部分遮挡人脸识别的效果。SCRFD＋ArcFace ResNet100＋Linear SVM流水线表现最优——自建数据集闭集准确率99.55%、阈值判定99.20%；ROF墨镜闭集98.66%、阈值判定96.35%；ROF口罩闭集97.92%、阈值判定95.14%；EER低于0.007，AUC高于99%。实时部署GPU笔记本约29 FPS、树莓派Raspberry Pi 4约5 FPS，证明适用于门禁、考勤、监控及面向边缘物联网（Edge-oriented IoT）应用。阈值判定评估对实用系统至关重要。未来将扩展数据集多样性并对边缘设备进一步优化。
