摘要
多模态生物特征识别系统已成为现代电子身份认证平台中的关键组成部分，而在现实环境中的稳定性尤为重要。然而，不透明的面罩会严重遮挡面部特征，还会削弱高频光谱成分。相反，透明的面罩则会引发复杂的镜面反射，成为声学信号失真的来源。为应对这些不对称的退化问题，本文提出了一种基于可靠性意识的动态评分融合方法，用于多模态生物特征识别。该方法在输入阶段就能对面部和语音特征进行样本级的可靠性评估，从而根据评估结果对不同特征的评分进行动态加权。该框架结合了用于面部识别的ElasticFace-Arc架构，以及用于语音识别的强调通道注意力、传播与聚合—时延神经网络（ECAPA-TDNN）。在包含多种面部遮盖条件下的面部图像和语音记录的FaciaVox数据集上对所提方法进行了测试。根据标准跨条件协议（SCCP）和多条件协议（MCP）进行的实验表明，所提出的动态评分融合方法相比传统的评分级融合方法，如加权求和融合（WSF）和逻辑回归融合（LRF），表现更为优异。其在SCCP条件下的平均第一排名准确率为89.6%，在MCP条件下的平均准确率为93.7%，相比这些基准方法提升了最多9.3个百分点。此外，这些可靠性评估器还具备很强的预测能力，在封闭集识别场景下，对于正确识别和错误识别的样本，两种特征的曲线下面积值均高于0.95。这些研究结果表明，通过样本级可靠性建模，可以有效提升在复杂面罩和面罩条件下的多模态生物特征识别性能，从而有助于构建更加可靠的AI驱动型电子身份认证系统。
