多联邦链路：高可靠性的去中心化多生物特征联邦学习链路

《Neural Networks》：Multi-FedLinks: Highly Reliable Decentralized Multibiometric Federated Learning Links

　　

• •
  这是首项探索垂直联邦多生物特征识别的研究工作。
• •
  本文探讨了拜占庭攻击对联邦生物特征识别的危害。
• •
  本文实现了一种高可靠性的联邦生物特征识别方法。
• •
  实验结果表明了我们方法的优越性。

引言

使用人类生物特征进行识别的生物特征识别技术，比传统识别方法更易于实施且更安全。随着卷积神经网络的不断发展，基于深度学习的生物特征识别技术的识别准确率有了显著提高。然而，训练这些模型通常需要大量的生物特征数据。在实际应用中，生物特征数据经常以小规模分布在不同本地客户端中，例如各种公司数据库和门禁控制终端，获取大型生物特征数据集极其困难且昂贵。由于缺乏本地数据，每个客户端独立训练可靠和稳定的深度学习模型都面临挑战。随着全球隐私保护法规的收紧，客户端也难以共享数据以扩展数据集。由于隐私担忧，一些公共数据集不再被共享，例如 Ms-celeb-1M (Guo et al., 2016) 人脸数据集。因此，每个客户端都表现得像一个孤岛，无法与其他客户端沟通或协调，导致了“数据孤岛”（Yang et al., 2019）。由于这种现象严重阻碍了生物特征识别技术的进步，研究人员开始对利用分布式学习技术解决该问题感兴趣。

迄今为止，学者们已在生物特征识别领域广泛应用联邦学习 (FL) (McMahan et al., 2017) 来解决上述现象。通过联邦学习，众多生物特征客户端可以在不共享用户数据的情况下协同获取深度学习模型。例如，Kim et al. (2021) 和 Liu et al. (2022) 调查了联邦学习在人脸识别中的应用。他们实现了两种不同的分布式人脸识别算法，无需上传来自客户端（手机、计算机、门禁控制等）的人脸数据。Luo et al. (2022) 探索了虹膜识别中的联邦学习，提出了一种个性化的虹膜识别联邦学习算法，使多个虹膜终端能够协同训练而不侵犯用户隐私。这些研究表明，联邦学习可以解决生物特征识别领域当前的“数据孤岛”问题，从而提高生物特征识别技术的应用前景。然而，现有方法存在两个问题。

• 1.
  以往的工作主要集中在实现单生物特征数据的分布式学习。由于这些方法缺乏多生物特征特征提取和融合模块，因此不适用于多生物特征数据。然而，多生物特征识别提供了更多的安全性，并克服了单生物特征系统的局限性 (Kavita et al., 2021)。分布式多生物特征识别具有重要意义。目前，多生物特征联邦学习的方法很少。所有这些方法都只实现了水平联邦多模态识别框架。水平与垂直联邦多模态识别框架如图 1 所示。在实际应用中，同一用户的多模态数据通常分布在不同终端中。为了填补这一研究空白，本文首次探索了垂直联邦多模态识别框架。
• 2.
  从传统本地学习向以引入联邦学习为代表的多终端协同分布式学习的过渡，不可避免地带来了拜占庭攻击、推理攻击、后门攻击和恶意服务器等安全威胁 (Mothukuri et al., 2021)。拜占庭攻击 (Ma, Ma, Miao, Li, Deng, 2022, Melis, Song, De Cristofaro, Shmatikov, 2019) 是一种模型投毒攻击，对联邦学习的有效性和稳定性具有特别严重的破坏性。同时，研究表明，如果不破坏客户端隐私，中央服务器无法区分客户端 (Bagdasaryan et al., 2020)。这使得防止拜占庭攻击变得困难，并显著降低了联邦学习的安全性和可用性。因此，防止拜占庭攻击至关重要 (Lyu et al., 2022)。已提出几种方法来解决联邦学习 (FL) 中的拜占庭攻击问题 (Cao, Fang, Liu, & Gong, Yin, Chen, Kannan, Bartlett, 2018)。在随后的实验中，我们将我们的方法与这些先进方法进行了比较，结果表明我们的方法提供了更强的拜占庭攻击防御能力，并显示出优越的安全性能。

为解决上述问题，本文提出了用于实现垂直联邦多生物特征识别和抵抗拜占庭攻击的 Multi-FedLinks。具体而言，与传统 FL 相比，FedLink 的去中心化结构和交叉验证机制有效解决了恶意服务器攻击和拜占庭攻击带来的安全挑战，而这些在传统框架中难以缓解。此外，FedLink 的个性化设置提高了传统 FL 框架的性能。在此基础上，Multi-FedLinks 建立了一个垂直多模态 FL 框架，克服了大多数现有主要基于水平的多模态 FL 框架的局限性。实验结果表明，所提出的 Multi-FedLinks 框架不仅实现了高识别性能，还提供了强大的安全性。

本文是我们现有工作 (Guo et al., 2024b) 的扩展。在本文中，我们进一步基于提出的 FedLink 实现了一个高可靠性的联邦多生物特征框架 Multi-FedLinks。与 FedLink 相比，本文通过几项技术增强，将单模态 FL 扩展为多模态学习，首次在 multi-biometrics（多生物特征）领域建立了垂直 FL 框架。具体而言，为了实现多模态垂直 FL，我们基于提出的 FedLink 结构，增强了整体 FL 框架和服务器的学习过程，从而促进多个 FedLinks 之间的合作学习。此外，我们在标签翻转攻击和数据异构性等方面进行了广泛的探索性工作。为了验证所提出的 Multi-FedLinks 模型的性能，我们在 NUPT-FPV (Ren et al., 2022) 数据集上进行了广泛的实验。实验表明，所提出的 Multi-FedLinks 模型表现出高安全性、稳定性和准确性，以及较小的准确率损失。总之，本文的贡献如下。

• •
  所提出的 Multi-FedLinks 模型实现了基于联邦学习的多生物特征识别。据我们所知，这是首篇探索垂直情况下联邦多生物特征识别的论文，为分布式多生物特征识别系统提供了新解决方案。
• •
  设计了一种去中心化的联邦学习结构 FedLink，它可以自适应地抵抗拜占庭攻击和恶意服务器攻击。
• •
  在 NUPT-FPV 数据集上进行了大量实验。实验结果表明了所提出方法的优越性。

章节摘要

多生物特征识别

研究表明，单生物特征识别系统在准确性、稳定性和安全性等方面存在缺点 (Khellat-Kihel et al., 2016)。作为克服单生物特征识别局限性的有效方法 (Bala et al., 2022)，多生物特征识别近年来广受欢迎 (Daas, Yahi, Bakir, Sedhane, Boughazi, Bourennane, 2020, Faris, Lee, Meadows, Smeltzer, Ray, Ward, Fehnel, Houston-Harris, Osarogiagbon, 2017)。

一种有效的

方法论

在本文中，设计并实现了 Multi-FedLinks 模型作为分布式多生物特征识别问题的解决方案。该模型由多个 FedLink 结构组成，能够实现高可靠性的单生物特征联邦学习。更具体地说，FedLink 的去中心化结构本身缓解了来自恶意中央服务器的潜在攻击。并且由于交叉验证和共识过程，FedLink 可以识别并抵抗模型投毒攻击

实验与结果

在本节中，从两个方面评估 Multi-FedLinks 模型的性能。(1) 我们评估了所提出的 FedLink 和 Multi-FedLinks 在 NUPT-FPV 数据集（包括指纹和指静脉数据集）上的精度。(2) 我们评估了 FedLink 和 Multi-FedLinks 对拜占庭模型投毒攻击的防御性能。为了突出 FedLink 和 Multi-FedLinks 的优势，我们构建了适用于生物特征识别的 FedAvg (McMahan et al., 2017) 框架

讨论

FedLink 方法利用从交叉验证中获得模型质量得分集，基于共识机制选择中心客户端，从而实现去中心化。在加权聚合阶段，中心客户端的本地模型可以获得单独权重，激励客户端积极争取在下一轮成为中心客户端。通过这些机制，第 4 节中表 4 和表 5 所示的实验结果表明 FedLink 方法可以

结论

在本文中，探讨了分布式生物特征识别，并解决了现有该任务方法存在的问题。对于单生物特征，提出了 FedLink 结构以解决现有生物特征联邦学习算法的安全风险。同时，FedLink 结构也为 Multi-FedLinks 模型提供了结构基础。对于多生物特征，提出了 Multi-FedLinks 模型以实现分布式多生物特征识别，该模型

CRediT 作者贡献声明

Jian Guo: 写作 – 初稿，监督，资金获取，概念化。 Hengyu Mu: 写作 – 初稿，验证，方法论，调查，形式分析，概念化。 Hengyi Ren: 写作 – 审查与编辑，资源，调查。 Chong Han: 写作 – 审查与编辑，监督，资源。 Lijuan Sun: 监督，资源，项目管理，资金获取。

竞争利益声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

这项工作部分得到了国家自然科学基金（Grant 62272242）以及江苏省研究生科研与实践创新计划（Grant KYCX23_1074 和 Grant SJCX23_0268）的支持。

Jian Guo|Hengyu Mu|Hengyi Ren|Chong Han|Lijuan Sun