去中心化的联邦深度Q学习在物联网（IoMT）安全中的应用：结合MK-VQFHE和基于IPFS的区块链技术

《Scientific Reports》：Decentralized federated deep Q-learning for IoMT security: leveraging MK-VQFHE and blockchain with IPFS

　　摘要：患者数据的激增、对实时洞察的需求以及数据安全性的关键重要性推动了医疗创新的进步。医疗物联网（IoMT）提供了一种有前景的解决方案，通过连接医疗设备、传感器和医疗系统来改善患者护理。然而，管理和保护由IoMT设备产生的大量复杂数据仍然是一个重大挑战。现有的方法往往无法提供全面的解决方案。为了解决这个问题，本研究提出了一种新颖的方法，结合了多密钥可验证四元数全同态加密（MK-VQFHE）和区块链技术，用于去中心化联邦学习（FL），以增强数据管理能力。首先，本研究从公开可用的数据集中收集IoMT医疗数据，然后使用多密钥可验证四元数全同态加密来保护数据安全。加密后的数据随后被用于由区块链技术支持的协作学习模型中。所提出的联邦深度Q学习（FDQL）模型通过训练输入和评估威胁来增强隐私保护。数据使用星际文件系统（IPFS）技术在区块链网络中安全存储。本研究引入了一种实用的拜占庭容错（PBFT）共识机制来验证所提出结构的完整性。性能指标表明，与现有方法相比，所提出的方法在多个数据集上的准确率达到了99.2%至99.4%的较高水平，而现有的模型如BiLSTM、CNN、DNN和ANN的准确率低于99%。本研究旨在提高IoMT数据的安全性，引入先进的加密策略，确保高效的数据存储，分析隐私保护的有效性，验证区块链框架的效率，并评估性能指标以获得全面的洞察。

引言：物联网（IoT）的广泛采用和发展极大地促进了日常生活各个方面的便利性和适应性。由于自适应医疗技术的不断进步，大量的IoMT设备（如可穿戴传感器）被频繁用于收集医疗数据。智能医疗、智能电网、智能家居和智慧城市是一些重要的IoT应用。作为由有限数量的IoT设备构建的网络，IoT应用在每个领域都具有一些特殊特性。然而，IoT应用的基本目标完全集中在获取附近的实时数据并将感知到的数据传输出去，以便做出智能和优化的决策。因此，在住宅区安装了数字计量表来收集用户用电数据，并定期每15分钟向控制中心报告一次。控制中心利用这些数据报告进行实时数据分析，最终采取决定性行动来确定电力系统的潜力。为了充分利用混合IoT系统，部署IoT环境必须克服多个障碍。此外，许多IoT应用会产生大量用于实时分析的数据。大量数据的产生被视为大数据问题，因此大多数IoT应用都需要管理和分析这些数据。此外，误导性数据的加入使问题更加严重，这可能会完全消耗有限的传输能力并导致控制中心的错误判断。因此，IoT对于开发适当的系统以减少通信成本和积极消除错误数据至关重要。

物联网设备经常使用机器学习（ML）和深度学习（DL）算法来快速做出决策并在环境中进行通信。通过感知系统行为，也可以提前预测IoT威胁并保护IoT应用的隐私和安全性。模型训练的效率可能会受到诸如身份冒充、数据污染、反转和推断等入侵的影响。在IoT数据研究中使用的ML和DL方法特别依赖于将所有数据传输到控制规模、预处理和训练ML模型的服务器。然而，这些模型可能对特定类型的攻击敏感，并且容易受到隐私泄露、通信开销和处理延迟的影响。随着规模和复杂性的增加，传统的ML技术不再适用于IoT数据处理。然而，传统的ML方法采用集中式训练方式，需要将收集的数据汇总到云或数据中心，这导致了严重的数据安全和隐私泄露问题，例如恶意干扰、数据丢失和黑客攻击。因此，在人工智能时代，数据安全受到了极大的关注，尤其是在医疗领域，这对患者的安全和隐私构成了主要威胁。例如，攻击者可以攻击由中央服务器和IoMT设备上传的数据，并干扰患者的数据，从而严重危害患者的健康。许多政府已经制定了规则来保护用户的私人数据，特别是极其敏感的健康数据，如美国的《健康保险流通与责任法案》（HIPAA）和欧盟的《通用数据保护条例》（GDPR）。

联邦学习（FL）是增长最快的ML模型之一，因为它采用了分布式技术来处理数据、保护隐私和遵守安全规定。FL最初由谷歌开发，特别是为了直接在设备上训练ML方法，从而进一步保护用户隐私。FL的分布式学习概念得到了IoT设备及其足够的处理和存储能力的支持。一种称为FL的去中心化ML方法允许用户使用自己的数据在本地测试和训练ML方法，然后再将模拟参数发送到一个或多个中央服务器。此外，FL吸引了来自多个健康数据客户的大量计算和数据集资源来训练AI模型，健康数据训练的价值（例如准确性）将显著提高，而这可能是集中式AI方法无法实现的。与传统集中式学习相比，FL通过将参数更新而不是原始数据从客户端传输到数据中心来降低通信成本；另一方面，它通过利用各个本地设备的计算资源来降低计算成本，并提高了用户隐私保护，因为本地数据从未离开客户端设备。由于这些优势，尽管FL刚刚引入医疗领域，但其受欢迎程度正在迅速增加。尽管FL具有这些优点，但它有一个缺点：如果中央服务器发生故障或受到恶意攻击，整个FL方案可能会受到影响。此外，它容易受到分布式拒绝服务（DDoS）攻击和恶意压力导致的隐私侵犯，例如那些试图修改或提取有关协作用户的关键数据的攻击。此外，考虑到IoT策略数量的增加，传统的FL方法不足以处理IoT设备提供的日益增多的个别更新。

区块链是一种假设性的去中心化记录系统，可用于解决集中式FL的问题，并具有去中心化、安全性和不可篡改等优点。对于像IoT这样的不可靠的去中心化环境，FL和区块链的结合使得开发去中心化、安全性更高、隐私保护更好的可信系统成为可能。本研究提出了一个创新的集成框架，该框架结合了多密钥可验证四元数全同态加密（MK-VQFHE）、联邦深度Q学习（FDQL）、区块链和IPFS，以加强IoMT数据安全和智能决策。与当前的解决方案相比，所提出的模型实现了加密的多方FL和可验证计算，无需交换原始数据并信任中央服务提供商即可保证必要的安全级别。MK-VQFHE方案不仅允许在加密数据上进行计算，还允许验证外包的计算，这是过去联邦设置中所缺乏的。此外，多代理FDQL可以用于结合基于奖励的威胁检测和政策优化，超越了传统的基于FL的入侵检测模型。借助IPFS提供的去中心化加密存储和PBFT共识机制，可以实现高效率、可扩展性和防篡改的数据管理。这种端到端的集成，特别是具有自适应智能的可验证加密学习，是与当前解决方案相比的重大进步，因为当前的解决方案要么没有多密钥加密，要么无法实现可验证性，要么不具备自适应（隐私意识）学习能力。

主要目标是使用MK-VQFHE和基于区块链的FL为IoMT设备开发安全高效的数据管理框架。次要目标包括：通过使用MK-VQFHE技术确保数据完整性，验证从IoMT设备收集的数据在传输和存储过程中保持不变；开发FDQL模型以通过训练输入和评估威胁来增强隐私保护，从而可能提高效率和准确性；通过使用PBFT共识机制确保系统的可靠性和效率，验证所提出框架的完整性；计算所提出框架在准确性、效率和安全性方面的性能，与现有方法进行比较。本研究的主要贡献包括：引入MK-VQFHE来加密IoMT数据，提供了一种比传统方法更安全、更灵活的方法；使用区块链进行FL，实现了不牺牲数据隐私的协作学习；所提出的方法通过在加密数据上训练模型和评估潜在威胁来提供更高水平的隐私保护；研究旨在证明与现有方法相比具有更高的准确率，表明所提出方法的有效性。

相关工作：Issa等人开发了一个IoT应用，有效地结合了深度学习算法进行趋势检测、学习以及智能决策。当前的IoT方法依赖于集中的计算和存储来执行DL方法，这可能导致可扩展性问题、安全风险和数据泄露。研究发现，将IoT和区块链结合起来可以解决许多安全、隐私和信任问题，但需要进一步的研究来开发高效的基于区块链的IoT策略。Ali Mansoor等人描述了一种独特的ML类型，使用FL将学习分布到所有设备，而无需向中央服务器披露私人信息。首先描述了区块链的概念及其在IoT系统中的使用方式，然后提出了与区块链在IoT中使用相关的隐私问题，并建议了隐私保护方法来解决这些问题。为了促进隐私，Zhang等人提出了基于区块链的追踪功能和基于IoT的用例，用于计划的分布式FL。为了提供基于区块链的模型迁移策略，Zhang等人提出了一个适用于资源有限的IoT的方案。该方案旨在降低计算成本、加速模型训练并保护模型迁移。为了打破由强大机器和不活跃设备创建的Nas899h平衡，人们首先创建了一个激励系统，其中包括立即程序的实质性好处。区块链秘密实施激励计划，并记录中央服务器和IoT设备之间的所有通信。Ferrag等人对IoT请求的网络安全进行了全面评估，研究了基于FL的隐私和安全平台、边缘计算和工业IoT。联邦DL使用了三种技术：深度神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。这一目标是在使用先进的网络安全能力的同时提供关于联邦DL策略的关键知识。此外，联邦DL算法被证明优于联邦形式的ML，并在检测攻击方面提供了更高的准确性。为了提高数据分析和准确性，Li Dong等人提出了支持数据安全和快速设备的FL。使用区块链方法和智能学习可以保护和维护信息隐私和安全性。根据研究的逻辑发现，基于区块链的联邦学习（FL）在过去五年中显著扩展，区块链计算现在被更广泛地用于解决与图像检索、工业工具和金融数据相关的问题，特别是在物联网（IoT）应用和数字环境中。Singh等人提出了一个基于区块链和FL的系统，以保护物联网医疗数据的隐私。这项研究提供了一种由区块链和FL驱动的安全架构，以维护智能医疗保健中的隐私。此外，用户可以获得一个训练有素的机器学习（ML）模型，而无需将敏感数据传输到云端。连接到云端的设备越多，数据泄露的风险就越大。为了在区块链上保护传感器网络的隐私，Sezer等人引入了PPFchain。这项工作提出了一个基于区块链的新框架，该框架允许FL使用采样的ECS数据提供基于传感器-IoT的基础设施安全和隐私保护。PPFchain不是一个专注于隐私的区块链平台。对于基于区块链的智能电子健康记录：保护隐私和确保安全，Guduri等人引入了一种FL技术。为了交换模型更改，这种方法需要设备与中央服务器之间的定期连接。对于基于区块链的FL中的加密数据，Sun等人提出了一种审计方法。该研究描述了一种用于加密梯度区块链技术的审计技术。它使用审计链来估计梯度的质量，并使用行为链从数据所有者那里收集加密等级。由于缺乏清晰度或抵抗能力，审计过程可能会遇到问题并降低效率。为了减少分类所需的内存和网络资源，Kim等人引入了TinyCES，这是一种基于小型机器学习（TinyML）的方法，其中心电图监测设备使用机器学习模型进行自我分类。这项现有研究的加载时间较长。Lian等人引入了一个去中心化、高效且增强隐私的联邦边缘学习系统，称为DEEP-FEL，以保护日益流行的医疗保健网络物理系统中的数据安全。此外，对于去中心化环形架构，计算了一种高效的参数聚合算法，并将环形拓扑通信瓶颈构建为一个优化问题，后来通过高效的BLKH启发式方法解决了这个问题。最后，与现有工作相比，在皮肤癌、COVID-19 CT扫描和眼病数据集上的评估性能表明，DEEP-FEL系统在通信效率和隐私保护方面取得了出色的表现，但在软件定义网络中训练较为复杂。Ghosh等人开发了一个名为FEEL的新框架：使用边缘-IoMT的老年人医疗保健的联邦学习框架。在保护隐私的医疗保健服务提供背景下，FEEL提出了一个新颖的少样本启用FL框架，用于活动监控、跌倒检测和生成有效的健康建议，并且性能比基线高出约10%–16%。然而，FEEL框架没有分析安全性和隐私相关问题。为了增强安全性并检测IOMT网络中的入侵，Begum等人引入了一个基于区块链的入侵检测系统（IDS），称为BFLIDS。BFLIDS策略使用区块链来保护交易记录，FL通过本地训练模型来保护数据隐私，IPFS用于数据去中心化存储，MongoDB用于高效的数据管理。系统中的所有活动和交易都由以太坊智能合约（SCs）进行检查和确保。在这项研究中，FedAvg算法进行了调整，以使用KullbackLeibler散度估计和自适应权重计算来提高模型准确性和对抗性。BFLIDS引入了一种基于自适应最大池化的卷积神经网络（CNN）和带有注意力和残差连接的修改后的双向长短期记忆（BiLSTM），用于对Edge-IIoTSet和TON-IoT数据集进行分类。我们在FFL情况下获得的性能分别为：CNNs和Edge-IIoTSet的97.43%准确率，BiLSTM和Edge-IIoTSet的96.02%准确率，CNNs和TON-IoT的98.21%准确率，或BiLSTM和TON-IoT的97.42%准确率，与集中式方法相似。多密钥加密的缺乏限制了在多方联邦环境中的弹性。Aga等人提出了一个保护隐私的分布式数据聚合框架，该框架利用FL在分布式系统集上共同训练机器学习模型，同时保持隐私和数据安全。这允许敏感的患者数据保持安全，永远不会离开相应的设备，因此不需要与中央服务器共享任何数据。参数的权重在中央服务器上组合，只有更新后的权重被发送到各个设备。此外，进行了实验分析以证明所提出方法的有效性和效率，达到了高精度（90.91%）并保证了隐私。该框架缺乏可验证的计算，使其在聚合过程中容易受到模型投毒或完整性的影响。Gajendran等人提出了一个名为Elliptic Crypt的加密技术，结合了安全的区块链支持的联邦Q学习框架，以提供智能医疗系统，减轻恶意入侵者的攻击和数据滥用。最初，输入到IoMT的数据来自公开可用的数据集并进行了加密，以确保安全性。然后使用这种加密信息来训练基于区块链的社区学习系统。通过这种方式分析给定的攻击，并由联邦Q学习模型对输入进行训练，以更好地保护隐私。随后，数据以安全的方式存储在去中心化的区块链技术中。然后使用改进的委托权益证明（Del_PoS）共识算法在建议的框架上进行验证。在WUSTL-EHMS-2020上，所提出的技术获得了99.23%的准确率、98.42%的精确度、98.12%的召回率和98.27%的F1分数、59,080.506的平均吞吐量、59,080.506的平均解密时间、1.94的平均加密时间和1.84秒的平均加密时间，优于传统方法。所提出的结构不允许证明编码计算的正确性。Shaikh等人提出了一个名为HCLR-IDS的智能IDS，旨在满足IoMT网络的需求。它集成了卷积神经网络（CNN）、长短期记忆（LSTM）和强化学习（RL）技术、深度Q网络（DQN）和近端策略优化（PPO），以便更好地识别威胁。系统首先在增强互信息特征选择（MIFS）的存在下清理（并可能下采样）CICIoMT2024数据集，以仅保留最重要的特征。CNN查看数据的空间模式，而LSTM用于捕获基于时间的模式。它们共同监控IoMT流量上的稳定和动态行为。随后，系统通过奖励做出的决策得到DQN的帮助，之后PPO使其决策更加稳定。这使系统具有实时检测威胁的能力。该模型获得了高二分类分数（99.58%），其在多类训练中的表现（18个类别的准确率为77.73%）超过了大多数传统IDS方法。HCLR-IDS在明文数据上运行，使其容易受到隐私泄露的影响。Mazid等人开发了一个基于区块链的个性化FL框架，用于保护IoMT，使用边缘计算设备来提高数据效率和安全性。应用于工作的模型分区技术允许联合训练IoMT设备，以确保患者数据的机密性。实验分析针对2D结肠病理学、乳腺肿瘤和CIFAR-10数据集，证明了所提出框架的可靠性和性能及其符合安全和隐私原则。安全测试确认了所提出框架抵抗威胁的潜力，并表明该框架在保护IoMT系统内的医疗信息方面的成功。该框架缺乏高级自适应加密和细粒度基于信任的访问控制，限制了其在动态IoMT环境中的可扩展性和个性化。表2显示了现有方法的比较分析。表2 现有方法的比较检查。研究空白当前关于基于区块链的FL的研究将其应用于挑战IoMT安全的研究发现了几个局限性。Issa等人的FL系统没有得到适当的加密，因此安全性较低。Ali Mansoor及其同事提出了一个联邦IoT解决方案，但其界面设计不佳。Zhang等人提出了基于聚类的无自动化模型迁移。值得注意的是，Ferrag等人使用了DNN、CNN和RNN与IoT，但消耗了大量数据。Li Dong等人结合了FL和区块链，但通信效果不佳。Singh等人提出了一个安全的FL云框架，然而导致了更多的数据泄露风险。Sezer等人提出了PPFchain，但它并不注重隐私。Guduri等人需要设备与服务器之间的持续交互。Sun等人提出了一个区块链审计系统，但由于模糊性而效果降低。Kim等人引入了TinyCES，其加载时间较长。Lian等人提出了DEEP-FEL，但它不够简单，无法由软件定义的网络使用。Ghosh等人在老年人护理背景下提出了FEEL系统，但他们没有进行安全/隐私分析。Begum等人提出了BFLIDS，但不支持多密钥加密，这使得检测变得脆弱。Aga等人未能结合可验证的计算，因此在模型聚合过程中存在威胁。Gajendran等人使用区块链保护了加密，但无法证明计算的准确性。Shaikh等人提出了HCLR-IDS，它在明文信息上运行，暴露了隐私。最后，Mazid等人应用了边缘支持的个性化FL，但没有结合自适应加密和细粒度信任，因此在动态环境中泛化能力较差。与这些相比，所提出的方法提供了自适应多密钥加密、基于信任的共识、基于IPFS的去中心化和安全的模型更新验证，从而满足了可扩展性、个性化和安全性的需求。提出的方法IoMT和人工智能的潜在好处为智能医疗保健系统带来了新的进展，但隐私泄露和数据安全问题阻碍了其广泛应用。虽然IoT和FL的结合可以防止直接访问参与者的原始数据，但现有的FL模型在抵抗模型参数的影响和中央服务器的单点故障方面的能力较低。图1显示了所提出方法的设计。图1 这张图像的替代文本可能是使用AI生成的。所提出方法的架构。这里是一种使用MK-VQFHE和区块链的去中心化FL的高效保密保护方案。所提出的方法影响区块链记录FL任务和模型更新，以及IPFS的链下存储和双链上存储。这减轻了区块链的存储压力，并实现了去中心化FL训练，以解决单点故障问题。首先，从公开可用的数据集中收集IoMT医疗数据。使用MK-VQFHE技术对输入进行加密，以确保其安全性。然后将这些加密数据输入到基于区块链的协作学习模型中。FDQL模型训练输入并分析呈现的攻击，以确保更好的隐私保护。最后，数据使用IPFS技术安全、去中心化地存储在区块链上。使用PBFT方法验证了所提出的框架。因此，所提出的研究有效地保护了IoMT医疗信息免受未经授权用户的访问。加密在这个过程中，数据被转换成某种秘密代码以隐藏相关数据。信息通过加密过程进行编码。这个过程将信息的明文表示转换为另一种称为密文的版本。这里，加密是由MK-VQFHE方法执行的。多密钥可验证四元数完全同态加密（MK-VQFHE）MK-VQFHE策略是一种创新方案，它将复杂的计算任务委托给远程云服务器。它使客户端能够确认它委托的计算是准确的。一种能够在不泄露加密值的情况下展示某些特性的密码系统被称为可验证加密方案。当验证选项和同态能力结合在精确的加密方案中时，就成为MK-VQFHE。因此，MK-VQFHE技术是一种非常聪明的方案，可以用来将复杂的计算任务转移到远程云服务器上。它允许客户端确认其委托的计算的准确性。图2展示了MK-VQFHE方法的架构。MK-VQFHE通过允许在不需要解密的情况下对加密数据进行计算来提高数据隐私性和准确性。第一步是数据外包，将敏感数据转换为适合所选MK-VQFHE技术的明文表示形式。数据安全地保存在云服务器上。然后，计算提供商使用对所有人可见的公钥对明文数据进行加密，生成密文，并确保使用加密数据进行的计算的准确性。最后，验证者从计算提供商处获取加密结果和相关证明。如果验证者被允许，可以使用数据所有者的私钥将输出解密为明文。

可验证计算方案
一种特定的可证明计算方案概念将客户端和工作者之间的通信减少到恰好两条消息。在协议的每个阶段，只有一条消息从一方传输到另一方。四元组算法的可测试计算过程如下：
- \(keygen(g,\lambda) \to (QL,PL)\)：服务器使用基于安全参数\(\lambda\)生成的公钥\(QL\)来计算\(g\)，并生成客户需要保密的相关密钥\(PL\)。
- \(probgen(PL,y) \to (\sigma_{y}, \tau_{y})\)：输入\(y\)由发行生成算法使用密钥\(PL\)编码为公共值，然后发送到服务器进行计算。\(y\)代表秘密值。
- \(compute(QL,\sigma_{y}) \to \sigma_{x}\)：服务器使用客户的公钥和编码后的输入计算函数\(x = g(y)\)的输出。
- \(verify(PL,\tau_{y}, \sigma_{x}) \to (acc,x)\)：验证过程使用秘密代码\(PL\)和秘密\(\tau_{y}\)将网络服务器的结果转换为\(acc\)位和\(x\)字符串。

在可验证的计算方案中，应同时具备效率和安全性。如果问题生成算法生成的值允许诚实的服务器并且与这些输入上的\(g\)的评估相匹配，那么该技术就是有效的。

可验证的全同态加密
全同态加密和可验证计算的两个概念共同描述了可验证的全同态加密。图3展示了使用VFHE对加密数据进行计算的性能图。

明文数据通过VFHE算法转换为密文。这包括使用加密函数并将数据分割成与VFHE方法兼容的向量。定义的函数和VFHE方案的工作原理被用来执行加密数据的计算。在整个过程中，中间结果也被加密。通过使用公开参数和证明来隐藏数据和函数，确保计算的准确性。这里介绍了一种新颖的可验证计算方法和经过验证的全同态加密系统。

去中心化算法1

MK-VQFHE-Enabled FL

复杂性分析
所提出的MK-VQFHE利用轻量级的多密钥结构，允许在多个用户之间进行加密计算，而无需复杂的引导或密文扩展。此外，其可验证性确保设备可以在不进行昂贵重新评估的情况下确认计算的正确性。这使得MK-VQFHE适用于联邦环境，例如在医疗IoMT网络中，其中在不卸载明文数据的情况下保持隐私至关重要。从复杂性的角度来看，MK-VQFHE中的加密和解密操作表现出多项式时间复杂度。具体来说，加密和解密过程各自在\(O(n.\log n)\)时间内完成，其中\(n\)是明文向量的维度。支持的算术运算的同态评估在\(O(n^{2})\)时间内完成，这比通常需要\(O(n^{3})\)时间的引导式FHE方案要高效得多。因此，MK-VQFHE在安全性和性能之间取得了有效的平衡，使其成为安全、实时IoMT应用的实际选择。

使用联邦深度Q学习模型的攻击检测
一种称为FL的先进思想在设计全局模型时考虑了每个元素，从而不共享原始数据。DQNN和FL的关键特性被结合起来创建了FedDQL全局模型。它有两个优点：1. 在共享私人信息时保护隐私；2. 只有部分资源有限的雾服务器参与。雾区中的集群由多个RSU组成，异构和同构的雾服务器分布在雾区域中。在DFQL中，上部包含全局DFQL方法，下部由多智能体深度Q学习（MAQL）组成。FL利用分布式数据的集体价值，同时保持所有权和地理约束，允许在不移动的情况下对其进行建模。为了保护FDQL中的隐私，训练数据在设备或机构本地保存。设备上的不同数据分布需要使用算法来处理异构性并防止模型偏斜。联邦Q学习是一种有效的统计技术方法，考虑了隐私因素并利用了多种数据源。

MAQL由两个智能体组成，分别用\(\alpha\)和\(\beta\)表示。设\(F_{\alpha} = \{p_{\alpha}, b_{\alpha}, p^{\prime}_{\alpha}, t_{\alpha}\}\)和\(F_{\beta} = \{p_{\beta}, b_{\beta}, p^{\prime}_{\beta}, t_{\beta}\}\)作为两个响应记忆，用于存储将收集的转换特性，以分别为操作员（LoRa GWs）\(\alpha\)和\(\beta\)设计联邦优化策略\(\pi_{\alpha}^*\)和\(\pi_{\beta}^*\)。关于智能体\(\alpha\)和\(\beta\)，Q函数、动作、状态和策略的符号分别表示为\(\{O_{\alpha}, p_{\alpha} \in P, b_{\alpha} \in B_{\alpha}, \pi_{\alpha}^*\}\)和\(\{O_{\beta}, p_{\beta} \in B_{\beta}, \pi_{\beta}^*\}\)。这些MAQL智能体与DFL全局模型交互，旨在创建一个由\(Z_{alpha}(p_{\alpha}, b_{\alpha}; \theta_{\alpha})\)和\(Z_{\beta}(p_{\beta}, b_{\beta}; \theta_{\beta})\)表示的全球联邦模型。图4展示了FDQL模型的架构。

在本地智能体中，每个智能体都是参与学习过程的工具或其他对象。它们通过三种方式与其直接环境或数据集交互：动作、状态和奖励。智能体在环境中执行的动作。环境1的本地参数被转换并通过智能体的切片参数输入到GFDL中。GFDL将改进切片参数并将其输入到RL中。这个过程将重复多次以提高安全性。环境当前状态通过智能体感知。智能体在该阶段捕获活动的预期奖励。在提出的FDQL模型中，奖励函数旨在优化IoMT环境中的效率和安全性。每个时间步长\(t\)的奖励\(R_{t}\)计算如下：
$$R_{t} = \lambda_{1}A_{t} - \lambda_{2}C_{t}$$
(1)
其中\(A_{t}\)定义了异常检测性能，\(C_{t}\)反映了通信成本，\(\lambda_{1}\)和\(\lambda_{2}\)是可调权重，用于控制检测效果和资源效率之间的权衡。

通过试错，智能体可以通过RL学习在给定环境中的最佳行为。通过测试各种行为并识别哪些行为表现良好，智能体通过探索和利用进行学习。由于智能体的行为可能不会立即产生结果，因此需要长期规划和策略。RL可以用于在区块链上开发入侵检测系统，这些系统能够动态地从不断变化的安全威胁中学习并作出响应，从而提高网络安全。为了提高生产力，RL智能体可以自动化任务，如交易验证和垃圾邮件筛选。

在这种情况下，基于MAQL Q网络的模型，DFL Q网络的结果是\(O_{g}(\theta_{\alpha}, \theta_{\beta}; \theta_{h})\)。
$$O_{g}(\theta_{\alpha}, \theta_{\beta}; \theta_{h}) = DNN\left([O_{\alpha}(p_{\alpha}, b_{\alpha}; \theta_{\alpha})| O_{\beta}(p_{\beta}, b_{\beta}; \theta_{\beta}); \theta_{h}\right)$$
(2)
其中，DFL中的DNN参数智能体可以表示为\(\theta_{h}\)。通过将智能体的\(\beta\)模型\(O_{\beta}(p_{\beta}, b_{\beta}; \theta_{\beta})\)视为常数\(Z_{\beta}\)，智能体将其本地模型\(O_{\alpha}(p_{\alpha}, b_{\alpha}; \theta_{\alpha})\)传递给DFL，以创建联邦输出\(O_{g}^{\alpha}\)。
$$O_{g}^{\alpha}(p_{\alpha}, b_{\alpha}, Z_{\beta}; \theta_{\alpha}; \theta_{h}) = DNN\left([O_{\alpha}(\.;\theta_{\alpha}); Z_{\beta}\]; \theta_{h}\right)$$
(3)
$$O_{g}^{\beta}(p_{\beta}, b_{\beta}, Z_{\alpha}; \theta_{\beta}; \theta_{h}) = DNN\left([O_{\beta}(\.;\theta_{\beta}); Z_{\alpha}; \theta_{h}\right)$$
(4)
其中，\(Z_{\alpha} = O_{\alpha}(p_{\alpha}, b_{\alpha}; \theta_{\alpha})\)和\(Z_{\beta} = O_{\beta}(p_{\beta}, b_{\beta}; \theta_{\beta})\)是用于构建智能体全局Q网络架构的常数。为了开发联邦模型并为TP和SF定义最佳行动方案，这些公式被用来训练框架并更新参数\(\(\theta_{\alpha}, \theta_{\beta}, \theta_{\beta}\)。
$$MSE_{\alpha}^{r}(\theta_{\alpha}, \theta_{h}) = W\left([X^{r} - O_{g}^{\alpha}(p_{\alpha}^{r}, b_{\alpha}^{r}, Z_{\beta}; \theta_{\alpha}, \theta_{h})\right)^{2}\)$$
(5)
$$MSE_{\beta}^{r}(\theta_{\beta}, \theta_{h}) = W\left([X^{r} - O_{g}^{\beta}(p_{\beta}^{r}, b_{\beta}^{r}, Z_{\alpha}; \theta_{\beta}, \theta_{h})\right)^{2}\)$$
(6)
其中，\(X^{r}\)是在与智能体\(\beta\)共享之前的智能体\(\alpha\)的数据。图5展示了DFQL模型的训练和测试阶段。

由于FL是分布式的，FDQL模型采用分布式方法进行训练和测试。每个智能体使用DQN、Double DQN等方法来训练其本地DQN模型。本地训练导致每个智能体的模型参数更新。在测试过程中，使用来自其本地环境的专用测试数据集，每个智能体检查其本地模型的性能。作为训练过程的第一步，智能体计算并将其传递给其他智能体。在测试阶段，两个智能体相互计算并展示结果以计算联邦输出。算法2展示了DFQL方法的伪代码。

在提出的FDQL模型中，全局Q更新使用FL方法聚合，很可能基于加权平均，类似于标准的FedAvg算法。每个智能体使用私有的IoMT数据独立训练其本地Q网络，并定期与全局服务器共享加密的模型参数。这些加密的更新被聚合形成全局Q网络，而不会暴露原始数据。

区块链
区块链技术通过确保本地获得的数据和学习到的模型的有效性来支持FL。区块链技术提供了一个去中心化的、不可渗透的账本，无需依赖单一机构即可建立信任。区块链被定义为一组“块”的集合，这些块以基本形式存储了一组面向应用程序的交易的信息。借助哈希指针，块通过加密数据结构“链接”在一起。参与者通过共识程序比较本地存储的副本来确认区块链的内容、顺序和哈希引用。对于重要的IoT基础设施，区块链技术有潜力提供有用的解决方案来解决各种问题。区块链技术可以快速为IoT终端设备提供唯一的标识，而无需中央服务器。区块链将包括可信设备，而不可信设备将被移除，不会发送到云端。为了提高可扩展性和效率，所提出的框架将IPFS集成为一个去中心化的链下存储层，与区块链并行使用。IPFS是一个点对点的、基于内容寻址的存储系统，它能够将大型加密的IoMT数据集和模型参数存储在分布式节点上。与其直接将庞大的加密数据上传到区块链（这会带来高昂的成本和延迟），IPFS只记录一个固定大小的内容标识符（CID）到链上。这样，每个文件的链上存储负担减少到仅46字节，无论原始数据的大小如何。IPFS还提供了内置的内容去重功能，确保客户端之间的重复文件只存储一次，从而显著降低了存储开销。此外，IPFS中的数据检索是基于内容的，并且可以并行化，从而可以从多个对等节点快速且可扩展地访问数据，这在具有众多边缘设备的FL环境中特别有益。由于CID同时也充当了加密哈希，IPFS本质上保证了数据完整性，并支持不可变的版本控制。通过将繁重的数据存储与区块链账本分离，并利用IPFS的分布式架构，所提出的系统实现了更好的可扩展性、更低的延迟以及更高效的数据处理能力。

为了提供一个安全且去中心化的数据分析与存储结构，必须强调IPFS作为系统的关键组成部分。IPFS使用唯一的内容哈希来标识数据，而不是物理位置。这意味着即使数据的位置发生变化，只要数据存在于另一个节点上，仍然可以访问到它。这有助于在数据从原始位置移除后仍能保持其可访问性。即使数据默认没有加密，IPFS也提供了文件级别的加密功能，用户可以在上传文件之前对关键内容进行加密。图6展示了IPFS作为一个分布式系统，用于存储和检索文件、应用程序、网页和数据。IPFS技术包含两个关键因素：它不是提供资源的位置，而是通过HTTPS请求直接提供资源本身。这是通过用哈希函数的结果标记信息来实现的，然后将该哈希结果纳入用于内容查询的URI中。因为每条信息都有一个唯一的哈希输出，所以每个URI都是独一无二的。用于获取资源的Web请求类型与典型的客户端通信不同。由于IPFS利用了去中心化的存储方式，许多IPFS节点都可以提供所需的信息。

首先将文件本地存储在IPFS节点上。文件内部有较小且固定大小的段。每个块都会被加密哈希，生成一个唯一的内容标识符（CID），类似于指纹。区块链技术将安全地记录和验证交易或数据。文件通过云存储上传后，区块链会将节点信息传递给数据所有者。随后，文件将通过云存储下载并由用户下载。接下来，用户将请求查看IPFS节点的区块链以验证这些节点。IPFS的使用价值在于它提供了一种去中心化的数据存储方法，适用于由无人机收集并以JSON格式保存的信息。因此，在本文提出的基于无人机的系统中，IPFS是关键软件组件之一。

使用实际的拜占庭容错（PBFT）共识算法进行验证
拜占庭将军问题可以通过Lamport提出的PBFT技术成功解决。在许可型区块链平台上，PBFT算法变得越来越重要，因为故障节点可能会由于故意攻击和软件错误而表现出拜占庭行为。在检测错误消息和防止重放及循环播放时，PBFT使用了加密算法。消息中包含了公共签名以及由抗碰撞哈希函数生成的消息。消息\(n\)的摘要表示为\(E(n)\)，节点\(j\)验证的消息表示为\(< n > \sigma j\)，其中\(\sigma\)是节点\(j\)的消息签名，\(E\)是消息的摘要。PBFT算法的执行分为五个步骤：消息发送、准备、预准备、提交和回复。

PBFT算法的三个主要阶段是预准备阶段、准备阶段和提交阶段。客户端首先向主节点发起请求。主节点Replica 0收到请求后，会将预准备消息发送给所有其他节点。其他节点接收到预准备消息后，执行一个基本的三阶段共识过程。图7展示了执行过程。

PBFT算法的通信模式。预准备阶段：在处理预准备消息后，节点根据消息的内容或请求编号顺序决定是否接受请求。准备阶段：一旦请求被多个节点接受，节点就会用准备好的消息通知其他节点。当准备好的消息在预定时间内被足够多的节点接受时，准备阶段就完成了。提交阶段：所有节点在此阶段都会收到消息。当收到提交通知时，大多数节点就进入了提交阶段。然后节点响应请求并传输数据。回复阶段：当足够多的节点发送提交消息时，客户端认为交易和数据是真实的。

为了在不牺牲数据保密性的情况下实现可验证性，每个加密更新都包含以下内容：
- \(\sigma_{i} = Sign_{{sk_{i} }} \left( {H\left( {m_{i} } \right)} \right)\)：使用客户端私钥对消息哈希进行数字签名。
- \(H\left( {m_{i} } \right)\)：模型更新的抗碰撞哈希。
- \(CID_{i}\)：来自IPFS的内容标识符，用于描述不可变的数据存储。

收到更新后，每个副本使用客户端的公钥验证证明：
- 通过检查\(Verify_{{pk_{i} }} \left( {H\left( {m_{i} } \right)\sigma_{i} } \right) = True\)来验证签名\(\sigma_{i}\)。
- 确认哈希\(H\left( {m_{i} } \right)\)与预期的摘要匹配。
- 确保模型更新在传输过程中未被篡改。完成这些步骤后，节点将通知发送给客户端。算法3展示了PBFT的伪代码。

伪代码：
- \(m\)代表系统中的共识节点总数，\(g\)代表错误节点的数量。该技术声称分布式网络中的消息复杂度可以达到\(U(m^{2})\)。用户在第一步发送\(m\)条消息，在预准备阶段发送\(m - 1\)条消息，向副本发送\((m - 1) \times (m - 1)\)条消息。当有100个节点时，总消息数量将增加到20,000条，这对通信系统造成了很大压力。因此，PBFT算法提供了更好的可扩展性标准。算法4展示了所提出方法的伪代码。

结果与讨论
本节讨论了所提出方法的性能评估和结果分析。将使用Python工具来实现所提出的工作。系统配置显示在表3中。所提出研究的超参数设置描述在表4中。激活函数使用Softmax，损失函数采用稀疏分类交叉熵。所提出方法的学习率为0.001。

数据集描述
数据来自三个数据集：WUSTL-EHMS-2020、IoT医疗安全和ECU-IoHT数据集。
- WUSTL-EHMS-2020数据集：由Anar A Hardy等人编写，链接为https://www.cse.wustl.edu/~jain/ehms/index.html。它包含攻击类和非攻击类。该数据集提供了400,000条输入数据，其中44条用于本研究。WUSTL-EHMS-2020数据集是利用增强型医疗监控系统（EHMS）测试平台开发的。数据集包含44个特征，分类如下：
- 网络流量指标（35个特征）：这些特征捕捉了网络流量的各个方面，如数据包大小、到达间隔时间和协议类型。它们提供了关于IoMT系统中网络通信正常和异常行为的洞察。
- 患者生物特征（8个特征）：这些特征包括心率、血压和温度等生理测量值。它们为理解潜在的安全漏洞和识别受损设备提供了额外的上下文。
- IoT医疗安全数据集：由Faisal Hussain等人编写，链接为https://www.kaggle.com/datasets/faisalmalik/iot-healthcare-security-dataset。它包含攻击类和非攻击类。该数据集包含156,936条输入数据，其中52条用于本研究。重症监护室由物联网驱动，每个床位配备了九个患者监测传感器和一个称为Bedx控制单元的控制设备。所有这些设备都是利用物联网构建的。数据集包括三个CSV文件：Attack.csv包含医疗场景中的网络攻击（攻击网络）流量；Environmentmonitoring.csv包含医疗场景中的环境传感器（正常网络）流量；Patientmonitoring.csv包含ICU患者监测传感器（正常网络）流量。

ToN-IoT数据集：由Moustafa Nour编写，包含16,318条输入数据，其中44条用于本研究。ToN_IoT是一个工业物联网（IIoT）和物联网数据集的集合，旨在评估基于AI的物联网安全解决方案的有效性。它包含多种数据源，包括Windows系统记录、Linux操作系统记录以及来自物联网和IIoT的雷达遥测数据。数据集包括多种攻击场景，如DoS攻击、MITM攻击和信息窃取攻击。

评估指标
为了计算所提出方法的有效性，研究了准确性、精确度、召回率、F1分数和AUC分数等性能指标。性能指标显示在表5中。其中\(T_{x}\)、\(T_{y}\)、\(F_{x}\)和\(F_{y}\)分别代表真正例、假正例和假负例的数量。

性能评估与比较分析
WUSTL-EHMS-2020数据集
本节解释了在WUSTL-EHMS-2020数据集上取得的性能评估结果。图8展示了所提出的（DQFL）方法与现有方法的（a）准确性、（b）精确度、（c）召回率、（d）F1分数和（e）AUC分数的比较。
- 对于10个客户端，图8a显示所提出方法的准确率为99.4%，而现有方法如BiLSTM为98.4%、CNN为97.9%、DNN为96.5%、ANN为95.7%、DBN为94.8%、RNN为93.8%。DNN在处理未知信息时由于过拟合训练数据而表现不佳。CNN可能无法抵抗对象旋转、缩放或位置的变化。DBN中的逐层训练可能比其他深度学习架构更慢。FDQL通过有效结合分布式学习、数据隐私和模型聚合实现了高准确性。通过利用多个代理的优势并确保数据隐私，FDQL可以为多种强化学习任务提供强大且可扩展的解决方案。现有方法存在多种限制；因此，所提出的技术取得了更好的结果。
- 对于10个客户端，图8b显示所提出方法的精确率为98.7%，而现有方法的精确率分别为96.3%、95%、91.9%、90%、89.8%和88.8%。
- 对于10个客户端，图8c显示DQFL方法的召回率为98.8%，而现有方法的召回率分别为96.5%、95.8%、92.6%、90.6%、88.2%和87.2%。
- 对于10个客户端，图8d显示所提出方法的F1分数为97.8%，而现有方法的F1分数分别为96.4%、95.4%、92.3%、90.3%、89.2%和88.2%。
- 对于10个客户端，图8e显示BiLSTM的AUC分数为96.5%，CNN为95.8%，DNN为92.6%，ANN为90.6%，DBN为88.34%，所提出方法的AUC分数为98.8%。图9展示了针对WUSTL-EHMS-2020数据集的(a)加密和(b)解密所需时间，分别对比了提出的方法和现有方法。图9的替代文本可能是使用AI生成的。全尺寸图像显示了现有方法和提出方法的加密及解密时间。图9a通过比特级别展示了提出方法与现有算法（如Pallier、椭圆曲线加密（ECC）、Rivest-Shamir-Adleman（RSA）、Blowfish和高级加密标准（AES）的加密性能。与RSA相比，高效的ECC硬件实现可能更难以设计和实现，尤其是在高性能嵌入式系统中。同样，高效的Pallier硬件实现也因其特殊的数学结构而更为复杂。现有方法存在许多局限性，因此提出的方法取得了良好的结果。提出方法的加密时间为0.00325秒，而现有方法的加密时间分别为RSA的0.00856秒、Pallier的0.0234秒、ECC的0.00947秒、Blowfish的0.0314秒以及AES的0.0401秒。图9b中，提出方法的解密时间为0.00367秒，现有方法的解密时间分别为0.0086秒、0.0236秒、0.00951秒、0.0326秒和0.0416秒。图10展示了DQFL系统的训练测试准确率和损失情况。图10的替代文本可能是使用AI生成的。全尺寸图像显示了DQFL方法的训练测试准确率和损失情况。图10a展示了训练测试准确率的范围，当迭代次数为0时，准确率开始上升，在第100轮时达到0.99的最高峰值，并为后续迭代确定了设置。图10b展示了提出方法的训练测试损失情况，当迭代次数为0时，损失值开始下降，在第100轮时降至0.02。图11展示了DQFL方法的ROC曲线。图11还展示了PBFT与其他主流方法的吞吐量和延迟情况。图11的替代文本可能是使用AI生成的。全尺寸图像(a-b)：吞吐量和延迟的比较。图11a显示了在特定时间内从一个位置成功传输到另一个位置的数据量，即数据通过系统的速度。因此，PBFT在吞吐量方面优于伊斯坦布尔拜占庭容错（IBFT）技术。IBFT每轮需要更多的消息，导致网络拥堵增加和吞吐量降低。但提出的PBFT使用了更高效的消息交换协议，减少了每轮共识所需的消息数量，从而降低了网络开销并提高了吞吐量。延迟是指原因与其结果之间的时间间隔，如图11b所示。在计算设备和网络中，延迟主要是衡量某事发生所需的时间。PBFT使用的消息交换协议比IBFT更高效，减少了节点间通信和达成共识所需的时间。图12展示了PBFT算法的通信复杂性。图12的替代文本可能是使用AI生成的。全尺寸图像显示了PBFT算法的通信过程分为三个阶段：预准备、准备和确认。在这些阶段中，节点必须与其他节点通信并确认接收到的信号。这需要大量的节点间通信。为了比较两种算法的通信难度，必须测量它们之间的通信次数。本实验独立计算并比较了PBFT和IBFT算法之间的通信次数。图13展示了两种方法的确认时间。图13的替代文本可能是使用AI生成的。全尺寸图像展示了确认时间的比较。为了确定共识延迟，使用了多次测试的平均数据速率作为最终结果。本实验部分比较并研究了在系统网络中节点数量从10到100不同时，测试PBFT和IBFT算法时交易延迟的变化情况。当节点数量超过50个时，共识过程中会结合不同的层次，PBFT算法的共识性能有所提升。表6展示了WUSTL-EHMS-2020数据集的现有方法和提出方法的评估指标。表6展示了DQFL与现有方法在WUSTL-EHMS-2020数据集上的比较。全尺寸表格展示了物联网医疗安全数据集的性能评估。本节解释了在皮肤癌ISIC数据集上取得的性能评估结果。图14展示了提出的（DQFL）方法与现有方法在准确率、召回率、F1分数和AUC分数方面的比较。图14的替代文本可能是使用AI生成的。全尺寸图像(a)准确率，(b)精确度，(c)召回率，(d)F1分数，(e)AUC分数的比较，比较了不同客户端数量下的提出方法和现有方法。图14a中，对于10个客户端，BiLSTM的准确率为98.8%，CNN为97.5%，DNN为96.9%，ANN为95.9%，DBN为93.8%，RNN为92.1%，提出的方法为99.3%。图14b中，BiLSTM的精确率为98.8%，CNN为97.5%，DNN为96.9%，ANN为95.9%，DBN为93.1%，RNN为92.5%，提出的方法为99.3%。图14c中，现有方法的召回率范围分别为98.8%、97.5%、96.9%、95.9%、93.5%和92.4%，提出的方法为99.3%。图14d中，现有方法的F1分数分别为98.8%、97.5%、96.9%、95.9%、93.1%，提出的方法为99.3%。图14e中，现有方法的AUC分数分别为98.9%、97.5%、96.9%、95.9%、94.3%，提出的方法为99.3%。传统模型通常需要集中式训练，在分布式环境中或隐私问题至关重要的情况下这可能具有挑战性。DQFL方法通过在去中心化数据上训练模型来解决这些限制。图15展示了针对物联网医疗安全数据集的提出方法和现有方法的解密及加密时间。图15的替代文本可能是使用AI生成的。全尺寸图像显示了现有方法和提出方法的加密及解密时间。图15(a)通过比特级别展示了现有方法和提出算法（如Pallier、ECC和RSA）的加密性能，提出方法的加密时间为0.00246秒，而现有方法的加密时间分别为RSA的0.00877秒、Pallier的0.025秒、ECC的0.00987秒、Blowfish的0.032秒和AES的0.041秒。图15(b)通过比特级别展示了提出方法和现有方法的解密时间，提出方法的解密时间为0.00354秒，而现有方法的解密时间分别为RSA的0.0086秒、Pallier的0.0221秒、ECC的0.00956秒、DBN的0.0311秒和RNN的0.0422秒。MK-VQFHE在FHE、多密钥功能和可验证性方面具有独特优势，但其加密和解密时间通常比传统的公钥加密方案（如ECC、AES、Pallier和RSA）更慢。图16展示了DQFL方法的训练测试准确率和损失情况。图16的替代文本可能是使用AI生成的。全尺寸图像显示了DQFL方法的训练测试准确率和损失情况。图16a展示了训练测试准确率的范围，当迭代次数为0时，准确率开始上升，在第100轮时达到0.99的最高峰值，并为后续迭代确定了设置。图16b展示了提出方法的训练测试损失情况，当迭代次数为0时，损失值开始下降，在第100轮时降至0.02。图17展示了提出方法和现有算法的吞吐量和延迟情况。图17的替代文本可能是使用AI生成的。全尺寸图像展示了吞吐量和延迟的比较。图17a展示了通过调整节点数量，提出算法PBFT能够达到最大输出水平。随着节点数量的增加，吞吐量也随之增加。图17b显示，随着节点数量的增加，提出方法的延迟减少。提出的PBFT经过长时间的优化和改进，性能得到提升，吞吐量更高。图18展示了提出方法和现有方法的通信复杂性和确认时间。图18的替代文本可能是使用AI生成的。全尺寸图像(a-b)：通信复杂性和确认时间的比较。图18a展示了通信复杂性如何随节点数量的变化而变化。当节点数量为10个时，通信复杂性增加；当节点数量达到100个时，其性能优于IBFT。图18b展示了节点数量的变化如何影响确认时间。当节点数量为50个时，确认时间减少；但在下一个节点数量时，确认时间增加。通过简化消息交换、减少共识轮次、优化状态机和改进验证机制，PBFT的复杂性低于IBFT。表7展示了物联网医疗安全数据集的现有方法和提出方法的评估指标。表7展示了DQFL与现有方法在物联网医疗安全数据集上的比较指标。全尺寸表格展示了ToN-IoT数据集的性能评估。本节解释了在皮肤癌ISIC数据集上取得的性能评估结果。图19展示了提出的（DQFL）方法与现有方法在精确度、准确率、召回率、F1分数和AUC分数方面的比较。图19的替代文本可能是使用AI生成的。全尺寸图像(a)准确率，(b)精确度，(c)召回率，(d)F1分数，(e)AUC分数的比较，比较了不同客户端数量下的提出方法和现有方法。从图表中可以看出，随着客户端数量的增加，所有模型的AUC分数普遍下降。图19a中，对于10个客户端，提出方法的准确率为99.2%，BiLSTM为98.4%，CNN为97.7%，DNN为96.9%，ANN为96.1%，DBN为94.3%，RNN为93.5%。图19b中，DQFL方法的精确率为99.2%，现有方法的精确率分别为98.4%、97.7%、96.9%、96.1%、95.3%和94.6%。图19c中，BiLSTM的召回率范围为98.4%、CNN为97.7%、DNN为96.9%、ANN为96.1%、DBN为94.1%、RNN为93.1%，提出的方法为99.2%。图19d中，提出方法的F1分数为99.2%，BiLSTM为98.4%、CNN为97.7%、DNN为96.9%、ANN为96.1%、DBN为95.3%、RNN为94.3%。图19e中，现有方法的AUC分数分别为98.5%、97.7%、96.9%、95.2%、93.8%，提出的方法为99.2%。DQFL结合了强化学习和流形学习（RL和FL），为解决复杂任务提供了高精度的强大框架。传统模型通常需要集中式训练，在分布式环境中或隐私问题至关重要的情况下这可能具有挑战性。DQFL方法通过在去中心化数据上训练模型来解决这些限制。图20展示了物联网医疗安全数据集的提出方法和现有方法的加密及解密时间。图20的替代文本可能是使用AI生成的。全尺寸图像显示了MK-VQFHE技术与现有方法（如Pallier、ECC和RSA）的加密及解密时间。图20a展示了MK-VQFHE技术的加密时间，为0.00287秒，而现有方法的加密时间分别为0.00845秒、0.0281秒、0.0102秒、0.035秒和0.044秒。图20b显示MK-VQFHE的解密时间为0.0031秒，而现有方法的加密时间分别为0.00921秒、0.0275秒、0.01145秒、0.036秒和0.044秒。图21展示了DQFL方法的训练测试准确率和损失情况。图21的替代文本可能是使用AI生成的。全尺寸图像显示了DQFL方法的训练测试准确率范围，当迭代次数为0时，准确率开始上升，在第100轮时达到0.99的最高峰值，并为后续迭代确定了设置。图21b展示了提出方法的训练测试损失情况，当迭代次数为0时，损失值开始下降，在第100轮时降至0.02。图22展示了提出方法的吞吐量和延迟情况。图22的替代文本可能是使用AI生成的。全尺寸图像(a-b)：吞吐量和延迟的比较。图22a显示PBFT的吞吐量优于现有算法。在10个节点时，其吞吐量高于IBFT。图22b展示了随着节点数量的变化，延迟的评估情况。PBFT可以利用并行执行同时处理多个交易，从而提高吞吐量。IBFT则按顺序处理交易，限制了吞吐量。图23展示了所提出方法和现有方法的通信时间和确认时间。图23的替代文本可能是使用人工智能生成的。全尺寸图像（a-b）：通信复杂性和确认时间的比较。图23a表明，PBFT在通信复杂性方面优于IBFT算法。图23b显示，所提出的确认时间优于现有方法。PBFT的较低复杂性归因于其简化的消息交换、减少的共识轮次、优化的状态机以及改进的验证机制。表8展示了使用物联网医疗安全数据集（IoT Healthcare Security Dataset）对FDQL和现有方法进行的性能比较。评估区块链层引入的计算开销非常重要。具体来说，测量了随着IoMT客户端数量增加每轮FL（Full Learning）的延迟。表9总结了在不同客户端数量下区块链引起的延迟和开销。表10展示了在WUSTL-EHMS-2020、IoT Healthcare Security和ToN-IoT三个数据集上，所提出的MK-VQFHE方法与经典方案（RSA、ECC、AES）之间的延迟与安全性权衡。如表11所示，所提出的方法在所有三个评估的数据集中都实现了较低的加密和解密延迟，表明通过IPFS存储和检索加密数据块的开销最小。表12给出了所提出技术在三个数据集上的平均能耗和延迟分析。

表8 FDQL与现有方案在ToN-IoT数据集上的比较指标。
全尺寸表格

表9 不同数据集每轮FL的区块链开销基准。
全尺寸表格

表10 三个数据集上延迟与安全性之间的权衡。
全尺寸表格

表11 使用所提出的IPFS+MK-VQFHE在数据集上的存储和检索时间实证比较。
全尺寸表格

表12 三个数据集上所提出技术的平均能耗和延迟分析。
全尺寸表格

统计测试
统计测试用于关联不同测试情况下的端点结果。这里进行了三种统计测试：p值测试、卡方测试（chi-square test）和自由度测试（degrees of freedom test）。

p值
p值表示结果比在没有效应或变化的情况下（零假设）更有可能出现的概率。p代表概率，表示组间观察到的任何变异是随机变异的结果。

卡方测试
卡方测试是一种统计假设测试，用于确定两个组变量之间是否存在有意义的关联。由于它是非参数的，因此不对数据的潜在分布做出假设。卡方统计量量化了每个类别检测到的频率与预期频率之间的差异，这是卡方测试的基础。

自由度
在数据集中可以用来估计统计量的独立信息片段的数量称为自由度。它对假设检验的效力和准确性有重要影响。表13展示了三个数据集的统计测试比较。

表13 三个数据集的统计测试比较。
全尺寸表格

安全性分析
安全性是物联网（IoMT）中的一个基本问题，保护敏感的患者数据免受不断演变的网络威胁至关重要。所提出的系统结合了MK-VQFHE、FDQL、IPFS和PBFT共识机制，并在六个真实世界攻击场景中进行了评估。其性能与两个著名框架PPFchain和DEEP-FEL进行了基准测试。

重放攻击
重放攻击针对的是被捕获的数据的循环使用，目的是为了误导授权通信。所提出的技术通过使用时间戳标记的MK-VQFHE编码数据和区块链验证，在此类攻击中达到了99.8%的防御率。PPFchain和DEEP-FEL的防御率分别为98.6%和98.1%。

中间人（MITM）攻击检测
在MITM攻击中，攻击者会捕获并可能修改两个设备之间的数据。所提出的技术通过端到端的MK-VQFHE加密和PBFT验证的身份检查，实现了99.7%的检测率，高于PPFchain（97.9%）和DEEP-FEL（97.2%）。

窃听缓解
数据传输的加密以及使用IPFS作为加密存储来处理对通信隐私的被动攻击。该系统拦截了99.6%的此类攻击，而PPFchain和DEEP-FEL分别拦截了98.9%和98.3%。

数据篡改检测
篡改涉及未经授权的医疗记录修改。集成PBFT的区块链和可验证的加密模型实现了99.9%的检测率，优于PPFchain（99.2%）和DEEP-FEL（98.8%）。

拒绝服务（DoS）抵抗
为了克服旨在中断可用性的DoS攻击，所提出的技术实现了工作负载在边缘节点和雾节点之间的分布，使得任何单个节点的过载最小。它减少了98.7%的DoS攻击，而PPFchain减少了97.4%的攻击，DEEP-FEL减少了96.6%的攻击。

身份欺骗预防
这种攻击涉及冒充合法设备。所提出的模型采用基于区块链的身份检查和多密钥加密，阻止了99.5%的欺骗尝试。PPFchain和DEEP-FEL分别实现了98.4%和97.8%的防御率。

讨论
深度学习（FL）在学术和工业环境中得到了广泛的研究和应用，因为它是隐私计算的三大主要技术路径之一。然而，恶意节点可能会提交伪造的学习结果或干扰算法的执行，这直接影响FL的性能。此外，全局模型很容易被学习节点获取。在现有的工作中，使用了许多技术来保护数据；然而，存在一些问题。复杂的FL算法在大多数物联网设备上难以执行，因为它们的处理能力和内存容量有限。与其他深度学习模型一样，卷积神经网络（CNN）难以解释，使得理解其特定预测背后的推理变得困难。由于PPFchain的分布式架构以及所有节点都需要验证交易的要求，区块链天然存在可扩展性问题。尽管PPFchain的目标是比传统区块链更快的交易速度，但它可能无法一次性处理大量交易。某些应用，包括内容管理系统（CMS），有时难以与TinyMCE连接。表14展示了与所提出方法相似工作的比较。

表14 现有方法与所提出方法的比较。
全尺寸表格

在这项工作中，FL用于保护区块链数据，而多密钥可验证的四元数全同态加密（Multi-Key Verifiable Quaternion Fully Homomorphic Encryption）用于隐私保护。通过将其存储在各自的设备上，DFL保护了用户数据。由于只共享模型更新而不是原始数据，因此减少了隐私风险。区块链是一种全局账本系统，使数据记录安全、开放且抗篡改。作为一种替代方案，它是一个在计算机网络上共享的数据库。区块链有能力彻底改变多个领域，包括供应链管理、医疗保健和金融。例如，它可以用于开发更有效的供应链管理系统或安全透明的医疗信息监控系统。由于IPFS不依赖于中央服务器，因此可以用来创建更抗审查和中断的网站和应用程序。对于希望确保其作品始终可访问的艺术家和活动家来说，这一点非常有用。MKVQ-FHE在多方计算（multi-party computation）、机器学习（ML）和3D数据处理等隐私保护领域具有潜在应用。PBFT通过确保所有节点对事件的状态和顺序达成一致，创建了系统现实的一致视图。这阻止了错误或恶意节点引入不一致或不正确的信息。因此，所提出的研究有效地保护了物联网医疗信息免受未经授权用户的访问。虽然MK-VQFHE支持多密钥以提高安全性，但在大规模部署中管理大量密钥具有挑战性。所提出的研究通过利用MK-VQFHE解决了与全同态加密（FHE）相关的计算开销问题。该技术允许数据的有效加密和解密，减少了计算负担。此外，该研究利用了FDQL模型，实现了无需共享原始数据的协作学习。这种方法显著降低了训练和推理的计算需求，因为模型直接在加密数据上进行训练。另外，使用IPFS进行安全数据存储和PBFT共识机制确保了高效可靠的数据管理，进一步减轻了计算开销。尽管这些技术提供了显著的优势，但仍需解决潜在的可扩展性挑战，如管理大量密钥和计算开销。为了缓解这些挑战，可以探索高效的密钥管理策略和硬件加速技术。实际部署的可行性取决于医疗数据的复杂性、参与设备的数量以及所需的安全级别。为了研究其在其他医疗应用中的可转移性，需要对所提出的框架进行严格的评估和适应。通过解决这些考虑因素，所提出的研究有可能彻底改变医疗数据的收集、分析和共享方式，最终改善患者护理和医疗结果。当前研究使用了三个数据集（WUSTL-EHMS-2020、IoT Healthcare Security Dataset和ToN-IoT）。然而，这些数据集可能无法完全代表各种物联网环境及其攻击场景。此外，这些数据集可能没有针对特定研究问题进行充分的标记或注释。未来的研究将重点关注通过将所提出的方法与其他安全协议结合来降低复杂性和选择多个密钥的新技术。数据集需要细粒度分级和彻底注释。未来的研究还将包括对非独立同分布（Non-IID）数据的验证，以提高所提出实验的实际应用性。最后，像MIMIC-III这样的额外基准数据集用于临床数据分析，NSL-KDD用于更广泛的入侵检测测试，将有助于扩展评估范围。

结论
在这项研究中，为了保护物联网信息，区块链有效地支持了深度学习（FL）。首先，收集的数据被输入到MK-VQFHE加密技术中以提高图像的保密性。然后使用FDQL方法分析攻击并提供隐私保护。这样，一些信息可以被未经授权的用户获取，而另一些则不会。基于区块链的IPFS技术用于存储不会被未经授权用户攻击的信息。最后，使用PBFT算法验证存储的信息，性能指标显示WUSTL-EHMS-2020数据集的准确率为99.4%，IoT Healthcare Security数据集为99.3%，ToN-IoT数据集为99.2%。MKVQ-FHE支持多密钥，提高了安全性和访问控制。