异构连接系统中用于测试时适应的分散模型选择

《ACM Transactions on the Web》：Decentralized Model Selection for Test-Time Adaptation in Heterogeneous Connected Systems

去中心化机器学习通过模型选择机制平衡个性化与泛化能力，采用区块链实现模型共识，并设计测试时自适应的个性化模型选择器，仿真验证其优于现有基准且在新数据分布下泛化良好。

　　

摘要

传统的集中式模型训练假设数据样本易于获取且可以无限制地进行处理。相比之下，去中心化机器学习（DML）通过直接在分布式数据源上进行协作式模型训练和推理来克服这一限制。从数据集中化向去中心化的转变有助于遵守数据法规，并通过减少对云服务器的依赖来提高系统的可扩展性。然而，在模型个性化与泛化之间存在权衡：对本地训练数据分布的微调会牺牲模型在测试数据（其分布与训练数据分布不同）上的泛化能力。为改善这种权衡，我们提出了一种DML框架，该框架能够通过明智地选择多个模型之一，从而本质上使模型个性化和泛化变得更加容易。我们开发了一个可扩展的模型选择器，并使用区块链来实现模型共识。然后提出了一个用于测试时适应的个性化模型选择器。通过计算机模拟，我们证明我们的方法不仅优于现有的个性化基准测试，而且对于具有各种变化的新数据分布也能表现出良好的泛化能力。