隐私保护下自动驾驶准确且样本高效的驾驶员接管时间预测：一种联邦元注意力可解释表格学习方法

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Accurate and sample efficient driver takeover time prediction in autonomous driving with privacy preservation: A federated meta attentive interpretable tabular learning approach

　　

本文摘要提出了一项贡献如下：
1. 提出了一种联邦元学习（FML）算法，用于在不同客户端之间训练全局共享模型，同时保护数据中包含的隐私信息，并克服联邦学习中样本效率低的问题。
2. 提出了一种循环交替训练策略，在FML之后对模型进行微调以提高其性能。
3. 开发了一种TabNet用于接管时间（TOT）预测。它能够通过有效提取表格数据的特征，克服联邦学习中的精度退化问题。
4. 据作者所知，本研究是首批开发整合联邦元学习与TabNet方法的研究之一。

引言
通过接管时间（TOT）预测，可以设计适当的自动驾驶人车交互界面（HMI），从而提升安全性和舒适性。TOT是指接管请求发起（TOR）与用户主动介入或关闭已激活的自动化功能之间的时间间隔。对于L3及以上级别的自动驾驶车辆，机器负责驾驶任务，人类驾驶员在正常情况下可以执行非驾驶任务（NDT）。当面临超出运营设计域（ODD）的场景时，人类驾驶员必须重新获得控制权。需要根据TOT在适当时间发送TOR。如果警告来得太晚，人类驾驶员将无法恢复意识并及时反应。如果警告出现得太早，则会被视为虚假警告。这可能会降低人类驾驶员对自动驾驶的信任度，并引发负面情绪（Azevedo-Sa等，2021年）。注意力可解释表格学习（TabNet）作为一种实现准确且可解释的TOT预测的有效方法已经出现。

TOT受多种因素影响，包括TOR模式（Naujoks等，2014年；Petermeijer等，2017年）、请求的提前量（TORlt）（Gold等，2013年；Wan和Wu，2018年；Young和Stanton，2007年）、NDT类型（Eriksson和Stanton，2017年；Jarosch等，2017年；Wandtner等，2018年）、周围交通状况（Baldwin和Coyne，2003年；Gold等，2013年；K?rber等，2016年）、先验熟悉程度（Hergeth等，2017年）、是否饮酒（Wiedemann等，2018年）、人格特征（Alrefaie等，2019年）、心理状态（Ma和Zhang，2021年）等。基于这些因素，开展了TOT预测研究。Gold等（2018年）开发了多元线性回归模型来预测TOT。Pakdamanian等（2021年）提出了前馈深度神经网络，结合小批量随机梯度下降来预测TOT。Ayoub等（2022年）建立了极端梯度提升（XGBoost）模型，通过捕捉TOT与多因素之间的非线性关系来准确预测TOT。尽管决策树模型及其变体因可解释性而在表格数据挖掘中得到广泛应用，但它们缺乏基于梯度下降的端到端学习能力。相反，神经网络具有较强的预测性能，但通常缺乏透明度，即输入特征如何影响输出的透明度。TabNet有效地弥合了这一差距，它整合了决策树和神经网络的优点（Arik和Pfister，2021年），使其特别适合表格接管数据。通过序列注意力机制，TabNet选择性地提取增强预测精度的显著特征。更重要的是，注意力权重量化了每个特征对输出的贡献，从而提供了有价值的可解释性。这种可解释性对于TOT预测至关重要，因为它支撑着自动驾驶接管——一个了解决策依据至关重要的安全关键场景。联邦元学习为利用多个客户端的数据训练基于TabNet的TOT预测模型提供了一种新范式，同时保护数据隐私并解决联邦学习中常见的低样本效率问题。使用单一来源的数据训练TOT预测模型通常不够充分。例如，Zhang等（2019年）和Ayoub等（2022年）不得不聚合来自多个研究机构的数据集以确保足够的数据量。这一挑战对于TabNet尤为突出，因为TabNet比传统决策树和标准神经网络更需要数据。然而，由于担心泄露驾驶员隐私信息，如年龄、性别、NDT类型等，数据聚合难以实施。联邦学习因其能够在远程服务器上训练模型，同时保持数据本地化以保护客户端隐私而受到越来越多的关注。它最早由McMahan等（2017年）提出，用于在MNIST和CIFAR-10数据集上进行隐私保护图像识别和分类。Zhu等（2020年）设计了一个基于鲁棒联邦学习的出行方式识别系统，在不访问用户原始GPS数据的情况下实现高精度的出行方式识别。Xia等（2022年）提出了一种联邦社区图卷积网络，在不共享环形检测器收集的原始数据的情况下实现短期交通流量预测。Nguyen等（2022年）提出了一种联邦自动驾驶网络（FADNet），用于方向盘角度预测，同时保持原始前方图像数据本地化。Zeng等（2022年）提出了一种动态联邦近端（DFP）算法，利用大规模无线连接设计联网自动驾驶车辆的自动控制器，而不共享原始轨迹数据。元学习能够克服联邦学习中客户端异构数据导致的低样本效率问题（Karimireddy等，2020年）。元学习最初由Finn等（2017年）提出。Chen等（2018年）提出了一种联邦元学习框架（FedMeta），其中元学习器的参数被共享以加速模型收敛。Pre-FedAvg（Fallah等，2020年）是联邦平均（FedAvg）算法的一种变体，通过在每个客户端进行一到几次梯度下降迭代来快速学习个性化模型。Dong等（2022年）提出了联邦元强化学习，用于学习6G通信系统中切片编排任务的策略。Zhao等（2022年）提出了用于水下声学通信的联邦元学习算法。Erdol等（2022年）提出了用于无线电接入技术分配的联邦元学习算法，以实现高缓存率。Li和Wang（2022年）提出了用于共享单车时空预测的联邦元学习算法。

本研究的主要贡献总结如下：
1. 提出了一种联邦元学习（FML）算法，用于在不同客户端之间训练全局共享模型，同时保护数据中包含的隐私信息，并克服联邦学习中样本效率低的问题。
2. 提出了一种循环交替训练策略，在FML之后对模型进行微调以提高其性能。
3. 开发了一种TabNet用于TOT预测。它能够通过有效提取表格数据的特征，克服联邦学习中的精度退化问题。
4. 据作者所知，本研究是首批开发整合联邦元学习与TabNet方法的研究之一。

本文其余部分组织如下：第2节阐述研究问题。第3节介绍用于TOT预测的TabNet算法。第4节介绍FMTab算法。第5节展示实验设计、参数设置和结果。第6节描述结论和进一步研究方向。

问题描述
大多数接管相关数据集是通过驾驶模拟或实际车辆测试获得的。由于不同研究者考虑的因素不够全面，存在一些相互矛盾的结论。单一来源的知识是有限的，值得共享。出于客户端隐私、商业隐私、知识产权、成本或伦理方面的考虑，这些接管数据不能直接共享。隐私的滥用，如性别、年龄、NDT类型和过去的……

注意力可解释表格学习
在客户端上对TabNet进行建模。特征变换模块、注意力变换模块和特征掩码模块构成了TabNet的编码器（图2）。C={1,2,…,C}表示客户端数量，Q={1c,2c,…,Qc}是每个客户端中的样本ID集合。Dc:{Xck∈R1×n,Yck∈R1×1}表示由自动驾驶车辆或部门c随机选择的小规模数据集，XCk表示客户端c的第k批数据中的特征。这些特征是影响TOT的相关因素，如……

训练算法
在本节中，介绍了FMTab的两个重要组成部分。联邦元学习（FML）基于客户端的TabNet设计，CA用于使全局模型更能适应客户端，以进行精确微调。

数据集I
本研究的数据集来自一项研究（Zhang等，2019年），该研究使用元分析将129次驾驶模拟实验的数据结果结合起来，主题是影响TOT的因素。总结了18个影响TOT的因素。包括年龄、自动驾驶级别、TOR、NDT类型、紧急程度、安全驾驶所需时间预算、场景复杂度和人类驾驶员经验等因素（表2）。

超出TOT均值上下3个标准差范围的数据……

结论
本研究建立了联邦元注意力可解释表格学习。为有效提取表格数据特征，开发了一种注意力可解释表格学习神经网络（TabNet）以实现高预测精度。本研究提出了一种联邦元学习模型，用于开发一个能够轻松适应本地接管数据的全局共享模型。循环交替训练方法用于调整所有客户端数据。本研究利用了集成的……

作者声明
我们，即文章"Accurate and Sample Efficient Driver Takeover Time Prediction in Autonomous Driving with Privacy Preservation: A Federated Meta Attentive Interpretable Tabular Learning Approach"的作者杨威达、吴智州、王银海和梁云毅，特此作出以下庄严声明：本研究工作是我们团队独立完成的原创成果。在研究过程中，我们严格遵守学术规范，进行了全面的……

CRediT作者贡献声明
杨威达：撰写——初稿，方法论，概念构思，撰写——审阅与编辑，软件，数据整理，调查，可视化，形式分析。吴智州：资源，项目管理，资金获取，形式分析。王银海：方法论，可视化，监督指导，概念构思，数据整理。梁云毅：撰写——初稿，可视化，验证，撰写——审阅与编辑，形式分析。

杨威达 | 吴智州 | 王银海 | 梁云毅