《IEEE Access》:A Novel FastKAN With Few-Shot Learning for Real-Time Driver Distraction Detection on TinyML Microcontrollers
编辑推荐:
研究人员提出了FastKAN-Tiny,一个全int8的驾驶员分心检测器,专为微控制器上的隐私保护、实时操作而设计。该骨干网络用每通道样条非线性(per-channel spline nonlinearities)替换了昂贵的空间卷积,这些非线性实现为紧凑的查
研究人员提出了FastKAN-Tiny,一个全int8的驾驶员分心检测器,专为微控制器上的隐私保护、实时操作而设计。该骨干网络用每通道样条非线性(per-channel spline nonlinearities)替换了昂贵的空间卷积,这些非线性实现为紧凑的查找表,随后是高效的1×1通道混合;以步长1堆叠,并以全局平均池化和一个小型投影(d∈{64,96})结束,在极小的宽度下提供强大的表达能力,同时满足严格的闪存/SRAM预算。个性化通过一个非参数的原型头在设备上实现,该原型头仅需要来自未见驾驶员的每个类别K∈{1,5}个标记帧,增加了O(Cd)点积并存储一个微小的d×C状态。模型采用量化感知训练(quantization-aware training,QAT)进行训练,并部署在TensorFlow Lite Micro/CMSIS-NN上;一个流式循环应用因果指数移动平均平滑和双阈值早退门,用于确定性精度-延迟-能量权衡。在AUC Distracted Driver V2数据集上,该方法在零样本设置中实现了高精度,并仅凭少量标记支持样本(例如,5-shot时约98%的准确率)攀升至90%以上范围,同时在嵌入式目标上维持实时吞吐量(例如,在Cortex-M7上约27 Hz),且占用空间紧凑(约118 kB闪存,≤160 kB RAM)。总之,FastKAN-Tiny统一了一个表达能力强的小宽度骨干网络、设备上的少样本个性化以及一个经过测量的MCU部署流水线,用于实用、私密的驾驶员监控。CCBY - IEEE并非此材料的版权持有者。请通过https://creativecommons.org/licenses/by/4.0/中的说明获取全文文章和API文档中的规定。
**论文解读:基于FastKAN与少样本学习的TinyML微控制器实时驾驶员分心检测**
**研究背景与问题**
驾驶员分心(driver distraction)是导致车辆失控和近碰撞级联事件的核心因素,涵盖视觉、手动和认知三种分心模式。在驾驶舱内,这些行为表现为精细的姿态和手-物体交互模式,如手持电话、发短信、操作收音机、饮水、化妆、伸手够物以及转头与乘客交谈。这些行为短暂、与良性动作交织,且常因左右视角不对称而呈现非对称性,同时受到强光照变化、阴影、低信噪比、振动以及方向盘或头发遮挡等干扰。一个实用的驾驶员监控系统(driver monitoring system, DMS)必须在亚秒级时间尺度上识别姿态和交互线索,在帧模糊或过渡时保持稳定,并避免闪烁以维持信任。同时,系统必须通过最小化数据传输来尊重隐私和监管要求:车内摄像头捕获个人身份图像,因此将帧发送到车外进行推理或适应通常不可接受或不可行。这些耦合的需求——精细时空灵敏度、对真实驾驶舱条件的鲁棒性以及严格的隐私边界——共同塑造了学习问题和部署环境。
在量产车辆中部署进一步收紧约束。计算平台通常是微控制器级SoC(system-on-a-chip),负责多个实时功能,闪存和SRAM预算有限,且能量预算严格。连接性无法保证,许多道路环境间歇性或带宽受限,空中更新不频繁,回传图像引发隐私和成本问题。因此,TinyML模型(在设备上以整数算术和小型确定性内存占用执行端到端推理)已成为边缘DMS最合适的范式。然而,仅靠TinyML还不够:除了压缩网络,一个可工作的系统还需要一个在极小宽度下具有表达能力的特征提取器、一种无需云资源或权重更新即可适应新驾驶员和驾驶舱的方法,以及一种以可控方式权衡精度、延迟和能量的流式策略,以便在稳态和争用条件下满足截止时间。
在此背景下,存在几个差距。首先,跨驾驶员泛化仍然困难:身份、着装、习惯性电话手持偏好和驾驶舱几何形状导致域偏移,因此在一个队列上训练的模型在新驾驶员上往往显著退化。其次,许多已发表的CNN/RNN/Transformer解决方案即使经过剪枝或训练后量化,仍然依赖空间卷积和浮点内核,这些内核无法干净地映射到微控制器,或者它们产生的峰值激活RAM超过了张量竞技场。第三,文献中的个性化通常假设丰富的标记样本和离车微调,这与隐私和成本约束冲突;当目标驾驶员上每个类别只有少量标记帧时,精度往往不尽如人意。最后,KAN变体(其表达性一维通道函数理论上非常适合小宽度 regime)在完全int8 TinyML形式下,具有端到端算子覆盖、校准激活裁剪和明确内存计划以支持流式实时设置,尚未得到充分探索。
**研究内容与结论**
研究人员针对这些挑战,提出了一个专为微控制器和驾驶舱现实量身定制的FastKAN-Tiny流水线。该骨干网络用每通道样条非线性(per-channel spline nonlinearities)替代了昂贵的空间卷积,这些样条实现为小型查找表,随后是高效的1×1通道混合;堆叠3-5个步长为1的此类块保持空间分辨率,全局平均池化加一个紧凑线性投影(d∈{64,96})生成判别性嵌入。个性化通过原型头在设备上执行:仅使用来自未见驾驶员的每个类别K∈{1,5}个标记帧,在嵌入空间中形成类质心,并通过余弦距离或平方欧氏距离(带温度缩放)对查询进行分类——无需骨干更新、无需云依赖、状态极小。整个模型采用量化感知训练(QAT)进行训练(int8权重/激活、LUT前裁剪、1×1图的每张量缩放),导出到TensorFlow Lite Micro/CMSIS-NN,无浮点回退,并在流式循环中执行,包括因果指数移动平均平滑和双阈值早退门,以便在决策既自信且分离良好时立即发出。在实践中,该设计在微控制器限制内实现了强识别和实时行为:在AUC Distracted Driver V2基准上,零样本骨干使用灰度96×96输入达到高精度和宏F1;仅需来自目标驾驶员的每类1-5个样本,精度攀升至90%以上范围,而嵌入式执行在Cortex-M4F上维持双位数赫兹,在Cortex-M7上维持20多赫兹,早退下能量显著降低。
该研究论文发表在《IEEE Access》。
**主要关键技术方法**
研究人员为开展研究使用了以下关键方法:1)FastKAN骨干网络:用每通道样条查找表(LUT)替代空间卷积,结合1×1通道混合,实现小宽度下强表达力;2)量化感知训练(QAT):在训练中模拟int8量化,确保部署后精度一致;3)少样本原型头:在设备上通过余弦或平方欧氏距离计算类质心,无需权重更新即可适应新驾驶员;4)流式部署流水线:包括因果EMA平滑和双阈值早退门,实现精度-延迟-能量权衡。样本队列来源为AUC Distracted Driver V2数据集,包含44名参与者,来自7个国家,在5种不同车辆中录制,共14,478张标注图像,覆盖10种驾驶员状态类别。
**研究结果**
**Track A: Official V2 Split(官方划分)**
通过官方驾驶员划分的测试集评估,FastKAN在0-shot(零样本)下达到93.2%准确率和91.8%宏F1;1-shot(每类1个标记帧)下提升至96.0%准确率和95.2%宏F1;5-shot下达到98.0%准确率和97.6%宏F1。对比其他预算匹配的基线(Tiny CNN、DS-CNN、MLP、Vanilla KAN),FastKAN在所有shot设置下均取得最高分,表明其解耦的样条非线性和点式混合在恒定成本下提高了类可分性。
**Track B: Leave-One-Driver-Out (LODO)**
通过44折留一驾驶员交叉验证,FastKAN在0-shot下达到92.8±1.0%准确率和91.2±1.2%宏F1;1-shot下提升至95.6±0.9%和94.8±1.0%;5-shot下达到97.8±0.7%和97.2±0.8%。置信区间随K增大而收紧,表明少量驾驶员特定校准减少了跨驾驶员方差。DS-CNN次之,但FastKAN始终领先。
**Track C: Few-Shot Personalization on the Test Driver(测试驾驶员少样本个性化)**
在测试驾驶员上使用K=1或5的标记支持帧构建原型头,FastKAN在5-shot下达到约98%准确率,且个性化增益集中在左右手手持类别和伸手够物等类上,因为这些类别跨驾驶员外观变化最大。
**实时部署性能**
在Cortex-M7@216 MHz上,稳态推理中位延迟54 ms(约18.5 Hz),早退启用后降至37 ms(27.0 Hz),能量7.9 mJ/inf,截止时间错过率(DMR)在20 Hz目标下仅0.4%。在Cortex-M4F@100 MHz上,早退后中位延迟96 ms(10.4 Hz),能量11.1 mJ/inf,DMR 28.0%。闪存占用约118 kB,RAM 128-160 kB。
**鲁棒性分析**
对光照、运动模糊、散焦、噪声等常见退化,5-shot个性化显著缓冲了性能下降,在多数条件下宏F1下降幅度小于3个百分点。压缩(JPEG)和轻微亮度/对比度变化影响较小。
**消融研究**
QAT优于PTQ;原型头在1/5-shot下远超softmax头;余弦距离在K=1时略优;EMA平滑(半衰期h=4)与早退阈值(θ=0.80, m=0.20)提供最佳精度-延迟折衷;步长s=2可降低延迟/能量,精度损失小。
**讨论与总结**
讨论部分指出,FastKAN在极小宽度下通过解耦每通道非线性和通道混合获得强表示能力,原型头以极小计算开销适应驾驶员特定域偏移。灰度输入、因果EMA平滑和早退门共同实现了隐私保护、低延迟和可控权衡。原型头优于softmax头,余弦距离在少样本下更稳定。QAT确保部署一致性。部署影响包括完全设备上推理、快速适应(秒级)、低订购成本(可采用静态收集或事后标注)、以及维护通过自标记刷新原型。存在局限性:跨数据集泛化仍有差距,M4F操作点安全裕度有限,需更高性能硬件或NPU支持。未来方向包括轻量级时间模块、自监督预训练、混合精度及主动支持选择等。
**研究结论**(翻译自Section VII):
这项工作引入了一个TinyML就绪的驾驶员分心检测器,基于FastKAN骨干网络,结合了表达性每通道样条单元与高效1×1通道混合、紧凑全局池化投影以及用于少样本个性化的设备上原型头。该设计通过int8友好算子、仔细的内存规划以及带有因果平滑和双阈值早退的流式运行时,强调在微控制器上的可部署性。在实践中,该模型在满足严格闪存/RAM和能量预算的同时实现了高识别性能,并仅使用少量标记帧快速适应新驾驶员,无需更新骨干权重或传输图像离设备。所得系统通过可调阈值平衡精度、延迟和能量,在真实感光度学和几何扰动下表现鲁棒,并自然符合隐私设计原则,因为所有推理和个性化均在本地进行。未来工作将深化时间和域鲁棒性,同时进一步缩小占用空间。有前景的方向包括注入轻量级因果时间模块以稳定边界帧;使用亮度-only自监督和多相机教师蒸馏预训练以增强特征;1×1图和样条表的混合精度和结构化稀疏变体以进一步节省闪存/能量;温度和类感知边界的自适应校准以提高置信度可靠性;以及主动支持选择与定期原型刷新和回滚以跟踪长期外观漂移。跨车辆、传感器和人群的更广泛验证,结合人因研究、形式化安全分析以及安全OTA/证明路径,将完善一个用于极端边缘可靠、隐私保护驾驶舱感知的端到端方法论。