《Smart Agricultural Technology》：Knowledge Distillation and Edge Deployment of Tabular Neural Models for Soil Nutrient Availability Status Classification
编辑推荐：
模型规模、计算资源和推理延迟限制了基于表格神经模型的边缘人工智能（Edge AI）的应用。本研究评估了知识蒸馏（Knowledge Distillation, KD）在多层感知机（Multilayer Perceptron, MLP）、TabTransfo
模型规模、计算资源和推理延迟限制了基于表格神经模型的边缘人工智能（Edge AI）的应用。本研究评估了知识蒸馏（Knowledge Distillation, KD）在多层感知机（Multilayer Perceptron, MLP）、TabTransformer和TabNet中的应用，用于从多元物联网（Internet of Things, IoT）传感器数据中对氮（N）、磷（P）和钾（K）的养分有效性状态进行分类。实验剂量被划分为低、中、高三个等级，因此预测结果并不反映实验室测量值。研究人员采用固定时间顺序划分、五个随机种子、95%置信区间、N/P/K及电导率（Electrical Conductivity, EC）通道消融，以及XGBoost、LightGBM和CatBoost基线，对教师模型（Teacher）、知识蒸馏学生模型（Student-KD）和从头训练学生模型（Student-Scratch）进行了评估。知识蒸馏并非总能提升准确率，但在MLP中实现了38.65倍的参数压缩，TabTransformer中7.55倍，TabNet中11.04倍。经典基线模型在氮和磷分类中仍保持竞争力，而Student-KD TabTransformer在钾分类中获得了更高的平均准确率和宏观F1分数（Macro-F1）。消融实验表明，单一主导通道并不驱动预测结果。PyTorch到开放神经网络交换格式（Open Neural Network Exchange, ONNX）的转换保持了100%的类别一致性，经过验证的配置在NVIDIA Jetson Orin NX上完成了300秒无故障推理。INT8精度并非始终比FP16更快。这些结果表明，知识蒸馏提供了模型效率方面的优势，而田间泛化能力则需要通过塑料袋（polybag）标识和实验室验证来实现。
**论文解读**
**一、研究背景与问题**
随着物联网（Internet of Things, IoT）技术的快速发展，大规模环境监测系统得以在精准农业、智慧城市等领域持续采集多元传感器数据。传统架构通常将数据上传至云端进行处理，但这种方式面临通信延迟高、带宽消耗大以及对稳定网络连接的依赖等固有限制，难以满足实时监测系统对快速响应的需求。将人工智能直接集成到边缘计算设备中的边缘人工智能（Edge AI）范式，能够使推理在更靠近数据源的位置执行，从而降低通信开销、提升系统响应能力。
然而，在边缘设备上部署深度学习模型面临严峻挑战。嵌入式设备在计算能力、内存和功耗方面存在严格约束，而现代神经网络模型通常在高性能计算基础设施上开发，参数规模庞大。因此，如何在维持模型预测性能的同时，使其满足边缘设备的资源限制，成为边缘AI系统设计的核心难题。在精准农业领域，土壤养分监测系统日益依赖IoT传感器网络，但现有研究大多优先关注预测精度，而对训练运行间的结果方差、鲁棒的表格数据基线对比以及边缘设备上的部署可行性缺乏同步评估。此外，已有的土壤养分分类研究多采用随机森林（Random Forest）、支持向量机（Support Vector Machine, SVM）和梯度提升等传统机器学习方法，对表格神经模型与知识蒸馏在农业传感器数据中的有效性尚缺乏系统评估。
**二、研究内容与意义**
针对上述空白，本研究构建并评估了一个面向红葱（*Allium cepa* var. *aggregatum*）种植中土壤养分状态分类的边缘AI框架。研究人员在印度尼西亚Bogor的Tajur地区部署了IoT监测系统，以多元环境与土壤传感器数据为基础，评估了MLP、TabTransformer和TabNet三种表格神经模型在氮（N）、磷（P）、钾（K）三种养分有效性状态（低、中、高）分类任务中的表现。通过知识蒸馏（Knowledge Distillation, KD，一种将大容量教师模型的知识迁移到小容量学生模型的压缩技术）对模型进行压缩，并在NVIDIA Jetson Orin NX边缘设备上评估了不同数值精度（FP32、FP16、INT8）下的推理性能。同时，将压缩模型与XGBoost、LightGBM和CatBoost等经典表格数据基线进行了全面对比。
研究结果表明，知识蒸馏在MLP中实现了38.65倍的参数压缩，TabTransformer中7.55倍，TabNet中11.04倍，虽未在所有条件下一致提升准确率，但有效降低了模型复杂度。Student-KD TabTransformer在钾分类任务中取得了优于所有经典基线的准确率和Macro-F1分数。消融分析进一步揭示，分类决策并非依赖单一养分通道，而是分布于土壤与环境特征的多变量模式中。该研究为表格神经模型在资源受限边缘设备上的部署提供了系统的评估框架，对精准农业中实时养分监测系统的设计具有重要参考价值。
**三、关键技术方法**
数据来源于印度尼西亚Bogor Tajur地区的红葱种植实验，实验使用300个塑料袋（polybag），观测期约81天（2025年10月2日至12月22日）。传感器系统以时间序列方式记录土壤湿度、土壤温度、空气温度、相对湿度、光照强度、土壤电导率（EC）、pH、氮、磷、钾共十个变量，形成三个独立数据集（氮269,080条、磷286,232条、钾338,242条）。养分状态标签依据实验处理剂量水平划分为低、中、高三类，而非直接基于传感器读数的阈值分割。
研究方法包括：（1）采用固定时间顺序划分（前70%日期为训练集、中间15%为验证集、最后15%为测试集）确保时间依赖性得到考虑；（2）使用MLP、TabTransformer和TabNet三种架构训练教师模型，并通过知识蒸馏训练压缩后的学生模型，同时设置从头训练的学生模型作为对照；（3）基于五个固定随机种子（11、42、55、77、101）进行重复实验，计算95%置信区间；（4）通过通道消融实验评估模型对N、P、K及EC特征的依赖程度；（5）将Student-KD模型经PyTorch–ONNX–TensorRT流水线转换为FP32、FP16和INT8精度引擎，在NVIDIA Jetson Orin NX（15W功耗模式）上进行推理性能评估，记录延迟、吞吐量、能耗及300秒稳定性；（6）与XGBoost、LightGBM和CatBoost经典基线进行预测性能和部署表现的对比。
**四、研究结果**
*（1）教师模型与学生模型的多种子预测性能*
在氮数据集上，TabNet教师模型取得了最高的平均准确率（91.26%），但TabNet Student-Scratch的跨种子标准差高达18.65个百分点，表明该架构在氮分类任务中的训练稳定性较差。在磷数据集上，TabNet教师模型的平均准确率最高（66.29%），但三种架构之间的差异相对较小。在钾数据集上，整体性能偏低且跨种子变异较大，TabTransformer Student-KD取得了最高的平均准确率（54.55%）。结果还表明，准确率与Macro-F1和平衡准确率（Balanced Accuracy）并不总是一致的，需要综合多项指标进行评估。
*（2）知识蒸馏与模型压缩的影响*
知识蒸馏对预测性能的影响因数据集和架构而异，并未呈现一致性的提升模式。在磷数据集上，MLP和TabNet的Student-KD模型准确率分别比教师模型低5.04和5.36个百分点，95%置信区间完全位于零以下。然而，学生模型的参数规模显著降低：MLP从69,379个参数压缩至1,795个（压缩比38.65倍），TabTransformer从830,211个压缩至109,891个（7.55倍），TabNet从115,756个压缩至10,484个（11.04倍）。这表明KD在模型效率方面具有明确优势。
*（3）特征消融与养分状态分类的有效性*
消融实验揭示了一个关键发现：单独移除与数据集对应的目标养分通道（如氮数据集中的N通道）或EC通道，准确率几乎不变；同时移除NPK和EC四个通道时，准确率下降幅度仅为0.66至2.75个百分点。然而，当模型仅接收NPK通道（移除其他所有土壤和环境特征）时，准确率大幅下降13.85至30.36个百分点；仅使用单一目标养分通道时，降幅更为显著（22.30至32.16个百分点）。这表明区分不同处理水平所需的信息并非集中于N、P、K或EC的单一数值，而是分布于土壤与环境传感器测量的多变量组合模式中。同时，这一结果也确认了模型的预测反映的是实验处理水平定义的养分状态类别，而非对实际养分含量的实验室级别测量。
*（4）模型部署一致性与数值精度的影响*
PyTorch到ONNX的导出在所有数据集与架构组合中均保持了100%的预测一致性，最大绝对logit误差范围为1.0×10
-6至9.4×10
-5。基于ONNX模型构建的27个TensorRT引擎（覆盖三种架构、三种精度）全部实现了与ONNX参考输出的100%预测一致性。在测试数据上，FP32、FP16和INT8三种精度配置下的准确率和Macro-F1差异极小：MLP和TabNet在三种精度下表现几乎相同，TabTransformer仅在氮和钾的FP16配置中出现约-0.002和+0.010个百分点的微小准确率变化。所有INT8配置均保持了与FP32相同的准确率和Macro-F1，表明降低数值精度在测试配置中未显著损害预测性能。
*（5）NVIDIA Jetson Orin NX上的边缘推理性能*
MLP展示了最低的推理负载：平均延迟0.128–0.262 ms，吞吐量约3,698–7,576样本/秒，能耗0.99–1.35 mJ/推理。TabTransformer的FP16精度一致降低了尾部延迟（p99）：例如在氮数据集中p99从FP32的8.508 ms降至FP16的2.711 ms。然而，INT8并未呈现类似优势，TabNet在INT8下的p99甚至达到8.479 ms（氮）和10.190 ms（钾）。GPU利用率方面，MLP约为17.3–29.9%，而TabTransformer和TabNet均在60–66%范围内。所有27个配置均通过了300秒连续推理测试，无故障、无非有限输出、无预测不匹配。能耗差异主要由推理时长决定，而非设备功耗的显著波动（设备平均功耗在6.24–7.10 W的较窄范围内）。
*（6）与经典表格数据基线的对比*
在氮数据集上，LightGBM和CatBoost表现出与神经模型相当的竞争力（准确率分别为89.30%和90.34%）。在磷数据集上，XGBoost的准确率（64.38%）与TabTransformer Student-KD（63.30%）和Student-Scratch（64.10%）接近。在钾数据集上，TabTransformer Student-KD的准确率（54.55%）和Macro-F1（43.42%）均高于所有经典基线，尽管CatBoost的平衡准确率（53.58%）更高。在边缘部署方面，LightGBM和CatBoost在单线程原生CPU上展示了较低的p99延迟，但需注意Student-KD使用TensorRT GPU加速而经典基线使用原生CPU，两者的部署对比反映的是同一设备上不同计算后端的实测性能。
**五、讨论与结论**
本研究通过对MLP、TabTransformer和TabNet应用知识蒸馏，系统评估了表格神经模型在土壤养分状态分类中的预测性能与边缘部署效率之间的权衡关系。参数压缩比最高达38.65倍（MLP），显著降低了模型复杂度。然而，知识蒸馏并非在所有数据集和架构组合中一致提升预测性能，其在磷数据集上甚至导致统计显著的准确率下降。在钾分类任务中，Student-KD TabTransformer展现出超越所有经典基线的性能优势。消融实验的关键发现——分类信息分布于多变量传感器模式而非单一养分通道——为理解模型决策机制提供了重要依据，同时也明确了预测结果反映的是实验处理水平而非实验室验证的实际养分含量。部署方面，所有配置在NVIDIA Jetson Orin NX上均实现了稳定的300秒推理，但低精度带来的延迟收益因架构而异，FP16对TabTransformer的尾部延迟改善显著，而INT8并非始终更快。
研究结论翻译如下：本研究表明，对MLP、TabTransformer和TabNet应用知识蒸馏虽未在教师模型或从头训练学生模型基础上一致提升性能，但在维持预测性能的同时显著减少了参数数量。压缩比在MLP中达38.65倍，TabTransformer中达7.55倍，TabNet中达11.04倍。基于固定时间划分、五个随机种子、95%置信区间、经典基线对比及消融分析的综合评估表明，分类结果并不单独依赖于目标养分通道或EC通道。然而，预测类别仍反映实验处理水平，而非经实验室分析确认的实际养分有效性状态。因此，本研究提供了关于性能与模型复杂度之间权衡的经验证据，以及对表格神经模型应用知识蒸馏的可控评估，而非开发新的知识蒸馏算法。在NVIDIA Jetson Orin NX上的部署表明，Student-KD模型可通过ONNX Runtime和TensorRT以FP32、FP16和INT8精度运行并保持预测一致性。所有经过验证的配置均完成了300秒无故障推理测试，但较低精度并非总能降低延迟。由于缺乏塑料袋标识、缺少实验室验证以及边缘AI测试时长有限，研究结果的泛化性仍受限制。未来研究应按物理单元划分数据、通过实验室检测验证标签，并在长期田间测试中评估稳定性、能耗、资源利用率和热行为。
