面向TinyML的微型Transformer：部署就绪度、可信性与基准测试的系统综述

《Future Internet》：Tiny Transformers for TinyML: A Systematic Review of Deployment Readiness, Trustworthiness, and Benchmarking

　　

微型机器学习（TinyML）正从紧凑的卷积与前馈模型扩展至适配微控制器与极端边缘系统的Transformer家族架构。本系统综述评估了微型Transformer及密切相关的紧凑序列模型在严峻的内存、延迟、能耗与运行时约束下的部署就绪度，同时考察了安全性、隐私性、可靠性、不确定性、可复现性、可持续性、基准测试与应用成熟度。本综述遵循PRISMA 2020，其方法学记录已在开放科学框架（OSF标识符7fazq；综述期：2026年3月2日至6月1日）上进行回顾性注册。通过对主要文献数据库与补充来源的检索，共识别355条记录；筛选213条唯一记录，评估87篇全文，最终81篇报告纳入定性综合。直接的微型Transformer部署证据仍然有限且异质，但汇聚于四条互补的可行性路径：内存感知调度、任务特定的架构精简、低精度与运行时协同设计，以及稀疏架构–部署协同设计。在全部证据基础中，真实设备执行与资源感知优化的支持力度显著强于已实现的安全与隐私机制、不确定性校准与分布外（OOD）处理、可复现部署流水线、标准化跨平台基准测试、系统级可持续性评估以及纵向现场验证。因此，证据支持一项审慎的结论：微型Transformer对于选定的受限智能系统正变得技术可行，但可信、可复现且经操作验证的部署仍不成熟。未来研究应优先关注跨平台评估、透明的内存与能耗报告、量化的可信性开销、可复现的部署制品，以及现实操作约束下的面向现场验证。

本文首先在引言部分阐明TinyML作为硬件–软件协同设计问题的定位，指出其设计空间正从紧凑卷积与前馈架构向基于注意力的Transformer衍生模型扩展，并归纳出四条互补的可行性路径。随后在背景与综述定位部分，界定了TinyML、TinyDL、嵌入式AI、边缘AI与Edge GenAI的概念边界，区分了微型Transformer、微型语言模型（TLM）与小语言模型（SLM），明确了以工业–能源系统作为高要求应用试验台的定位，并论述了在受限TinyML部署中可信性的必要性，通过与既有综述文献的对比确立了本综述的交叉性贡献。方法学部分依据PRISMA 2020设计，在OSF进行回顾性注册，提出六个研究问题（RQ1–RQ6），涵盖模型设计策略、计算与系统瓶颈、安全与隐私风险、不确定性与校准、基准测试与可持续性、应用成熟度；检索覆盖Scopus、Web of Science、IEEE Xplore、ACM Digital Library与PubMed等来源，并辅以引文追踪；制定了纳入与排除标准，将Jung等、Busia等、Dequino等与Yang等（TinyFormer）界定为直接核心证据；数据提取仅记录明确报告的值，缺失值编码为"未报告"；证据强度与部署就绪度评估框架包含方法学报告维度（0–6分）与证据直接性/部署就绪度维度（0–8分），二者分别解释，合并分数仅作次要描述性总结；由于研究异质性显著，采用结构化定性综合而非定量荟萃分析，并实施四项定性稳健性检验。

结果部分描述了文献的选择流程（355条记录→213条筛选→87篇全文评估→81篇纳入），指出语料呈现新兴且异质的研究格局，直接微型Transformer部署证据集中于少数近期原始研究；四篇核心研究分别代表内存感知执行与调度、任务特定架构精简、低精度/运行时协同设计与稀疏架构–部署协同设计四条路径，但无一项研究报告完整的标准化指标集，故最强结论为特定硬件–软件配置下的可行性而非普适性能优越性。证据强度评估产生3篇强、51篇中等、27篇有限的分类，领域级评估揭示出硬件可行性与实测执行证据强于可复现性、已实现可信机制与应用成熟度的不对称性。

RQ级综合部分逐项展开：RQ1识别出任务特定重设计、内存感知执行与调度、结构缩减结合低精度/运行时优化、稀疏架构搜索/部署协同设计四类策略，并指出参数数量削减本身不足，需同时考虑内存流量、激活峰值、算子调度、数值精度与运行时支持，结论为中等置信度；RQ2指出主要瓶颈包括激活内存峰值、注意力图物化、矩阵乘法开销、非线性运算、嵌入开销与数据移动，以及Transformer执行模式与暂存器/缓存受限内存系统的不匹配，可行性强烈依赖平台，结论为中等置信度；RQ3显示安全与隐私证据显著弱于可行性证据，本地推理常被视为隐私优势、联邦与分布式学习可保持数据局部性但引入权衡、可信边缘研究识别了对抗操纵与模型提取等风险，而直接核心研究缺乏实现级安全证据，结论为有限置信度；RQ4指出不确定性文献提供成熟方法学基础但常与TinyML资源预算冲突，TinyOOD与嵌入式校准研究显示轻量可靠性机制可行，而四篇核心研究均未提供成熟的校准、贝叶斯不确定性、选择性预测或流式信任监测框架，结论为有限置信度；RQ5以MLPerf Tiny为基准锚点，指出直接研究在任务、硬件、精度、运行时与测量协议上不共享共同基准，能源与可持续性需区分每次推理能耗与平均功率并明确测量边界，可复现性应意味着重建完整部署配置而非仅获取源代码，结论为中等置信度；RQ6指出应用广度增长快于部署标准化，Busia等提供可穿戴心电图分类的最清晰领域特定真实设备案例，TinyFormer提供明确MCU资源上限下的图像分类证据，但纵向与类现场验证仍稀缺，结论为有限置信度。交叉RQ证据总结表归纳了六个结论的叙事置信度，强调技术要素日益可得而证据整合、标准化与现场验证仍不完整。

跨领域讨论部分提出三重张力：紧凑性与可信性之间的张力，即满足SRAM与Flash限制的模型若置信度校准不良、分布偏移下行为退化或性能依赖不可复现的实现假设，则仍可能在操作上脆弱；可靠性与保护同资源预算之间的张力，即不确定性感知推理、OOD检测、安全更新与隐私保护机制均消耗稀缺资源，安全与隐私须作为保护收益与资源开销共同测量的工程权衡；应用热情与部署成熟度之间的张力，即MCU演示仅确立特定配置下的可行性，操作成熟度还需随时间变化的稳健性、监测、可维护性、失效行为与现场变异性的证据。讨论进一步界定了可信TinyML的实践性定义，要求具备命名受限硬件上的资源可行性、足够透明可复现的测量、相关的校准/OOD处理/弃权/回退等可靠性行为、具有可测量开销的部署特定安全与隐私态势，以及概念验证执行与应用就绪度之间的明确区分。

开放挑战与未来研究议程部分按七个子方向提出优先事项：模型架构与压缩应优化峰值SRAM、激活内存、算子组合、注意力调度、精度策略、能耗行为与校准稳定性，并开展跨任务跨平台实验；运行时、工具链与硬件感知部署应保持模型与任务不变而变化运行时、编译器、指令集与设备类别，并发布可复现的构建与配置制品；紧预算下的安全与隐私应开展嵌入式攻防实验，量化保护收益与资源开销，涵盖压缩推理下的对抗稳健性、投毒与后门韧性、安全OTA更新、模型提取抵抗与来源证明；不确定性与可靠性报告应将不确定性估计与可操作的运行时行为（弃权、重新感知、模型切换、网关验证、分层卸载与安全回退）相连接，并明确报告可靠性开销；基准测试与标准化应建立面向Transformer的报告规范，至少报告任务与数据集、输入维度或序列长度、参数数量、模型存储、峰值SRAM、Flash占用、精度模式、延迟或吞吐、能耗和/或功率及其测量边界、目标硬件、时钟/电压条件、运行时/编译器配置与制品可得性；应用转化与现场验证应开展类现场与纵向试点，区分硬件可行性、应用验证与操作就绪度，并考察漂移、站点异质性、间歇连接或供电、OTA更新、监测要求、故障恢复与长时行为；可复现性与开放科学应发布完整部署制品并开展跨实验室与硬件平台的再执行研究与制品审计。

局限性部分承认直接文献近期、稀少且异质，研究在任务、数据集、模型家族、硬件、运行时、数值精度与测量程序上差异显著致使定量荟萃分析不适用，基准与报告实践不一致限制定量比较，可信性证据显著弱于部署可行性证据，应用成熟度不均衡且多数证据仍以实验室或板级为中心，对TLM/SLM与更广泛设备端语言模型的边界界定有意从严，术语与索引在整个领域内不一致，以及OSF注册为回顾性而非前瞻性预注册。

结论部分重申微型Transformer部署已从概念可能性进展为选定MCU级与极端边缘平台上的已证技术可行性，可通过内存感知调度与执行、任务特定架构精简、低精度与运行时协同设计以及稀疏架构–部署协同设计等互补策略实现适配；然而任务、硬件平台、数值格式、运行时与测量程序的显著异质性阻碍直接跨研究性能排名并限制结果泛化。证据在各维度上呈现显著不对称：模型设计策略与硬件可行性获得更一致支持，安全、隐私、不确定性处理、可靠性、应用成熟度与面向现场的验证支持较弱，基准测试、可复现性与可持续性处于中间位置。据此，当前文献支持审慎解释：微型Transformer对选定受限智能系统正变得技术可行，但可信、可复现且经操作验证的部署仍不成熟，真实设备执行应主要解释为可行性证据而非部署就绪度证据。未来研究应超越模型压缩与孤立推理性能，跨多个受限硬件平台与部署栈评估模型，透明报告峰值内存、模型存储、延迟或吞吐、数值精度、能耗或功率、运行时与工具链配置及测量边界，量化安全、隐私、校准、OOD检测等可靠性机制引入的资源开销，并通过可获取的部署制品与足够详细的实验配置提升可复现性；应用导向研究还应从板级演示迈向现实传感、通信、维护、能源与环境约束下的类现场与纵向评估。微型Transformer研究的下一阶段不仅取决于使模型更小或更快，更关键的挑战在于确立这些模型能否以可比较、可复现、可靠性感知、安全、能源透明且在真实嵌入式系统操作约束下稳健的方式部署。