《Internet of Things》：TGenAI: An LLM-based Approach for Functional End-to-End Test Generation for IoT Systems
编辑推荐：
上下文：物联网（IoT）包含大量跨域交换数据的设备，形成高度互联的生态系统。在此类动态系统中，测试对于确保无缝交互及验证系统是否按规约运行至关重要。问题：由于物联网系统的动态特性，其测试复杂且耗时。与传统方法不同，跨设备层与应用层生成端到端（E2E）测试面临显
上下文：物联网（IoT）包含大量跨域交换数据的设备，形成高度互联的生态系统。在此类动态系统中，测试对于确保无缝交互及验证系统是否按规约运行至关重要。问题：由于物联网系统的动态特性，其测试复杂且耗时。与传统方法不同，跨设备层与应用层生成端到端（E2E）测试面临显著挑战。目标：本文提出TGenAI，一种基于大语言模型（LLM）的方法，用于从用例规约（UCS）生成物联网系统E2E测试，并引入人在回路（HITL）机制以保证正确性与完整性。方法：TGenAI从以受限用例模型（RUCM）书写的UCS生成测试。其以初始提示（prompt）起步，借助结构感知多目标元提示优化（SAMMO）优化该提示以提升LLM表现；随后以优化后提示调用LLM生成测试。研究人员采用HITL评估测试的完整性与正确性，并利用映射表调整生成测试使其可被执行。区别于聚焦模型或单设备的既有工作，本研究通过两个已部署物联网案例（WIMP与EWS-FD）跨设备、网关、云与应用验证E2E流。结果：结果显示完整性与正确性随所选LLM不同差异显著，在两个物联网系统中介于13%至100%之间。研究人员观察到生成测试存在不一致，但HITL所需调整较人工生成极少。HITL通过小型映射表将LLM输出转为可执行测试，并在WIMP上以概念验证（PoC）工具触发执行。结论：研究人员提出TGenAI这一LLM生成E2E测试的方法，在两个已部署物联网系统（WIMP与EWS-FD）上验证，证明节省时间与精力，而HITL的必要性揭示了改进空间与未来研究方向。
研究背景方面，物联网（IoT）系统由设备层、网关（网络）层、云（平台）层与应用层构成，具备连通性、互操作性与异构性特征，故障可能源于层间交互而非单组件，传统测试多停留于仿真、单设备或依赖源代码与行为模型，端到端（E2E）测试在跨层真实部署中常被忽视。既有大语言模型（LLM）测试研究多面向传统软件单元测试，少有从文本化用例规约出发覆盖设备—网关—云—应用全链路的方案。为此，研究人员开展TGenAI研究，目标是从受限用例模型（RUCM）书写的用例规约（UCS）生成可执行E2E测试，并以人在回路（HITL）保真。论文发表于《Internet of Things》。
关键技术方法上，研究人员取两个已部署系统WIMP（Where Is My Professor，含Fitbit手表、Buddy机器人、WEMP应用等）与EWS-FD（卢旺达Muvumba流域洪涝干旱预警系统）为案例；以RUCM模板撰写UCS，手工起草初始提示（prompt）含任务、上下文、少样本示例、输入、响应模式与约束，借结构感知多目标元提示优化（SAMMO）对提示做束搜索式改写（含Output(GenerateText)、Paraphrase、Rewrite算子）提升完整性与正确性；通过API调用GPT-3.5 Turbo、GPT-4 Turbo、GPT-4o、GPT-4o-mini、GPT-5 Nano、Llama 3-70B、Mixtral-8x7B等decoder-only LLM生成抽象测试；由HITL对照人工构筑的基真（GT）测试集评估节点覆盖、交互覆盖与动作覆盖，以映射表将抽象动作/输入转写可执行命令；以微服务架构PoC工具（Vue.js前端、Node.js服务发现、MongoDB存储、WebSocket/MQTT/CoAP/HTTP适配器）在真实硬件上跑测并判定PASS/FAIL。
研究结果部分，按原文小节浓缩如下。引言指出E2E测试须验设备经网关、云到应用的全路径，TGenAI填补了无源码/无精模条件下的空白。背景节明确四层IoT视图与E2E定义。相关工作节比对既往IoT测试（偏设备/接受测试/UML行为模型）与LLM测试（偏源码单测），凸显本文从RUCM文本生成E2E的位差。TGenAI描述节阐明：RUCM去歧模板含基本流/特定替代流/全局替代流/绑定替代流与RFS分支点；期望测试含输入、动作、期望输出三要素；流程为提示构制→SAMMO优化（WIMP某UCS完整性79%升至92%、正确性74%升至91%）→API抽测→HITL评测→映射表指定→执行就绪调优。PoC工具节给出测试编排器、解析器、格式化器、分发器、适配器、SUT连接器与结果分析器分工。实证评估节在WIMP与EWS-FD上跨LLM测得完整性/正确性13%–100%，HITL微调量远低于人工，五名测试员对照实验显示时间省、漏测少；RQ5证API与GUI产出可比且满足集成可复现。讨论节认为LLM选型影响大、RUCM结构化降低幻觉、HITL不可省、映射表轻量可复用、PoC受限于协议与端点暴露。结论节译文：研究人员提出TGenAI，一种从RUCM用例规约生成E2E测试并借HITL保质的LLM方法，在两已部署物联网系统WIMP与EWS-FD验证，显示时间与精力节省，而HITL需求揭示改进机会与未来研究向完全自动化测试演进而行。
