《Future Internet》：An AI Answer-Validation Method Using Agentic RAG for Datasheet Inquiry for IoT Application System Deployment
编辑推荐：
物联网（Internet of Things, IoT）应用系统正越来越多地被工厂、商店、办公室和政府采用。然而，对于非专家而言，使用各种设备和模块构建此类系统仍然困难，因为他们在连接设备之前必须从技术数据表中确认规格、通信接口、电压范围和工作条件。在先前的研
物联网（Internet of Things, IoT）应用系统正越来越多地被工厂、商店、办公室和政府采用。然而，对于非专家而言，使用各种设备和模块构建此类系统仍然困难，因为他们在连接设备之前必须从技术数据表中确认规格、通信接口、电压范围和工作条件。在先前的研究中，研究人员已探索了一种基于生成式人工智能的数据表查询回答工具，该工具使用检索增强生成（Retrieval-Augmented Generation, RAG）为物联网应用系统部署提供技术指导。然而，所采用的top-k RAG流程通常会检索多个相关文本块，这可能导致人工智能混淆技术上不同的规格，例如电源输出电压、信号输出电压和输入电压范围，并产生不准确的答案。此外，如果数据表未提供足够的源信息，人工智能可能会生成幻觉答案。本文提出了一种使用智能体RAG（Agentic RAG）的AI答案验证方法，用于物联网应用系统部署中的数据表查询。该方法将数据表信息组织为结构化规格数据，包括设备型号、字段类型、值、单位、条件和源信息。对于问答，智能体根据问题类型协调结构化事实查询、top-k文本检索、源检查和基于规则的兼容性比较。该方法并非完全依赖大语言模型（Large Language Model, LLM）解释检索到的文本块，而是在接受最终答案之前采用结构化规格和确定性源检查。为了评估，研究人员从20个物联网数据表构建了一个数据集，包含1000个问答任务，分三个难度级别。与传统top-k RAG相比，所提出的方法将简单问题的正确答案率从0.686提高到0.958，中等问题从0.549提高到0.969，困难问题从0.273提高到0.613，这证实了所提出方法的有效性。
物联网（Internet of Things, IoT）应用系统正越来越多地部署于工厂、商店、办公室和政府机构。然而，使用各种设备和模块构建这些系统对非专家用户而言仍非即插即用任务，他们必须在连接设备前从技术数据表中确认规格、通信接口、电压范围和工作条件。数据表通常为训练有素的工程师编写，假定读者已具备电子与嵌入式系统知识，且信息常分散在表格、引脚描述、电气特性、示例电路和注释中，相似字段如电源电压、信号输出电压、允许输入电压范围极易混淆。此前，研究人员探索了基于生成式AI的数据表查询回答工具，采用检索增强生成（Retrieval-Augmented Generation, RAG）为物联网部署提供技术指导；但传统top-k RAG往往检索多个相关文本块，可能让AI混淆不同技术规格并产生不准确答案，且当数据表缺少源信息时还可能生成幻觉答案。为解决这些问题，研究人员提出了一种使用智能体RAG（Agentic RAG）的AI答案验证方法，用于物联网应用系统部署中的数据表查询。该方法将数据表信息组织为结构化规格数据，在最终答案被接受前执行规格验证、单位归一化、证据检查和规则兼容性比较。该研究发表在《Future Internet》上。
主要关键技术方法包括：离线阶段利用本地解析器将PDF数据表转换为保留上下文的Markdown证据块，并保留文档标识、页码、最近标题及上下文重叠；通过模式引导抽取生成结构化规格事实，记录设备模型、规格名称、数值、单位、条件、源章节和证据；执行确定性单位归一化（如3300 mV转换为3.3 V），并将结构化事实与证据块分别存入MongoDB。在线阶段使用大语言模型（Large Language Model, LLM）作为受约束的流程控制器，根据问题类型选择结构化事实查询、top-k文本检索、源检查和规则兼容比较；仅在规格类型、单位、条件和源信息验证通过后才接受答案，否则返回N/A或insufficient evidence。评估数据集来源于20个IoT数据表，共1000个问答任务，包含三个难度级别。
研究结果如下。
**6.5 总体性能结果**：在同一基准上对比传统top-k RAG与所提方法，所提方法将简单、中等、困难问题的正确答案率分别从0.686提升至0.958、从0.549提升至0.969、从0.273提升至0.613；答案F1分别从0.814提升至0.979、从0.708提升至0.984、从0.429提升至0.760，表明结构化事实与证据控制能显著提高答案准确性和完整性。
**6.6 不同难度级别的性能**：简单问题主要得益于直接规格查找与证据检查，降低了模型从相关但技术错误的文本块生成答案的风险；中等问题改进最大，说明结构化规格提取对多规格、变体感知或条件相关答案有效；困难问题仍最具挑战，但所提方法通过将规格提取、验证和规则比较分离，仍明显优于基线，表明该设计有助于跨设备兼容性判断。
**6.7 消融研究**：通过移除结构化验证和规则兼容推理的变体实验，发现缺少结构化验证时模型可能将电源电压误用为信号输出电压；缺少规则推理时Hard-QA F1显著降低。完整方法在总体准确率、总体F1和Hard-QA F1上均最佳，说明规格类型验证主要防止错误规格选择，规则推理则对兼容性问题至关重要。
**6.8 按问题类型的分析**：简单问答受益于直接规格查询；结构化问答受益于结构化多规格提取，能将多个规格项标准化为一致表示；兼容性问答受益于成对规格规划与规则推理，而非仅依赖LLM的通用解释。
**6.9 错误分析**：传统top-k RAG的主要错误类型是E1（错误规格选择），即检索块包含相关文本但最终答案选错规格；所提方法的剩余错误更多为E3（缺失答案/弃权）、E4（单位或格式错误）和E5（缺失证据），说明其行为更保守，在证据不足时更
