基于校准拒绝阈值的理由感知接地验证技术,用于在NVIDIA Jetson平台上实现注重隐私的离线阿拉伯语-英语边缘RAG语音助手
《Expert Systems with Applications》:Reason-Aware Grounding Verification with Calibrated Rejection Thresholds for Privacy-Aware Offline Arabic–English Edge RAG Voice Assistants on NVIDIA Jetson
【字体:
大
中
小
】
时间:2026年08月09日
来源:Expert Systems with Applications 9.4
编辑推荐:
•该离线阿拉伯语-英语边缘RAG语音助手运行在NVIDIA Jetson平台上。•经过校准的地面验证器能够提升基于理由的答案验证精度。与基准方案相比,过度拒绝率降低了36个百分点。•7B Qwen验证器可实现51/51的直接判断结果,且无任何替代决策。•系统还具备符合PDPL要求
•该离线阿拉伯语-英语边缘RAG语音助手运行在NVIDIA Jetson平台上。•经过校准的地面验证器能够提升基于理由的答案验证精度。与基准方案相比,过度拒绝率降低了36个百分点。•7B Qwen验证器可实现51/51的直接判断结果,且无任何替代决策。•系统还具备符合PDPL要求的隐私拒绝功能,以及628倍的缓存加速效果。该讨论围绕七个研究方向展开:检索增强生成架构、最新的领域专用RAG辅助系统、幻觉检测与真实性验证、大语言模型的边缘部署、多语言及阿拉伯语自然语言处理、以大语言模型作为评估工具的方法,以及具备隐私意识的对话型人工智能。最后通过对比分析明确了所提出系统的优势。
提出的方法论
本节介绍了所设计的离线双语边缘RAG框架,重点阐述了其架构设计、安全机制、具备隐私意识的拒绝逻辑、语言感知型检索功能、运行时协调机制以及可重复性结构。该方法论基于一个核心设计原则:面向公众的RAG辅助系统的安全性与实用性无法仅通过单一组件来实现。因此,需要将检索、生成、验证、拒绝判定、缓存等功能整合在一起。
相关算法
本节详细说明了部署系统中使用的主要算法。这些算法对应于第3节中提到的四种方法机制:经过校准的真实性验证、隐私意图分类、语言感知型检索以及端到端的智能体协调机制。明确阐述这些算法有两个目的:其一,确保所提出系统在操作逻辑层面具备可重复性,而不仅仅是在架构层面。
实验设置
本节描述了用于评估该离线双语边缘RAG辅助系统的硬件平台、软件环境、模型配置、评估数据集、评价指标、实验阶段以及可重复性保障机制。该实验设置旨在同时评估方法层面的表现,如验证器的校准程度和隐私意识下的拒绝行为,以及部署层面的表现,包括延迟、缓存加速效果以及在真实边缘硬件上的语音处理性能。
结果与讨论
本节展示了对该离线双语边缘RAG辅助系统的实证评估结果。分析内容围绕第1节提出的研究问题展开。首先总结所有实验阶段的主要发现,随后分析大语言模型选择实验、经过校准的验证器效果对比、导致Qwen系列模型在验证能力上出现差异的决策路径因素、语音处理系统的部署表现,以及阿拉伯语与英语场景下的幻觉问题。
对比分析
本节从四个维度对所提出的框架与现有的主流方案进行了比较:幻觉控制能力、对有效查询的过度拒绝现象、具备隐私意识的拒绝行为,以及边缘部署的可行性。虽然表1从概念层面将该研究与现有文献进行了对比,但本节则利用同一ASCL评估基准中的内部测试数据,进行了更为严谨的定量对比。这样的设计避免了概念表述上的模糊性。
研究局限性
本节指出了本研究存在的主要限制条件。其目的并非削弱已获得的成果,而是明确这些成果的适用范围,并指出后续复制与扩展研究的重要方向。应将该研究视为一种在特定机构环境下的 controlled部署测试,而非针对不同领域的双语RAG系统的大规模基准测试。因此,所有研究结果都应在这一框架下进行解读。
实际应用价值
该框架对于离线机构辅助系统、受监管的边缘人工智能部署以及验证器审计方法具有实际应用意义。实验结果表明,面向公众的RAG辅助系统可以在边缘硬件上本地部署,同时实现双语交互、具备隐私意识的拒绝功能、基于事实的响应生成,以及可被审计的验证器行为。这对于那些因隐私原因无法完全依赖云端大语言模型服务的机构来说具有重要意义。
未来工作
本研究证明了在Jetson AGX Orin 64GB平台上实现具备隐私意识、经过校准的离线双语边缘RAG系统的可行性。未来的工作将从七个方面进一步拓展该框架:不同硬件及模型系列的适配、多语言幻觉问题的诊断、知识库与检索功能的扩展性提升、延迟优化、隐私分类与人本化评估方法、基准测试的可重复性保障,以及具身化多语言部署技术的开发。
结论
本文介绍了一种具备隐私意识、推理能力的离线阿拉伯语-英语边缘RAG语音辅助系统,该系统部署在沙特苏丹王子大学自动化系统与计算实验室的一台NVIDIA Jetson AGX Orin 64GB设备上。开展这项研究的动机源于一个实际但尚未得到充分研究的部署难题:面向公众的机构辅助系统需要在本地知识库的基础上回答有用问题,同时避免出现无依据的回答、过度拒绝用户请求、侵犯用户隐私、语言能力下降等问题。
可重复性声明
本文中所有重要的数值数据均可追溯至项目仓库中保存的评估结果文件。A阶段的结果来自qwen7b_*、aya8b_*和qwen3b_*这三个评估目录中的数据。B+阶段的验证器效果对比数据来自ablation_verifier_v3_*文件。语音处理相关的测试数据则来自voice_v2_*_cold和voice_v2_*_warm这两个测试版本。验证器的决策路径统计数据则提取自每个智能体日志文件中的结构化JSON数据。
伦理与数据使用声明
该辅助系统所使用的知识库内容均为为公开交流或受控实验室测试而准备的机构内部资料。语音处理功能的测试则使用了研究团队为系统验证而录制或生成的测试语句。在实验过程中,没有收集或使用任何外部用户的对话记录、私人信息、生物特征数据或个人语音识别数据。该系统被设计为能够拒绝处理涉及隐私意图的请求。
作者贡献声明
Walid El-Shafai:概念设计、方法论构建、软件开发、系统验证、形式化分析、研究实施、数据整理、结果可视化、初稿撰写、文本审阅与修改、项目管理、资金筹措、研究指导。Ahmad Taher Azar:概念设计、方法论构建、形式化分析、研究实施、资源协调、文本审阅与修改、研究指导、项目管理。M.A. Khalifa:方法论构建、系统验证、研究实施、资源协调、形式化分析、文本撰写。
利益冲突声明
作者声明不存在任何可能影响本研究结果的已知财务利益关系或个人关系。
Walid El-Shafai | Ahmad Taher Azar | M.A. Khalifa
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号