Secure Knowledge Retrieval for English-Teaching Agents: A Multi-Stage Auditing and Knowledge Purification Method **英语教学智能体的安全知识检索：一种多阶段审计与知识净化方法**

《Big Data and Cognitive Computing》：Secure Knowledge Retrieval for English-Teaching Agents: A Multi-Stage Auditing and Knowledge Purification Method

　　

英语教学智能体通过外部知识检索来更新教学内容、拓宽领域覆盖面，并在独立的生成式大语言模型（large language model，LLM）之外提供个性化支持。然而，开放来源可能将有害、有偏见或误导性的内容引入检索增强生成（retrieval-augmented generation，RAG）流水线，影响学习者的判断力、文化理解与价值观形成。为解决这一问题，本研究提出了一种面向英语教学智能体的多阶段安全知识检索方法。该方法在知识源接入、检索执行和模型输出三个阶段协调部署安全防护机制。在接入阶段，自定义规则与基于Semgrep的静态扫描执行初步风险筛查。在检索阶段，基于LLM的动态评估识别工具描述污染与跨文件数据流风险。在输出阶段，语义嵌入预筛查、LLM审查和有界知识净化检测并改写风险响应。研究人员采用公开安全基准、良性文本与中毒文本混合语料、合成净化案例以及受控端到端教学场景进行实验。与原始RAG相比，该框架将中毒暴露@5（Poison Exposure@5）从92.0%降至3.0%，检索攻击成功率从86.0%降至2.0%，同时保持了检索覆盖率。这些结果提供了初步证据，表明该框架能够通过使智能体提供更安全的材料和可信支持，赋能课堂教学提问、学术写作和跨文化学习等英语教学场景。

**论文解读：面向英语教学智能体的多阶段安全知识检索框架**

**一、研究背景与现存问题**

大语言模型（large language model，LLM）正深刻改变英语教学格局，在对话练习、语法纠正、写作反馈、跨文化交际和自适应学习等方面展现出显著潜力。基于LLM的辅导系统为提升语言学习效率和教学质量提供了有前景的技术基础。然而，独立的LLM仍受限于知识更新滞后、专业场景覆盖不足以及对个体学习者适应性欠缺等问题。在学术英语写作、商务沟通、语用理解和跨文化学习等场景中，这些局限可能导致过时解释、术语不准确、语境误判或文化偏见性回应。

为克服上述局限，英语教学智能体日益将LLM推理与外部知识检索、工具使用和教学流程控制相结合。通过检索和整合外部资源，此类智能体能够实时更新知识并提供更具语境适配性的英语学习支持。然而，检索增强型智能体也引入了传统教育聊天机器人评估所未能充分捕获的安全风险。在检索增强生成（retrieval-augmented generation，RAG）中，外部知识源可能在进入生成阶段之前遭受污染、操纵或语义偏见。这一风险在英语教学中尤为突出，因为有害、歧视性、误导性或文化冒犯性内容可能直接以教学知识的形式呈现给学习者。

现有RAG安全方法分别关注自适应检索、安全感知检索和语义冲突过滤等互补目标，但各自保护RAG生命周期的不同环节。对于英语教学智能体而言，其检索资源可能包含文档、脚本、元数据和工具描述，面向学习者的输出还必须同时满足内容安全与教学适切性双重约束，因此仍存在部署空白。本研究的创新之处不在于任何单一组件，而在于将四种控制措施整合到一个可审计工作流中：异构资源准入、检索执行审计、输出风险路由和最小教学净化。

**二、研究内容与结论**

本研究提出了一种面向英语教学智能体的多阶段安全知识检索方法，在知识源接入、检索执行和模型输出三个保护阶段协调部署安全机制。实验采用两类公开基准（ToxiGen和Civil Comments）、良性文本与中毒文本混合语料、合成净化案例以及受控端到端教学场景。结果显示，与原始RAG相比，该框架将中毒暴露@5（Poison Exposure@5）从92.0%降至3.0%，检索攻击成功率从86.0%降至2.0%，同时保持了79.0%的安全召回率@5（Safe Recall@5）。在60条查询的受控端到端评估中，安全方法未产生任何不安全回答，而原始RAG产生了4条。该研究发表在《Big Data and Cognitive Computing》期刊上，为英语教学智能体的安全部署提供了实证基础。

**三、关键技术方法**

本研究采用的主要技术方法包括：（1）基于Semgrep的自定义规则静态扫描，用于接入阶段显式风险模式筛查；（2）基于LLM的动态评估模块，用于检索执行阶段识别工具描述污染和跨文件数据流风险；（3）最大锚点语义嵌入筛查（基于DashScope text-embedding-v3，1024维嵌入）结合条件式LLM审查（DeepSeek deepseek-chat），用于输出阶段安全判定；（4）单次指令条件化知识净化策略，由冻结的后净化安全审查器进行验证。混合语料实验采用BGE-small-en-v1.5（384维）稠密检索编码器，所有方法共享相同候选池、Top-20初始集和Top-5最终集。

**四、研究结果**

**4.1 混合语料代理对比实验**

在锁定200条查询的检索对比中，原始RAG在92.0%的查询中至少暴露一条中毒文本，60.5%的查询将中毒文本置于首位，86.0%的查询检索到配对攻击文本。所提框架将这些指标分别降至3.0%、0.5%和2.0%，安全召回率@5从0.735提升至0.790。与原始RAG相比，中毒暴露降低在Holm校正后具有显著性；安全召回率差异未达显著水平。消融实验表明，动态评估贡献了大部分安全增益，仅规则过滤使中毒暴露保持在52.0%。

**4.2 知识源安全扫描结果**

四个风险分级教学文档的扫描中，系统允许正常学术内容文档（L0），记录低风险文化偏见文档（L1）的警告，拒绝包含宗教歧视和民族刻板印象的文档（L2）以及包含欺诈指南和非法活动内容的文档（L3）。

**4.3 公开基准输出安全结果**

在ToxiGen基准上，纯LLM审查获得最高准确率和F1分数（准确率0.812，F1为0.762）；路由组合将误报降至15个，但嵌入门控使漏报增至212个，召回率降至0.576。在Civil Comments基准上，纯嵌入检测获得最高F1（0.601），冻结LLM提示产生353个漏报，路由方法产生377个。路由组合被证实为精度节省型的可配置方案，而非普遍优越的检测器。

**4.4 净化与安全-效用权衡**

240例合成敏感输出的强制净化实验显示，高后净化安全率（经LLM审查后89.6%）并不意味着教学保留成功。大多数输出变为拒绝回应，几乎所有案例均显示出与合法源含义的显著漂移。端到端检测器加净化结果中，纯LLM路径产生最高最终安全输出率，路由方法减少了审查调用和拒绝但遗漏更多敏感案例，揭示了安全-效用-成本之间的明确权衡。

**4.5 错误分析与讨论**

错误分析识别出三类失败来源：锚点捕获主题多于立场、风险定义跨数据集变化、AND式路由门控将嵌入遗漏传播至最终决策。净化环节的拒绝和含义漂移表明，通过安全审查可能与教学合法内容损失同时发生。检索对比中，支持感知重排序将候选级遗漏限制为6条最终查询存在中毒暴露，但动态-only消融在安全召回率上高出1.5个百分点，表明当前显式规则在此语料上引入了误报而无可测安全增益。

**五、讨论与结论**

公开基准和混合语料结果提供了互补证据，表明输出安全决策具有领域依赖性，支持可配置路由而非单一固定检测器。所有安全感知方法均大幅降低中毒暴露，重叠置信区间表明这是安全感知检索的家族级优势而非单一最优方法。所提框架在低暴露、安全召回保持、无查询级弃权和可审计阶段决策之间实现了平衡。净化实验强调，安全的英语教学智能体应保留合法教学含义，而非主要通过拒绝来实现安全。

总体而言，本研究将源接入、检索执行审计、输出检测和知识净化整合为面向英语教学智能体的可审计安全工作流。实验证实了协调安全审计的可控可行性，表明安全感知检索能够大幅降低中毒知识暴露同时保持检索覆盖率。该框架为英语教学智能体提供安全教学材料和可信支持奠定了实践基础。未来工作将扩展至多语言语料、自适应攻击场景以及以教师和学习者为中心的教学价值与学习成效评估。