基于LLM驱动的异构多智能体系统自动生成铁路CTC测试用例

《IEEE Access》:LLM-Driven Heterogeneous Multi-Agent for Automatic Generation of Railway CTC Test Cases

【字体: 大 中 小 】 时间:2026年09月20日 来源:IEEE Access 4.2

编辑推荐:

  集中调度集中系统(Centralized Traffic Control, CTC)是铁路运营的重要组成部分。CTC的测试对于确保安全与稳定至关重要。高质量的测试用例是测试的关键。目前,CTC测试用例主要由人工编写,导致效率低下、开发周期长且覆盖不完整。这无法

  
集中调度集中系统(Centralized Traffic Control, CTC)是铁路运营的重要组成部分。CTC的测试对于确保安全与稳定至关重要。高质量的测试用例是测试的关键。目前,CTC测试用例主要由人工编写,导致效率低下、开发周期长且覆盖不完整。这无法满足复杂测试的需求。为解决这些问题,本文提出了一种基于大语言模型(Large Language Model, LLM)驱动的异构多智能体系统的CTC测试用例自动生成方法。测试过程被分配给四个智能体:需求分析(Demand Analysis)、测试策略(Test Strategy)、用例生成(Case Generation)和质量评估(Quality Assessment)。一个人工智能编程智能体作为领导者,所有下属智能体均与大语言模型(LLMs)连接以执行各自的任务。本研究还开发了一款用于测试用例生成的AI对话工具。实验表明,基于所提方法的工具能够生成标准且完整的测试用例。与人工工作相比,该方法提高了测试用例的效率和准确性,降低了成本,并提升了铁路CTC系统工程应用的测试能力。

论文解读文章

研究背景与问题
铁路集中调度集中系统(Centralized Traffic Control, CTC)是保障铁路运营安全和高效的关键。其功能测试的完整性直接影响铁路运输的安全与效率。然而,当前的CTC测试高度依赖人工,工程师需阅读大量技术文档、操作手册和功能描述来手动编写测试用例。这一过程不仅耗时费力、效率低下,而且容易因人为疏忽导致测试覆盖不全。随着CTC系统的迭代更新,测试需求持续增长,传统的人工方法面临巨大挑战。尽管早期采用了等价类划分、边界值分析等传统测试方法,以及后续引入的故障诊断和机器学习方法,但这些方法在处理复杂系统时效果不佳,或需要大量标注数据和重复训练,难以适应快速变化的工程应用场景。因此,迫切需要一种新的智能化方法,以提高知识密集型测试任务的效率和质量。
研究内容与结论
为解决上述问题,研究人员提出了一种融合大语言模型(Large Language Model, LLM)与异构多智能体系统的CTC测试用例自动生成框架。该框架并非取代传统测试流程,而是作为智能辅助工具,提升测试工程师的工作效率。通过设计四个分别模拟不同专业角色的智能体,实现了从需求分析到质量评估的测试全流程自动化闭环。实验结果表明,该基于LLM和多智能体的方法能够生成标准、完整的测试用例。与人工编写的测试用例相比,该方法在测试覆盖率、语义一致性、结构合规性方面表现更优,综合评分高达约95分,同时将平均生成时间从人工的8至16小时缩短至20分钟以内,显著提升了效率和准确性,降低了成本。
关键技术方法
研究人员采用的核心技术方法是构建了一个由领导者智能体协调的异构多智能体系统。该系统包含四个专用智能体:
  1. 1.
    需求分析智能体:基于通义千问3.5-397B-A17B模型,结合预设的场景化提示词模板,对输入的CTC技术文档、操作手册等进行分析,提取功能规格、约束关系等信息,生成结构化功能语义表示。
  2. 2.
    测试策略智能体:基于需求分析的结果,通过解决一个测试覆盖优化问题,确定测试优先级、定义测试边界并生成最优的测试场景集,以确保高覆盖率和低复杂度。
  3. 3.
    用例生成智能体:基于阶跃星辰Step-3.7-Flash模型,整合功能语义和测试场景,遵循预定义的测试用例模板(包括ID、功能、场景、测试步骤、预期结果等字段),生成结构化的测试用例,并可导出为Excel文件。
  4. 4.
    质量评估智能体:基于MiniMax-M2.7模型,从测试覆盖率、语义一致性和结构合规性三个维度,对生成的测试用例进行量化评分,实现质量自动评估。
    此外,研究人员使用Claude Code作为领导者智能体,并开发了一款支持多轮对话、文件上传、流式输出的AI对话工具,以协调各智能体完成工作。所有LLM均部署于离线隔离网络环境中,确保数据安全。
研究结果
  • •
    A. CTC测试需求分析
    研究人员使用通义千问3.5-397B-A17B模型作为需求分析智能体。该智能体通过结合上下文提示词模板,成功解析了输入文档中的功能规格、测试对象和约束关系等信息。实验中,该智能体嵌入了七种不同类型的CTC提示词模板,有效提高了需求解析的准确性。用户还可通过预留的编辑模块灵活修改提示词和输出格式。
  • •
    B. CTC测试策略制定
    测试策略智能体基于需求分析的输出,生成了代表性的测试场景集。该智能体支持通过配置文件或界面灵活配置LLM的基础URL、模型类型、密钥以及温度、最大令牌数、Top P等生成参数。在本实验中,针对CTC列车运行终端,研究人员将温度设置为0.7,Top P设为1.0,最大令牌数设为8192。所有LLM均在完全离线的本地环境中运行,杜绝了数据泄露风险。
  • •
    C. CTC测试用例生成
    用例生成智能体基于阶跃星辰Step-3.7-Flash模型,以功能语义表示和测试场景为输入,结合提示词模板,生成了测试步骤和预期结果。生成的测试用例遵循标准模板,并可转换为表格格式导出为Excel文件。研究人员使用Claude Code作为领导者智能体,开发的AI对话工具支持多源文档上传、多轮对话和流式输出。
  • •
    D. CTC测试用例质量评估
    研究人员对列车运行终端的告警、调度命令、控制与显示三个典型功能模块进行了评估。评估指标包括测试覆盖率、语义一致性、结构合规性、冗余数量和时间。质量评估智能体基于MiniMax-M2.7模型进行计算。结果显示:
    • •
      告警模块基于7个功能生成了33个测试用例;调度命令模块基于12个功能生成了67个;控制与显示模块基于134个功能生成了152个。
    • •
      与人工方法相比,多智能体方法在三个评估维度上均表现更好:测试覆盖率接近100%,语义一致性超过85%,结构合规性接近100%,综合评分约为95分,高于人工方法。
    • •
      在冗余度方面,多智能体方法生成的测试用例冗余度远低于人工方法,满足工程要求。
    • •
      在效率方面,多智能体方法的平均生成时间在20分钟内,而人工方法通常需要8至16小时。
讨论与结论
在讨论部分,研究人员指出了当前方法的局限性:首先,面对数千条测试需求时,上下文窗口限制可能导致幻觉,需将需求划分为多个子集。其次,该方法不能完全替代测试工程师的专业判断,仍需约5%的人工验证工作量来检查完整性和合规性。最后,由于LLM固有的随机性,相同提示词在不同运行下可能产生略微不同的输出,导致缺乏可追溯性;为此,框架会记录模型信息、输入需求和提示词模板以提高复现性。
研究结论:本文提出了一种基于LLM驱动的异构多智能体方法,用于生成CTC测试用例。该方法通过构建LLM与多智能体交互框架,设计了需求分析、测试策略、用例生成和质量评估四个智能体,并由领导者智能体协调监督,最终开发出一款AI对话工具。实际应用验证了该工具生成的测试用例在覆盖率、一致性、合规性和冗余度方面均能满足评审要求。本研究旨在探索基于LLM的多智能体协作如何辅助工程师处理铁路系统中的知识密集型测试任务,为智能测试用例生成提供了新视角,并为改进其他铁路系统的测试流程提供了有价值的参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号