面向标准对齐的SysML v2模型语义验证的多智能体框架

《Computer Standards & Interfaces》：A multi-agent framework for standards-aligned semantic validation of SysML v2 models

　　

提出了一种面向标准对齐的SysML v2模型语义验证的多智能体框架。该框架以ISO/IEC/IEEE 29148:2018《系统工程与软件工程——生命周期过程——需求工程》标准中的需求质量属性为基准，将验证过程分解为五个可解释、可审计的智能体。研究人员通过严格、宽松和加权三类需求覆盖度指标，量化SysML v2模型对源需求的语义满足程度。此外，还比较了GPT-4o-mini与DeepSeek-R1两种大语言模型（LLM）在语义判定行为上的差异。实验基于14个源自OMG官方SysML v2示例的模型及其手工编制需求所构成的数据集展开，结果表明所提管线能够有效区分需求满足、部分满足与缺失状态，且DeepSeek-R1在欠规格模型上表现出更严格的判定倾向，而GPT-4o-mini在良好规格模型上与DeepSeek-R1达到近乎一致的覆盖度。该研究为受监管领域中可审计的模型语义合规验证提供了可复现的技术路径。

面向标准对齐的SysML v2模型语义验证的多智能体框架研究解读

一、研究背景与问题

在系统工程与软件质量保障领域，确保系统模型与其来源需求之间的标准一致性可追溯性始终是一项核心挑战。随着SysML v2的发布，其更丰富的语义表达能力和多学科集成优势为复杂系统建模带来新机遇，但模型与需求之间的语义对齐问题依然突出。传统验证工具主要聚焦于语法和结构层面检查，例如SysIDE仅通过解析和语法检查验证SysML文本模型，SysON虽提供运行时验证和约束检查，却缺乏对语义链接完整性和跨领域约束的关注，Cameo Systems Modeler虽扩展了部分语义分析，但主要依赖用户驱动配置，并未提供全面的语义或需求映射。这些工具均无法系统性地评估模型在语义层面是否真正满足其来源需求。

与此同时，大语言模型（Large Language Model, LLM）的快速发展为需求分析与验证自动化提供了新可能，但直接应用往往因缺乏领域约束而产生语法无效或语义不一致的产物。在安全关键领域（如航空航天、医疗设备、汽车功能安全），ISO 26262、DO-178C、ARP4754A、IEC 62304等标准均要求提供可证明的追溯证据，而人工跨大规模模型实现追溯既昂贵又易出错。因此，需要一种能够产生可审计合规证据的自动化语义验证框架。然而，现有LLM工作流缺乏可解释性和标准对齐能力，难以满足受监管工程领域的采用要求。

二、研究内容与结论

针对上述问题，研究人员提出了一种面向标准对齐的多智能体语义验证框架。该框架将单一提示词方案分解为五个专门化推理智能体的流水线，依据ISO/IEC/IEEE 29148:2018标准中定义的需求质量属性（正确性、完整性、无歧义性、可验证性、可追溯性），对SysML v2模型与需求之间的语义对应关系进行系统化评估。该框架被实例化为确定性LangGraph状态机，通过严格类型化的JSON接口连接各智能体，并集成专用反馈智能体用于补丁合成，提供了一种现有基于模型的系统工程（Model-Based Systems Engineering, MBSE）验证工具链中缺失的编排模式。

实验基于14个SysML v2模型及其对应需求构成的数据集，采用GPT-4o-mini与DeepSeek-R1两种LLM后端进行对比评估。结果表明，多智能体管线的单提示词基线显著更具判别力；两种后端在良好规格模型上表现几乎一致，在欠规格模型上DeepSeek-R1更严格，能识别更多缺失需求。框架实现了严格的、宽松的和加权的三类覆盖度指标，为模型级语义实现程度提供可量化评估。

三、关键技术方法

研究人员主要采用了以下关键技术方法：（1）多智能体流水线架构，遵循关注点分离原则，将语义验证分解为五个窄上下文智能体——Model2TextAgent负责将SysML v2模型转换为结构化JSON抽象，RequirementAgent将原始需求规范化拆解为原子可测试语句，SemanticJudgeAgent依据ISO/IEC/IEEE 29148:2018标准质量属性进行逐条判定，ScoringAgent计算三类覆盖度指标，FeedbackAgent生成改进建议和SysML v2代码级补丁；（2）基于LangGraph的确定性状态机编排，通过严格类型化JSON接口实现智能体间可审计的状态传递；（3）零样本角色提示与严格模式强制策略，并嵌入隐式思维链机制，要求判定先产生中间推理产物再给出状态分类；（4）ISO/IEC/IEEE 29148:2018标准质量属性的操作化映射，将非形式化标准转化为机器可解释的评估过程；（5）对比实验采用闭源高效型GPT-4o-mini与开源权重推理型DeepSeek-R1两种后端。数据集来自OMG官方SysML v2示例模型，由作者手工编写对应需求并交叉审核建立地面真值。

四、研究结果

4.1 GPT-4o-mini评估结果
GPT-4o-mini在14个模型上的表现清晰区分了良好规格与欠规格模型。良好规格模型（M2、M6–M9、M11、M14）在严格、宽松和加权三类指标上均达到满分1.00，第二组（M5、M10、M12、M13）略低（0.92–0.97严格），少量需求被判部分满足或缺失。最低覆盖度集中在刻意欠规格的模型上：M3（Camera，0.42）、M4（MedicalDeviceFailure，0.46严格/0.62宽松）、M1（Vehicle Analysis Demo，0.71），模型正确地将源中无对应元素的需求（如加密、诊断）标记为缺失。M4、M12、M13上的严格-宽松差距反映了部分满足状态的判定，证实GPT-4o-mini能区分三种满足层级。数据集平均严格覆盖度约0.88。

4.2 DeepSeek-R1评估结果
DeepSeek-R1在良好规格模型上与GPT-4o-mini几乎一致，均在1.00或接近满覆盖（M2、M5–M7、M9、M14为1.00；M8、M10、M11在0.95–0.97严格，残余差距源于单个部分满足需求）。两种后端在需求真正实现于模型的场景下高度一致。分歧仅出现在欠规格模型上，DeepSeek-R1始终是更严格的评估器：M3上0.21对0.42，M4上0.31对0.46，M1上0.53对0.71，M13上0.84对0.92，每一例均标记更多需求为缺失。数据集平均严格覆盖度约0.84，低于GPT-4o-mini的0.88。

4.3 比较综合分析
在良好规格模型上两种后端几乎无差异，均接近满覆盖；系统性差异限于欠规格模型，DeepSeek-R1标记更多遗漏。该结果推翻了更大推理模型更宽松的直觉，两种后端定义了互补的操作点：DeepSeek-R1优先检测缺口，最小化误报（将未覆盖需求报告为已覆盖），在安全关键或受监管场景中更具保守优势；GPT-4o-mini在相同模型上略宽松但内部一致，在良好规格模型上同等准确，且清晰区分满足、部分满足和缺失状态。从标准角度看，两者均提供可审计、可靠的证据，主要在模糊案例上的严格-宽松权衡上有所不同。

4.4 执行时间分析
端到端墙钟时间分析显示，GPT-4o-mini对模型规模（以代码行数或元素计数衡量）呈强依赖（r=0.90），而DeepSeek-R1显著更平缓（r=0.54和0.66），其显式推理过程为每次调用贡献了与规模无关的较大开销，即使最小模型也超过120秒。元素计数是更稳健的规模代理指标，对DeepSeek-R1保持预测价值。整体最强预测因子是RequirementAgent产生的原子需求数量，DeepSeek-R1上r=0.87，GPT-4o-mini上r=0.86，与架构一致——SemanticJudgeAgent每个原子需求执行一次推理步骤。两种后端的每模型成本均处于支持迭代式仓库级应用的范围内。

4.5 定性错误分析
细粒度检查揭示了两种值得关注的模式。其一，框架展现出强大的“负向能力”——在不产生幻觉合规的情况下识别缺失特征。在Camera模型中，关于加密（R12）和光照条件（R10）的需求被两种后端均判为缺失，因为源模型中的通用takePicture动作并不蕴含这些能力，DeepSeek-R1在此更为严格。其二，Model2TextAgent在摘要化过程中存在信息丢失的残余风险。当结构相关但冗长的元素（如库导入或样板声明）被缩写或省略时，依赖此类元素的需求可能被误判，即使信息存在于原始源中。该失败模式与上下文窗口大小无关，源于摘要化而非截断，将流水线的实际瓶颈定位于Model2TextAgent的结构元数据保留能力。

4.6 对其他建模语言的迁移性
框架的隔离边界是类型化JSON接口。Model2TextAgent输出的结构化抽象（概述、实体、能力、约束）刻意保持语言无关，不命名任何SysML v2构造，因此下游智能体不观察源模型的具体语法。五个智能体中三个无需修改即可复用：RequirementAgent、SemanticJudgeAgent和ScoringAgent完全语言无关。移植到另一种建模语言仅需重新实例化Model2TextAgent和FeedbackAgent两个接触具体语法的智能体。但实际迁移受制于三因素：目标语言在骨干模型预训练语料中的表示质量、图形化语言需要先序列化步骤、抽象模式本身预设了结构化或行为化范式。

五、总结与讨论

研究表明，将语义验证分解为五个窄上下文智能体显著提升了可靠性和可审计性，单提示词基线倾向于过度归因满足并将多数模型饱和于满覆盖，而分解使每个LLM调用保持锚定且错误可定位至具体阶段。中间类型化JSON状态是调试和将黑箱评估转化为可审计流程的最有价值设计决策。在良好规格模型上两种后端几乎无差异，仅在刻意欠规格模型上分歧，DeepSeek-R1表现更严格，最小化误报，在高完整性环境中具有价值；GPT-4o-mini则提供更低延迟和成本，且与现有SysML v2生成管线更紧密对齐。后端选择本质上是部署层面的权衡。摘要化而非上下文窗口是主要残余风险，将实际瓶颈定位于Model2TextAgent的结构元数据保留。由于现有基于智能体的SysML v2生成管线本身基于GPT-4o-mini构建，复用相同模型进行评价可避免生成与评估之间的解释偏差，实现连贯的设计-评估-精化循环。该研究为借助LLM实现可靠、可解释且标准对齐的SysML v2模型语义评估奠定了坚实基础，所获得的经验教训——而非架构本身——预期将迁移至下一代MBSE工具链。