《Proceedings of the Design Society》：Drivers and barriers of learning MBSE: design and validation of a RAG-based AI chatbot leveraging smart views
编辑推荐：
学习模型驱动系统工程（MBSE）受到抽象性和复杂工具的阻碍。本文通过文献综述和访谈识别障碍，以设计一个基于检索增强生成（RAG）的聊天机器人，作为提供情境化指导的“智能视图”。通过一个学期的实地研究和一项受控实验进行评估，原型显示出高可用性并降低了认知负荷。虽
学习模型驱动系统工程（MBSE）受到抽象性和复杂工具的阻碍。本文通过文献综述和访谈识别障碍，以设计一个基于检索增强生成（RAG）的聊天机器人，作为提供情境化指导的“智能视图”。通过一个学期的实地研究和一项受控实验进行评估，原型显示出高可用性并降低了认知负荷。虽然其性能与传统电子书相当，但基于RAG的系统通过逐步辅导有效缓解了入门级障碍，并辅助了真实的项目工作，为MBSE教育提供了一个可扩展的、交互式的补充。
本文围绕模型驱动系统工程（MBSE）教育中存在的学习障碍，探索了基于检索增强生成（RAG）技术的人工智能（AI）聊天机器人作为解决方案的设计、开发与验证。研究背景源于MBSE在学术界和工业界日益增长的重要性与其陡峭学习曲线之间的矛盾。MBSE作为一种用形式化系统模型替代以文档为中心实践的范式转变，其掌握依赖于建模语言（如SysML）、方法论（如SYSMOD）和软件工具（如Cameo Systems Modeler）这三元组的协同。然而，方法论的高度抽象、形式化符号的认知需求以及碎片化的工具生态系统构成了主要的学习障碍，导致学生和年轻工程师难以将抽象理论转化为实际建模实践。尽管现有的教育形式（如讲座、项目式学习）提供了有价值的基础，但在提供个性化适应性和实时支持方面面临可扩展性问题。因此，研究人员旨在识别MBSE学习的关键障碍与驱动因素，并据此设计一个能够提供情境化解释和即时反馈的RAG聊天机器人原型，以作为传统教学材料的补充。该研究发表在《Proceedings of the Design Society》上。
为开展此项研究，研究人员主要采用了以下几种关键技术方法：首先，通过系统文献综述和专家访谈（样本包括4名学术界专家和7名工业界从业者）的定性方法，识别并分析了影响MBSE学习的障碍与驱动因素。其次，基于这些经验发现，研究人员推导出聊天机器人的设计需求，并开发了一个原型系统。该系统采用RAG架构，将精心策划的MBSE知识库（包括教科书、方法论指南和SysML规范）与大型语言模型（LLM）结合，通过语义检索和生成式后端提供对话式响应。最后，研究通过一个探索性的学期实地研究（在柏林工业大学进行）和一个受控实验室实验，对原型进行了互补性验证，比较了其与传统电子书在学习成果、用户满意度和感知自我效能方面的表现。
研究结果部分通过多个小节呈现了具体发现：
- **系统文献综述的结果**：识别出影响初学者的广泛障碍，包括与MBSE相关的陡峭学习曲线、专注于SysML语法而非整体方法论的教育倾向、工具复杂性以及文化阻力。同时，也指出了相应的驱动因素。
- **专家访谈的结果**：访谈结果证实并深化了文献综述的发现，强调了抽象的严重困难、工具学习的挑战、学术课程时间有限、工具异质性导致的过渡困难以及组织内的文化阻力。同时，实践丰富的情境化示例和可演示的项目效益被强调为有效的教育驱动因素。
- **学期实地研究**：在真实的MBSE项目工作中，聊天机器人被学生视为一种易用的工具，能够降低入门障碍、澄清术语并提供对抽象图表和符号的即时解释。大多数学生对其满意度和易用性评价较高，幻觉报告罕见且影响微小。然而，在需要架构决策的任务中，回答往往过于通用，且缺乏对图表的多模态支持。
- **受控实验室研究**：在解决时间受限的SYSMOD建模任务时，使用聊天机器人的组与使用SYSMOD电子书的组在解决方案质量和完成时间上表现相当，独立样本t检验显示无统计学显著差异。交互日志分析表明，多轮对话比简短的关键词查询能产生更全面和情境相关的回答。
在讨论部分，研究人员对研究结果进行了解释并指出了局限性。综合两项研究的评估表明，该聊天机器人能够支持真实的项目工作，通过快速解释、术语澄清和逐步建模指导，直接应对了情境化和迭代澄清等关键学习驱动因素。然而，在受控实验的标准化任务中，它并未显示出短期任务绩效的显著提升。研究证实了聊天机器人作为现有学习材料（特别是即时解释）可行补充的潜力，但其对能力发展的影响仍有待探究。该聊天机器人主要解决了个体入门级的障碍，如抽象性和不熟悉的术语、支持的可及性有限等，并通过对话形式支持迭代澄清。但工具复杂性、异构工具链、架构决策支持、以图表为中心的工作以及组织文化阻力等挑战并未得到有效缓解。研究的贡献主要体现在可及性和理解支持方面，而非高级建模执行或采用动态。实地研究具有较高的生态效度但依赖于感知数据，限制了学习效果的因果解释；实验室实验支持受控比较但周期短、任务聚焦，限制了对更深层次教育成果的敏感性。此外，支持质量依赖于用户对话行为，表明有效使用需要一定的交互能力。该聊天机器人可被解释为一种针对MBSE知识的智能视图，它提供了利益相关者适宜、情境敏感的模型和方法信息访问，从而降低认知负荷并支持理解，但并未取代以工具为中心的建模实践。
研究结论指出，本文提出的基于RAG的聊天机器人旨在通过基于策划知识的语境化解释和逐步辅导来缓解MBSE学习障碍。在所有研究中，该系统被认为易于使用，并能支持早期建模步骤，有效缓解了抽象性和术语鸿沟等入门级障碍。然而，系统性的挑战——如软件复杂性、组织阻力和高级视觉推理——并未受到孤立文本辅导的影响。此外，由于受控实验未产生显著的短期绩效收益，其对客观学习成果的影响仍是探索性的，其在正式评估中的可衡量教育价值仍有待证明。
