《AUTOMATION IN CONSTRUCTION》：Mixed-methods evaluation of automated personalised feedback in construction management training using RAG and LLMs
编辑推荐：
AI驱动的建筑工程项目管理个性化反馈系统开发与评估，通过整合大语言模型（LLM）与检索增强生成（RAG）技术，在实体研讨会和在线课程中验证了81名参与者的系统可行性，发现参与度与感知公平性显著影响工具持续使用意愿，提出包含降低认知负荷、增强诊断指导、角色适配个性化等五项设计原则。
Xinping Hu | Yang Miang Goh | Juliana Tay
新加坡国立大学建筑环境系，4 Architecture Drive，新加坡117566
摘要
建设项目管理项目难以大规模提供及时和个性化的反馈。本文开发并评估了一种人工智能反馈系统，该系统结合了大型语言模型（LLM）和检索增强生成（RAG）技术来提供个性化信息。一项基于设计的研究在两种环境中测试了这一功能：一次面对面的工作坊和一门在线课程，共有81名参与者参与。研究采用了混合方法，包括感知问卷、访谈和焦点小组讨论。参与者对反馈的评分总体积极，不同交付方式之间没有显著差异。回归分析表明，参与度和感知的公平性独立预测了继续使用该工具的意愿。主题分析确定了五个设计考虑因素：减少认知负担的清晰度、提供可操作指导的深入诊断、与角色相关的个性化、带有反思性提示的激励性语气以及维持信任的透明度。本文介绍了一个实用的LLM-RAG流程，提供了接受度的证据，并为建筑管理中的人工智能生成反馈提供了实际指导。
引言
在建筑、工程和施工（AEC）行业中，有效的项目管理对于确保项目按时、按预算完成，并达到所需的质量和安全标准至关重要。历史上，AEC行业的生产力一直滞后[1]。在建筑行业持续的生产力和绩效压力下，持续的专业发展使从业者能够保持其能力[2]。然而，在专业发展中，大规模提供个性化学习支持仍然具有挑战性。及时且具体的信息有助于专业人士缩小当前表现与期望表现之间的差距，这是提高学习和绩效的最有效手段之一[3,4]。由于资源限制，传统的培训项目往往难以为每位专业人士提供及时和个性化的反馈。对于那些带着先前经验和特定学习目标的建筑专业人士来说，这一挑战尤为突出。关于反馈的文献进一步指出，高质量的形成性反馈应明确目标、及时且具有可操作性，并支持自我调节，而这些要求在传统的专业发展中需要大量资源[5]。这些需求和限制促使人们探索能够保留领域忠实度同时提高响应性和可扩展性的人工智能驱动的个性化反馈方法[6]。
大型语言模型（LLM）是一种人工智能技术，可以更灵活地生成特定领域的个性化反馈。最近的研究表明，当设计得当时，LLM生成的反馈可以支持认知和动机方面的成果[7]。然而，通用LLM的使用引发了关于领域忠实度、幻觉和透明度的担忧[8],[9],[10]。检索增强生成（RAG）通过从精心策划的领域知识库中检索目标信息来补充LLM，从而使生成的反馈能够引用权威的建筑管理原则、课程材料和示例，从而减少幻觉并提高具体性和透明度[11],[12],[13]。尽管人们对LLM生成的反馈感兴趣[14]，但实证研究主要集中在学生群体上，工作场所或专业发展环境中的研究较少[6]。与全日制学生不同，从业者通常参与与工作相关的持续专业发展，旨在立即改善绩效；因此，专业发展中的有效反馈应被视为嵌入实践中的个体驱动过程[15]。在AEC教育和培训领域，新兴的研究强调了LLM的潜力，并记录了学生的看法，但对于从业者而言，LLM-RAG技术生成个性化形成性反馈的评估仍然很少[16,17]。
为了解决这些不足，本文旨在开发并实证评估一种用于建筑管理培训的LLM-RAG个性化反馈工具。为此，本文追求了三个目标：
1.设计并实现一个LLM-RAG系统，能够在实际环境中向从业的AEC专业人士提供关于建筑管理知识的个性化反馈。
2.评估该系统的技术和经济可行性以及专业人士对人工智能生成个性化反馈的看法。
3.归纳并阐明符合成人教育学和AEC专业人士反馈理论的人工智能生成反馈的设计考虑因素。
这些目标通过以下研究问题来实现：
1.从技术集成和成本的角度来看，LLM-RAG系统为AEC专业人士提供个性化反馈的可行性如何？
2.AEC专业人士如何看待LLM-RAG系统生成的人工智能个性化反馈？
3.在这种背景下，哪些设计考虑因素对于人工智能生成的个性化反馈至关重要？
通过将人工智能融入AEC专业发展环境，这项工作为解决建筑项目管理培训中的一个关键挑战——缺乏可扩展和及时的个性化形成性反馈——提供了一种实用的方法。本研究对AEC专业发展和LLM生成反馈的知识体系做出了三项主要贡献。首先，该研究展示了一个端到端的基于LLM-RAG的个性化反馈流程，该流程基于精心策划的建筑管理知识库，并符合成人教育学和反馈理论。其次，通过分析81名AEC专业人士在面对面工作坊和在线格式中的数据，该研究量化了他们对公平性、有用性、参与度和使用人工智能生成反馈的行为意向的感知，并确定参与度和感知的公平性是继续使用该工具的主要预测因素。第三，通过混合方法分析，得出了五个设计考虑因素，包括认知负荷、带有可操作指导的诊断深度、角色和背景相关性、透明度以及公平性，并将其与已建立的反馈、成人教育学和人工智能信任理论联系起来。这些考虑因素为AEC专业培训及其他类似领域中的人工智能生成反馈提供了可复用的设计指导。通过关注从业的AEC专业人士和可适应的LLM-RAG架构，本研究超越了关于建筑领域中人工智能的一般讨论，提供了一个可转移的、理论上有依据且经过实证测试的反馈设计。
本文的其余部分安排如下：文献综述回顾了与LLM、RAG和AEC教育和培训中人工智能生成反馈相关的工作；方法部分详细介绍了基于设计的研究方法、系统架构和工具；结果部分报告了技术、定量和定性结果；讨论部分讨论了与文献的相关性；实践启示部分将研究结果转化为对从业者的指导；第7节概述了局限性及未来研究的方向；第8节总结了全文。
章节片段
文献综述
本节回顾并综合了与建筑项目管理培训中LLM生成个性化反馈最直接相关的文献。它分为四个小节，分别涵盖LLM在AEC中的应用、专门针对AEC教育和培训的LLM应用、RAG及相关知识系统，以及人工智能生成的个性化反馈，并总结了激发本文研究动机的学术空白。
方法
本节描述了用于设计和评估所提出的个性化反馈系统的方法论方法。首先概述了研究设计（第3.1节），然后介绍了指导设计决策的理论基础（第3.2节）。接下来，第3.3节详细介绍了所提出系统的架构和实现方式。最后，第3.4节描述了原型的评估过程，包括研究设计、参与者、测量方法和分析。
结果
本节展示了实施和评估所提出的个性化反馈系统的结果。首先报告了关键的技术实现结果（第4.1节）。第4.2节介绍了对参与者感知和行为意向的定量评估。最后，第4.3节报告了按主题组织的定性发现，详细说明了参与者如何体验反馈系统。
讨论
最近基于LLM的培训工具通常表明，GPT-4或同等模型可以诊断错误并生成有用的反馈[41,87]。然而，其中一些研究对操作数据（如令牌计数、可靠性或API使用量）的披露较少。本研究展示了基于LLM和RAG的此类培训干预的可负担性、技术可靠性和可扩展性。报告的人工智能生成反馈的数量和成本为类似研究设定了基准
实践启示
对于AEC专业人士而言，研究表明，将LLM生成的检索增强反馈纳入持续专业发展过程中，可以通过反复回答Hattie和Timperley提出的三个反馈问题来支持自我调节的学习循环[3]。根据反馈的个性化诊断采取行动可以提高能力。反思性问题满足了自我决定理论所关联的自主性和能力需求，从而促进内在动机。最后，用户应该
局限性与未来工作
应结合几个局限性来解读研究结果。尽管研究参与者代表了具有不同经验的多种AEC角色，但评估是在单一提供者的项目和LMS中进行的，使用的是相似的课程和同一个辅导团队，这可能会引入抽样偏差，从而限制研究结果在类似AEC培训环境之外的普遍性。评估重点关注了可行性、接受度和实际应用中的有用性
结论
建筑、工程和施工（AEC）行业的生产力压力使得持续的专业发展变得必不可少，然而培训项目难以大规模提供及时和个性化的反馈。本文设计并评估了一个基于人工智能的个性化反馈系统，该系统在成人教育学基础上具有操作上的可扩展性，适用于建筑项目管理培训。该个性化反馈系统能够自动收集测验数据
CRediT作者贡献声明
Xinping Hu：撰写——审阅与编辑、撰写——初稿、可视化、软件开发、项目管理、方法论、调查、形式分析、数据整理、概念化。Yang Miang Goh：撰写——审阅与编辑、验证、监督、资源管理、项目管理、方法论、调查、资金获取、数据整理、概念化。Juliana Tay：撰写——审阅与编辑、验证、监督、项目管理、方法论、调查 写作过程中生成式人工智能和人工智能辅助技术的声明
在准备本作品期间，作者使用了ChatGPT来改进手稿的语法、拼写和整体可读性。使用该工具/服务后，作者根据需要审阅和编辑了内容，并对发表文章的内容负全责。
利益冲突声明
作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：Goh Yang Miang表示获得了SkillsFuture Singapore的财务支持。如果有其他作者，他们声明没有已知的可能影响本文工作的财务利益或个人关系。
致谢
本研究得到了SkillsFuture Singapore（SSG）的劳动力发展应用研究基金（项目编号：GA21-04）的支持。本文中的任何观点、发现、结论或建议均为作者所持，并不一定反映SSG的观点。
