《Results in Engineering》：Leveraging Large Language Models as Synthetic Experts: A Methodology and Validation Framework for Pavement Performance Assessment
编辑推荐：
本研究探讨了大语言模型（Large Language Models, LLMs）作为合成领域专家用于生成路面性能建模输入数据的可行性。研究人员开发了一份结构化问卷，以量化路面表层及基层沥青路面缺陷对五个性能标准的多维影响，包括安全性（Safety）、用户成本（
本研究探讨了大语言模型（Large Language Models, LLMs）作为合成领域专家用于生成路面性能建模输入数据的可行性。研究人员开发了一份结构化问卷，以量化路面表层及基层沥青路面缺陷对五个性能标准的多维影响，包括安全性（Safety）、用户成本（User Costs）、行驶舒适性（Rideability）、劣化速率（Deterioration Rate）和环境影响（Environmental Impact）。为模拟多样化的专业人员群体，研究人员通过系统性地改变地理位置（Geographic Location）、所属机构（Organizational Affiliation）和专业领域（Area of Expertise）三个维度，构建了360个合成专家画像。利用这些画像对三种大语言模型架构——Gemini 2.5 Pro（P2.5）、Flash（F2.5）和Lite（L2.5）——进行提示，共生成1080份问卷回复。研究采用多维度验证框架评估回复质量，将合成输出与12位领域专家和11名工程专业学生的回复进行基准对比。结果显示，所有模型均实现了100%的回复完整性，且内部一致性较高（克罗内巴赫系数 Cronbach's Alpha > 0.85），其中Pro和Flash表现出更强的地理认知能力和人格画像影响模式。然而，多项局限性仍然存在：模型系统性地混淆了规范性建议与既有实践，且在某些情况下表现出对基于人格画像提示具有抵抗性的潜在偏见。这些发现表明，大语言模型可作为结构化数据生成的规模化补充工具，但将其作为基础设施决策的自主代理部署尚需进一步研究。
本研究旨在应对路面性能评估领域中长期存在的专家判断获取难题。现有路面状况指数（Pavement Condition Index, PCI）、路面服务能力指数（Pavement Serviceability Index, PSI）等评估工具多局限于表层病害，未能全面涵盖安全、用户成本、行驶质量及环境影响等多维性能维度。构建综合性的路面性能模型需要大量具备多元背景的专业人员参与，但传统专家驱动评估面临运营成本高昂、后勤障碍重重以及评价者间差异显著等现实约束。近年来，大语言模型在自然语言理解与结构化回复生成方面展现出广泛能力，已在社会科学研究中被探索用于模拟人类调查回复，但其在技术工程领域复现专业化推理能力的潜力尚缺乏充分表征。在此背景下，研究人员开展了利用大语言模型作为合成领域专家以生成路面性能评估结构化输入数据的方法学研究与验证工作，相关成果发表于《Results in Engineering》期刊。该研究的核心贡献在于建立了可扩展的合成数据生成方法论，为多维度路面性能评估模型的开发提供了新的数据获取途径，同时系统揭示了大语言模型在专业工程领域应用中的能力边界与潜在风险。
研究人员采用四项主要关键技术方法开展研究：第一，结构化问卷设计方法，整合是/否题、多选题、成对比较和李克特量表等13种题型，并基于层次分析法（Analytic Hierarchy Process, AHP）原理设计成对比较题目；第二，合成专家画像系统构建方法，通过组合10个国家/地区、6种机构类型和6类专业领域，生成360个独特的专家画像组合，控制专业经验年限为20年以确保基线一致性；第三，基于应用程序接口（Application Programming Interface, API）的大语言模型批量生成方法，选用谷歌Gemini 2.5 Pro、Flash和Lite三个架构层次模型，设置温度参数为0.3以平衡回复确定性与变异性，通过Python环境调用官方库实现1080份回复的自动化生成；第四，多维度验证框架方法，从完整性评估（Completeness Assessment, CA）、人格画像保真度与情境敏感性（Persona Fidelity and Contextual Sensitivity, PFCS）、逻辑一致性与判断连贯性（Logical Coherence and Judgment Consistency, LCJC）、系统性偏向分析（Systematic Bias Analysis, SBA）四个维度，结合克罗内巴赫系数、一致性比率（Consistency Ratio, CR）、方差分析（Analysis of Variance, ANOVA）和卡方检验等统计方法，对人类专家（12人，来自北美、欧洲和中东）和学生群体（11人，麦吉尔大学）进行基准对比。人类样本队列主要来自北美地区（9/12），学生样本来自单一高校。
受访者画像构建结果
第一至第四题用于构建受访者画像。研究人员发现所有大语言模型均实现100%回复完整性，代理能够生成包含姓名、机构和联系方式等完整的虚构专业身份，且未盗用真实个人信息，这对合成数据生成而言是理想结果。然而，不同画像间存在姓名和机构信息重复的现象，反映出大语言模型在规模化生成独特身份方面存在系统性局限。Pro模型生成的代理表现出更多的多重机构归属和更丰富的专业角色描述。人类专家方面，12人分别来自美国（6人）、加拿大（3人）、德国（1人）、英国（1人）和卡塔尔（1人），机构背景涵盖政府机构、咨询公司、承包企业和学术机构；回天新材等。
病害选择结果
第五题旨在识别路面状况评估中应纳入的关键病害。研究人员通过分析发现，合成代理与人类专家及学生在核心病害集上存在共识，均将车辙（Rutting）、抗滑性能（Skid Resistance）、平整度（Roughness）、坑槽（Potholes）和表面裂缝（Surface Cracks）视为重要评估对象。但合成代理对深层裂缝等隐性病害的关注度显著高于人类受访者。Pro模型在地理敏感性方面表现突出，能够针对加拿大和挪威等寒冷地区引入冻胀（Frost Heave）等气候特异性病害，针对沙特阿拉伯引入热致开裂（Thermal Cracking），针对得克萨斯州和新加坡强调水损害问题。Flash模型更侧重于结构性病害，而Lite模型表现最为局限，集中于疲劳开裂等少数病害类型。值得注意的是，来自加拿大和德国的人类专家未在回复中体现气候特异性病害，反映出大语言模型合成代理在响应粒度上可能超越部分人类专家。
评估整合结果
第六至第十题探究了专家将基层状况纳入路面评估的观点。研究人员对比了当前实践（Q6、Q8）与专业建议（Q7、Q9）的回复差异。Q6和Q7的回复分析显示，Flash和Lite模型认为基层状况在实际评估中几乎已被普遍考虑（肯定率95%-99%），而Pro模型则认为这并不常见（约30%肯定率）。转向专业建议时，所有合成代理一致（100%）认为应考虑基层状况，Pro模型从30%到100%的转变凸显了其区分现实实践与理想规范的能力。Q8和Q9呈现类似模式：Flash和Lite认为将表层与基层评估整合为单一指数极为普遍（约99%），Pro则认为罕见（约25%）；而所有合成代理一致建议整合（100%）。然而，人类专家（约66%）和学生（约63%）多数建议保持分别评估，显示出合成代理与人类在评估哲学上的关键分歧。卡方检验结果表明，Pro模型的回复受"机构归属"（χ2=25.92, p<0.001；χ2=24.3, p<0.001）和"国家"（χ2=75.38, p<0.001；χ2=20.39, p=0.016）显著影响，Flash模型对"机构归属"敏感但对"国家"不敏感，Lite模型仅对"机构归属"敏感且显著性较弱。"专业领域"属性未在任何模型中展现出显著影响。
性能标准的充分性与补充建议结果
第十一题要求受访者评估既有性能标准的充分性并提出补充建议。研究人员观察到模型间存在显著差异：Lite模型始终认为既有列表已全面充分；Pro模型几乎普遍建议增加"结构充分性"或类似表述，认为其是承载能力的基本工程标准；Flash模型则常提出更具战略视野的补充，如"可持续性""韧性"和"可施工性"。人类专家和学生基本未提出额外标准。Pro模型在模拟承包商角色时强调"可施工性"的实用性，但其建议可能与原标准关注功能影响的核心意图存在偏差。
成对比较、标准权重与逻辑一致性结果
第十二题要求完成成对比较矩阵。研究人员确认所有代理均成功尝试该题并生成完整矩阵。Pro和Flash模型约三分之一的回复将自行提出的标准整合进矩阵，体现出多轮推理一致性，而Lite模型基本局限于预设标准。一致性比率分析显示，大多数回复的CR值低于萨蒂阈值0.10，表明逻辑连贯性良好；Lite模型存在略高的不一致性，且Pro和Flash即使纳入更多标准仍保持可接受的CR值。学生群体的一致性表现明显差于人类专家。权重分析表明，"安全性"在各模型和人类群体中均为最高权重，"环境影响"通常为最低；但Pro和Flash模型对"行驶舒适性"的赋值低于人类群体。方差分析揭示模型敏感性高度分散：Pro模型对"机构归属"敏感但对"专业领域"完全不敏感，Lite模型对"国家"和"专业领域"敏感但对"机构归属"不敏感，提示大语言模型难以稳定地优先处理专业化领域知识而非更广泛的人口统计或地理指标。
多维影响评级与内部一致性结果
第十三题要求对特定病害的影响程度进行评级。研究人员发现所有合成代理均完成评级任务，Pro和Flash模型全面整合了前期自行提出的附加病害和标准。克罗内巴赫系数分析显示，合成代理的一致性极高（>0.85），Lite模型接近1.0；人类群体为0.7-0.8的可接受水平。但组内相关系数（Intraclass Correlation Coefficient, ICC）和平均成对相关性揭示出关键差异：合成代理的ICC均达1.0，平均成对相关性为0.85-0.92，表现出数学上的高度同质化；人类专家的ICC为0.84，但平均成对相关性仅0.28，表明个体专家在排序和优先化具体病害时存在显著异质性。严重程度校准方面，Pro和Flash模型对结构性病害赋值偏低（中位数1-3），对坑槽、平整度和车辙赋值相对较高；人类专家和学生赋值范围更广（中位数4-8），Lite模型的分布（中位数5-7）与人类更为接近。这一意外关联可能反映人类与Lite模型共享的预防性报告倾向，而非Lite模型具有更优的诊断校准能力。
讨论部分主要围绕多维度验证框架的五个研究问题展开。完整性方面，尽管所有模型实现100%完整回复，但身份属性重复和下游任务整合能力的差异揭示了规模化生成的机械局限。人格画像保真度与情境敏感性方面，Pro模型展现出最显著的地理和气候认知能力，但"专业领域"属性的普遍失效表明大语言模型难以可靠区分工程子学科。逻辑一致性与判断一致性方面，高阿尔法系数与高ICC背后隐藏着合成代理判断同质化的深层问题，其未能再现人类专家个体层面的判断变异性。系统性偏向方面，未发现位置顺序偏见，但规范性与描述性推理的混淆、对单一指数整合的一致偏好等表明，提示工程 alone 不足以覆盖训练语料中的潜在偏见。研究还指出，Lite模型与人类 severity 评级的一致性需谨慎解读，可能反映共享的预防偏见而非优越校准；Pro和Flash的选择性阈值可能代表更高的激活标准，但这需经客观路面性能数据验证。
研究结论部分指出，本研究考察了将大语言模型作为合成领域专家以模拟路面工程中情境敏感型专业判断的可行性。三种Gemini架构——2.5 Pro（P2.5）、Flash（F2.5）和Lite（L2.5）——被赋予360个不同的合成代理画像并完成结构化领域专用问卷。输出通过多维度验证框架进行评估，涵盖完整性、人格画像保真度、情境敏感性、逻辑连贯性和偏见易感性，并与人类专家及学生进行基准比较。所有三种模型均实现100%的回复完整性并遵守既定画像约束。Pro和Flash通过将前期问题中自生标准整合至后续任务展示了多轮一致性，而Lite主要使用预设标准。内部一致性较高，李克特量表评级的克罗内巴赫系数超过0.85，成对比较的一致性比率普遍低于0.1。统计分析确认地理位置和机构归属对Pro和Flash回复产生显著影响，Pro展现出对地理情境的实质性认知，引入了预设选项和人类专家回复中均缺失的区域特异性病害机制。然而，系统性局限制约着其实用性。合成代理在建议性实践与当前实践报告之间区分有限，且一致建议将表层与基层评估整合为单一指数，表明在此人类专家存在显著分歧的当代议题上，合成代理的回复多样性有限。这些模式可能反映了训练语料中的潜在偏见。此外，不同画像间身份属性的重复确认了大语言模型在规模化生成独特人格方面的机械局限。Lite模型与人类严重性评级的一致性需谨慎解读，尤其考虑到有限的人类专家样本和本研究中观察到的高个体间方差。总体而言，这些发现表明大语言模型可作为生成结构化合成数据集和压力测试专家获取框架的可扩展补充工具。但在替代人类专家或在基础设施决策中自主运作之前，仍需进一步研究。未来研究应优先针对更大规模、地理分布更广的专家队列进行验证，以建立统计上可靠的经验基线。针对嵌入子学科专业化机制的研究，以及通过结构化提示或微调来缓解领域特异性训练偏见的研究，是提高合成专家模拟保真度的关键方向。
