《Journal of Innovation & Knowledge》:Toward responsible adoption of LLMs in the energy sector: A mixed-methods study using fuzzy Delphi and cross-cultural SEM
编辑推荐:
尽管大语言模型(LLMs)在各行业的整合日益深入,当前文献在关键领域仍存在局限,主要包括主要关注采用意向而非实际使用与后采用结果,以及缺乏特定领域(尤其是工程和能源领域)的研究。本研究通过两阶段调查(在马来西亚和美国进行)填补了这些空白。研究遵循序贯多阶段方法
尽管大语言模型(LLMs)在各行业的整合日益深入,当前文献在关键领域仍存在局限,主要包括主要关注采用意向而非实际使用与后采用结果,以及缺乏特定领域(尤其是工程和能源领域)的研究。本研究通过两阶段调查(在马来西亚和美国进行)填补了这些空白。研究遵循序贯多阶段方法。首先,通过文献综述和模糊德尔菲法(FDM)识别并验证能源领域专家共识下的关键LLM采用因素。这些验证后的因素促成了基于扩展UTAUT(统一技术接受与使用理论)的模型开发,该模型纳入了信任关切(TC)、伦理原则(EP)、感知拟人化(PANTH)和感知生命性(PAN)。随后,研究人员使用来自509名工程专业人员的调查数据,通过偏最小二乘(PLS)结构方程模型(SEM)和多组分析(MGA)对模型进行检验。结果显示,绩效期望(PE)、伦理原则(EP)和促进条件(FC)在两种情境中均显著影响使用行为(USE),而信任关切(TC)表现出负向效应。感知生命性(PAN)和感知拟人化(PANTH)在马来西亚显著影响努力期望(EE),但在美国,PANTH的影响不显著,这一差异通过PLS-MGA得到确认。重要的是,使用行为(USE)显著影响后采用结果,即用户满意度(USAT)和决策质量(QDM)。本研究通过将社会伦理和设计导向的预测因素整合到采用模型中推进了理论发展,并强调了进行特定领域、后采用及跨文化分析的必要性。
**论文解读文章:迈向能源领域大语言模型的责任化采用——基于模糊德尔菲法和跨文化结构方程模型的混合方法研究**
**研究背景与问题**
能源行业(涵盖石油、天然气和电力网络)的工程操作产生大量遥测、维护记录和监管文档,但目前这些数据流仍由一线工程师手动处理,且需在安全约束和净零排放要求下进行。大语言模型(LLMs)在生成式人工智能(GenAI)领域的进展为工程工作流提供了变革性辅助,例如BP与Palantir Technologies合作部署LLM驱动的决策支持系统。然而,IBM全球AI采用指数(2024)显示,74%的能源和公用事业公司仍处于探索或早期实施阶段,波士顿咨询集团(2024)将约70%的采用失败归因于人与流程相关的挑战,而非技术限制。现有研究存在明确的理论缺口:在安全关键的专业环境中,现有LLM采用研究主要关注消费者或一般情境下的行为意向,缺乏对工程师实际使用行为的深入分析;具体而言,缺乏直接影响使用的治理-风险路径、界面设计路径,以及实际使用与后采用结果之间的显式联系,且未在跨国情境中检验。因此,本研究旨在通过扩展UTAUT(统一技术接受与使用理论),并在马来西亚和美国进行实证评估,填补这些空白。
**研究内容与结论**
研究人员采用序贯多阶段设计:第一阶段(探索性)通过文献综述和模糊德尔菲法(FDM)识别并验证关键因素;第二阶段(验证性)基于UTAUT框架构建扩展模型,纳入信任关切(TC)、伦理原则(EP)、感知拟人化(PANTH)和感知生命性(PAN),并通过跨文化调查(马来西亚183份、美国326份有效问卷)进行检验。结论表明:绩效期望(PE)、伦理原则(EP)和促进条件(FC)在两国样本中均显著正向影响实际使用行为(USE);信任关切(TC)在两国均显著负向影响USE;感知生命性(PAN)在两国均显著正向影响努力期望(EE),而感知拟人化(PANTH)仅在马来西亚显著影响EE;实际使用行为(USE)显著正向影响用户满意度(USAT)和决策质量(QDM)。多组分析(PLS-MGA)显示,PANTH→EE路径在两国间存在显著差异,其余路径一致。该研究发表在《Journal of Innovation》。
**主要关键技术方法**
本研究采用序贯多阶段方法,第一阶段通过文献综述和模糊德尔菲法(Fuzzy Delphi Method, FDM)识别并验证因素,专家小组由10名来自学术界和能源行业的专业人士组成(马来西亚和美国)。第二阶段基于扩展UTAUT模型,采用跨文化调查设计,通过偏最小二乘结构方程模型(PLS-SEM)和偏最小二乘多组分析(PLS-MGA)进行模型检验,并利用多组分析前的测量不变性检验(MICOM)确保组间比较有效性。样本来源包括马来西亚(通过Universiti Tenaga Nasional与Tenaga Nasional Berhad合作招募)和美国(通过Prolific平台招募)。
**研究结果**
**1. 测量模型评估**
在马来西亚和美国样本中,所有构念的克朗巴赫α(CA)和组合信度(CR)均高于0.70,平均方差提取量(AVE)高于0.50,表明良好的收敛效度。异质-单质比率(HTMT)均低于0.90,支持判别效度。信任关切(TC)和伦理原则(EP)作为反映-形成型二阶构念,其外权重和载荷经检验支持其有效性。
**2. 结构模型评估**
- **绩效期望(PE)→ 实际使用(USE)**:两国样本中均显著正向(马来西亚β=0.291, p=0.001;美国β=0.240, p=0.009),支持H1。
- **努力期望(EE)→ USE**:两国均不显著(马来西亚p=0.623;美国p=0.580),拒绝H2。
- **社会影响(SI)→ USE**:马来西亚不显著(p=0.135),美国显著正向(β=0.168, p<0.001),部分支持H3。
- **促进条件(FC)→ USE**:马来西亚显著正向(β=0.212, p=0.004),美国边际显著(β=0.126, p=0.076),支持H4。
- **信任关切(TC)→ USE**:两国均显著负向(马来西亚β=-0.186, p=0.002;美国β=-0.141, p<0.001),支持H5。
- **伦理原则(EP)→ USE**:两国均显著正向(马来西亚β=0.253, p<0.001;美国β=0.345, p<0.001),支持H6。
- **感知拟人化(PANTH)→ 努力期望(EE)**:马来西亚显著正向(β=0.275, p<0.001),美国不显著(β=0.107, p=0.901),支持H7a(仅马来西亚)。
- **感知生命性(PAN)→ EE**:两国均显著正向(马来西亚β=0.314, p<0.001;美国β=0.401, p<0.001),支持H7b。
- **实际使用(USE)→ 用户满意度(USAT)**:两国均显著正向(马来西亚β=0.690, p<0.001;美国β=0.653, p<0.001),支持H8a。
- **USE → 决策质量(QDM)**:两国均显著正向(马来西亚β=0.699, p<0.001;美国β=0.728, p<0.001),支持H8b。
模型在马来西亚解释USE方差的63.4%,在美国解释69.6%;所有Q2值均大于零,表明预测相关性。
**3. 多组分析(PLS-MGA)**
仅PANTH→EE路径在两国间存在显著差异(路径系数差值=0.549, p=0.013),表明马来西亚用户对LLM的拟人化特征更敏感;其余路径无显著差异。
**讨论与结论**
讨论部分指出,绩效期望(PE)和伦理原则(EP)在两国中均显著驱动实际使用,而信任关切(TC)的负向效应表明用户对隐私和品牌可信度的担忧。感知拟人化(PANTH)仅在马来西亚显著影响努力期望(EE),反映了文化差异。实际使用(USE)对用户满意度(USAT)和决策质量(QDM)的强正向效应强调了LLM在专业领域的价值。研究结论部分翻译如下:
本研究通过两项互补研究,对马来西亚和美国工程环境中LLM的采用与使用进行了全面调查。研究1定性探索了实践者见解,识别了关键情境与伦理关切,为扩展UTAUT模型奠定基础。研究2定量验证了该模型,强调了信任关切(TC)、伦理原则(EP)、感知拟人化(PANTH)和感知生命性(PAN)与传统预测因素一起,在塑造使用行为(USE)及后采用结果(如用户满意度USAT和决策质量QDM)中的重要作用。研究结果证实了将社会伦理和设计导向因素整合到现有采用模型中的相关性。绩效期望(PE)、伦理原则(EP)和促进条件(FC)→USE在两国中均稳健,而信任关切(TC)对使用行为产生负向影响,重申了用户怀疑在专业LLM部署中的相关性。结果还确认了测量后采用影响(如满意度和决策质量)的价值,这些在早期采用研究中常被忽视。此外,感知拟人化(PANTH)和感知生命性(PAN)是努力期望(EE)的有意义预测因素,为交互设计特征如何影响感知可用性提供了理论见解。多组分析显示两国模型具有广泛一致性,表明对专业使用LLM的伦理和功能期望趋于收敛。然而,PANTH→EE路径的显著差异强调了文化背景对拟人化AI特征解释的影响,凸显了文化适应性设计策略的必要性。