仅售15分钟的中欧和东欧SDAC市场诊断服务——采用代理式人工智能技术
作者:?ener Ali、Simona-Vasilica Oprea 和 Adela Bara
《Applied System Innovation》:Agentic AI for Price-Only 15 min SDAC Market Diagnostics in Central and Eastern Europe
?ener Ali,
Simona-Vasilica Oprea and
Adela Bara
【字体:
大
中
小
】
时间:2026年04月30日
来源:Applied System Innovation 3.7
编辑推荐:
摘要 将市场时间单位(MTU)从1小时调整为15分钟,在单日提前耦合(SDAC)中增加了时间粒度,但同时也使得对小时内电价峰值和快速变化的解释变得更加复杂。本文探讨了在信息严重受限的情况下,通过架构分解是否能够提高基于大型语言模型(LLM)的诊断方法在仅价
摘要 将市场时间单位(MTU)从1小时调整为15分钟,在单日提前耦合(SDAC)中增加了时间粒度,但同时也使得对小时内电价峰值和快速变化的解释变得更加复杂。本文探讨了在信息严重受限的情况下,通过架构分解是否能够提高基于大型语言模型(LLM)的诊断方法在仅价格数据环境中的可靠性,而不是用于因果市场分析。我们比较了一种包含结构化上下文提取、峰值/变化检测、假设生成、一致性检查和明确不确定性校准的主动式工作流程与非主动式基线的表现。本文的贡献包括:(i)为15分钟诊断性问答在日前市场中提供了一个可复制的基准;(ii)一种针对结构化时间序列推理的主动式架构,并具备明确的不确定性处理能力;(iii)实证证据表明,分解和验证能够提升市场分析中的证据基础和可信度。评估涵盖了2025年秋季、2025-2026年冬季以及2026年早春期间的360个仅价格数据案例,这些案例按竞价区域、时间周期、事件类型和影响程度进行了平衡,其中包括来自六个中欧和东欧竞价区域(保加利亚、捷克、匈牙利、波兰、罗马尼亚和斯洛伐克)的180个峰值案例和180个变化案例。使用相同的输入数据,我们评估了自动可靠性指标和人类评分结果。与单一的LLM基线相比,主动式工作流程提高了可靠性(Δ = +0.067,95% CI [+0.049, +0.085]),并显著增加了校准后的仅价格数据免责声明(Δ = +0.500)。人类评估确认了整体质量的提升(+0.74)、有用性的提高(+1.06)以及正确性的提高(+0.94),并且有65.5%的成对正确率。总体而言,结果表明,结构化分解和验证相对于简单的单一LLM基线能够改善校准和解释的质量,但其优势并非在所有非主动式基线中都同样显著,并且受到缺乏外部市场数据的影响。
1. 引言
在单日提前耦合(SDAC)中采用15分钟市场时间单位(MTU)从结构上改变了欧洲电力市场,提高了时间粒度[1]。虽然这种转变旨在提供更多关于小时内系统状况的洞察,但它也给市场参与者、分析师和系统运营商带来了某些挑战,例如残余负荷的快速变化或价格对短暂不平衡的敏感度增加,使得解释特定时间段内出现价格峰值或快速变化的原因变得更加困难[2]。然而,对于经济主体来说,理解这些变化的原因非常重要,因为它们可能会影响出价策略、风险管理以及交易后的分析,尤其是在跨境效应迅速传播的相互连接地区[3]。
由于大型语言模型(LLM)能够生成连贯的解释、总结异构输入并支持交互式问答(QA),它们已成为分析和决策支持的有用工具[4]。尽管取得了进展,但在电力市场诊断中应用LLM仍然存在问题。首先,季度时间的市场分析具有强烈的数值性和时间索引性:解释必须与时间戳、计算出的差异以及短时间窗口内的上下文证据相一致[5]。其次,LLM可能产生看似合理但缺乏依据的因果叙述,并且在重复运行时可能不稳定,这些限制直接影响了用户对可靠推理的需求[6]。
本研究的动机源于欧洲电力市场在采用15分钟MTU后的结构转变。虽然时间粒度的提高增强了市场效率并更好地反映了小时内系统状况,但也使得价格动态变得更加波动且难以解释。小时内可能出现价格峰值和快速变化,小的不平衡可能导致价格剧烈波动。因此,对于交易者、分析师和系统运营商来说,理解特定时间段内出现异常水平或变化的原因变得更加重要和具有挑战性。同时,由于LLM能够总结数据并生成解释,它们越来越多地被用于分析支持。然而,在高频、仅价格的数据环境中,LLM经常产生看似合理但缺乏依据的因果叙述,有时会无根据地将价格变化归因于外部因素。这在受监管和高风险市场中造成了信任和可靠性上的差距。
本文提出了一种用于SDAC日前分析的主动式工作流程,旨在解决这些限制。具体来说,我们的目标是解释为什么给定的15分钟SDAC日前价格区间会表现出异常水平或变化(例如,小时内价格峰值或快速变化),仅使用发布的日前价格序列的一个有限局部窗口。因此,这项任务应被视为基于观察到的价格进行的有根据的描述性诊断和控制性解释生成,而不是因果市场分析。由于没有提供负载、发电、停电、流量或容量限制等外部变量,系统无法确定真实的市场驱动因素。我们专注于仅价格数据输入,以隔离架构分解和验证的效果,而不受外部变量影响的干扰,并在观测能力有限的情况下明确测试校准后的不确定性。主要思想是,有计划的、有针对性的时间窗口证据提取、一致性检查和明确的不确定性处理可以产生比单一LLM响应更可靠的诊断结果。我们的研究问题是:在仅价格数据的环境中,架构分解和验证是否能够改善证据基础(时间戳和数值差异)、区间焦点以及不确定性的校准。为了隔离架构的效果,我们将主动式系统与接收相同案例输入和问题的LLM进行了比较,但后者缺乏明确的分解和验证。
我们的评估依赖于基于公共市场数据构建的案例基准,重点关注15分钟分辨率显著改变解释的情况(小时内价格峰值和快速变化模式)。我们从ENTSO-E透明度平台API发布的公开SDAC日前价格中构建了案例,涵盖了2025年秋季、2025-2026年冬季以及2026年早春期间的六个中欧和东欧(CEE)竞价区域(保加利亚、捷克、匈牙利、波兰、罗马尼亚和斯洛伐克)。每个案例定义了一个区域和一个目标季度时间,提供了一个有限的时间窗口内的价格序列,并要求基于时间戳和数值进行诊断。具体来说,输入包含目标时间戳、15分钟粒度的固定局部上下文窗口以及用于选择和描述案例的衍生指标(例如,季度价格差异和峰值/变化标志)。
因此,我们的研究对文献做出了三项贡献:
(a)首先,我们为15分钟日前诊断性问答定义了一个可复制的评估框架,包括一个结构化的案例格式以及非主动式基线与主动式工作流程之间的配对比较协议。
(b)其次,我们提出了一种针对仅价格数据诊断解释的主动式设计,强调机制感知的推理和证据提取。
(c)第三,我们提供了针对欧盟成员国的比较,重点展示了在仅有限价格窗口证据的情况下,主动式工作流程如何影响可靠性和证据质量。
在欧盟,从每小时产品到15分钟产品的转变改变了价格信号和事件诊断的方式。之前在小时内平滑的模式现在表现为短时间内的峰值、阶跃变化或相邻季度间的快速变化[7]。短暂的限制、变化能力限制、预测错误和残余需求的变化可能导致高频电力市场内的小时内波动[8]。在相互连接的市场中,这些效应会跨越边界传播[9]。尽管存在这些领域特征,15分钟市场设计与LLM驱动的解释分析之间的交集仍未被充分探索,特别是在欧盟耦合的日前情境中。
本文的其余部分结构如下。第2节回顾了关于SDAC中15分钟市场设计、电力市场诊断分析以及LLM在结构化推理和决策支持中的使用的相关文献,特别强调了可靠性和不确定性校准。第3节介绍了所提出的主动式架构,详细介绍了分解过程,包括局部上下文提取、峰值/变化识别、假设生成、一致性验证和明确的不确定性处理。本节还明确了研究问题,并解释了与非主动式基线的对照比较。第4节报告了自动可靠性指标、区域级异质性分析以及人类评估的结果,并讨论了研究结果的实际意义和实用性。最后,第5节总结了主要发现,概述了对市场参与者和系统运营商的实际影响,并提出了未来在高频电力市场中研究可信AI的方向。
2. 文献综述
LLM的指数级发展加速了它们作为决策支持工具在各个技术领域(包括金融、运营和能源系统)中整合的兴趣[10]。尽管LLM在生成自然语言解释和支持交互式分析方面具有很大能力,但研究也指出了它们的局限性,如幻觉、不确定性校准弱以及引用或证据使用不一致,特别是在需要精确数值依据的情境中[11]。在电力市场分析中,由于解释通常依赖于时间索引的信号和短暂的系统状态,这些局限性会显著降低信任度[12]。本节回顾了有关LLM在市场分析、主动式工作流程和评估方法方面的相关文献。
2.1. 用于能源和电力市场的LLM:应用、数值依据和时间序列推理
LLM作为自然语言接口,在能源数据探索、预测辅助和运营决策支持中发挥作用[13]。先前的研究强调了LLM解释复杂仪表板、总结多源信号以及生成市场事件叙述的能力[14]。然而,在批发电力市场中,结构化的数值输入(价格、体积、负荷)是分析的重要组成部分[15]。此外,仔细将分析与市场时间线和产品粒度对齐至关重要[16]。因此,生成看似合理的文本并不保证其也能提供有意义和有依据的分析[17]。数值证据和时间序列上下文是电力市场解释的重要组成部分。文献表明,当任务需要跟踪多个时间戳、计算差异或保持相关陈述的一致性时,LLM的这一能力存在弱点[18]。通过使用工具来卸载算术运算并强制明确引用数据点,可以缓解这些限制[19]。对于评估,研究人员越来越多地通过可测量的指标(如数值一致性、时间戳覆盖范围以及与问题范围对齐的证据引用能力)来操作化依据[20]。
2.2. 主动式工作流程和工具增强型LLM系统
主动式工作流程或工具增强型管道通过不一步完成回答,而是通过规划、调用工具、验证中间结果并合成最终响应来提高可靠性[21]。多步骤架构在需要分解和验证的领域中显示出任务完成度和事实一致性的改进[22]。在这种方法中,主要优势在于责任的分离和强制生成结构化的中间输出[23]。然而,主动式系统也引入了新的故障模式:协调错误、工具错误的累积以及如果规划步骤不佳可能导致的关键信号遗漏[24]。
2.3. 结构化分解、基于模式的证据提取和验证
相关的研究表明,通过将复杂的分析任务分解为结构化的中间步骤,而不是单次生成最终答案,可以提高LLM的可靠性[25]。基于模式的提取限制模型生成预定义的字段,如合成方法、稳定性数据和电力性能指标,使输出格式化、标准化,并且可以直接用于后续的数据分析[26]。然后,归属导向的方法检查生成的声明是否得到可用源文档的准确支持[27]。这些想法特别适用于可解释的时间序列分类,其中解释通常围绕时间点、子序列或回顾窗口组织,并可能评估时间变化或模型行为变化的重要性[28]。
2.4. 用于金融市场诊断和时间序列分析的跨领域主动式AI
最近的金融领域研究表明,主动式AI越来越多地用于能源系统之外的复杂数据诊断。Park提出了一个基于LLM的多代理框架,用于金融市场异常检测,其中检测到的异常被转换成适合LLM的问题,然后由专门代理进行网络研究、机构知识验证、交叉检查、整合和管理层讨论[29]。这与我们的诊断设置密切相关,因为两种方法都使用角色特定的代理来验证异常的时间索引市场观察;然而,我们的研究不同之处在于将任务限制在仅15分钟SDAC的价格数据上,并评估依据、校准和未支持的声明控制,而不是外部异常验证。QuantAgents是一个多代理金融交易系统,它整合了模拟交易、风险控制分析、市场新闻分析和管理层协调,以评估投资策略并支持动态金融市场中的更具前瞻性的决策[30]。评估可靠性——证据重点、稳定性以及未经支持的声明
分析系统的质量可以根据几个因素来确定:正确性、实用性、证据支持以及对改写或重复运行的鲁棒性,这使得基于大语言模型(LLM)的系统的评估成为一项具有挑战性的任务[31]。一种方法是通过代理指标来近似这些维度进行自动化评估,但这种方法可能对提示选择敏感,并且可能无法完全捕捉领域正确性[32]。因此,一种更有效的策略是将(i)自动指标与(ii)使用结构化评分标准对部分案例进行人工评估相结合[33]。这激发了我们的评估设计,该设计为基线输出与代理输出计算了可比较的自动指标,并通过手动评分来补充合理性和证据质量。表1提供了综合了最直接相关的基于LLM的、代理的、以可靠性为导向的和时间序列诊断工作的比较分析。表1. 与所提出的诊断工作流程相关的基于LLM的、代理的和以可靠性为导向的工作的比较。先前的研究表明,LLM可以用作分析工具,但它们也存在一些局限性[34]。代理工作流程和工具使用有望改进,然而,关于在15分钟分辨率下对欧盟日前市场诊断进行代理分解效果的证据仍然有限[35]。此外,15分钟产品增加了对特定区间推理的需求[36]。
我们的研究通过以下方式解决了这些差距:(i)定义了一个基于公共市场数据的15分钟SDAC相关诊断案例的结构化基准,(ii)实施了一个强调规划、证据提取、验证和明确处理不确定性的代理工作流程,以及(iii)在相同的输入下将其与非代理基准进行比较,以量化归因于该架构的可靠性改进。
3. 方法论
本研究旨在确定代理LLM工作流程在15分钟分辨率的日前市场分析方面是否比非代理基准表现得更好。我们的主要假设是将工作流程分为多个步骤(规划、结构化提取、验证、合成)可以产生(i)更基于所提供的时间序列的输出,(ii)更关注目标15分钟区间,以及(iii)比单一的提示-响应基线更不容易产生未经支持的声明。
设表示一个竞价区域(CEE重点),并且日前价格在15分钟网格上被观察到:(1)价格以EUR/MWh为单位。每个查询分析一个目标时间戳和一个本地上下文窗口。
3.1. 使用ENTSO-E日前价格构建案例
我们查询了ENTSO-E透明度平台API[37],以获取每个区域和每天的公开日前价格序列。一个案例由一个元组定义:(2)其中是事件时间戳,代表一个自然语言问题模板,以及:(3)是围绕的本地价格窗口,每个窗口固定为2小时。为了避免接近重复的案例,我们应用了最小间隔约束。如果两个候选满足:(4)我们最多保留一个。
我们的案例集仅包含15分钟粒度重要的实例。对于每个区域-日期序列,定义每日经验分位数函数。如果时间戳满足:(5)则将其定义为尖峰候选。定义离散的15分钟价格变化:(6)及其绝对幅度。如果时间戳满足:(7)则将其定义为坡度候选,其中是的有效范围内的每日经验分位数。
尖峰和坡度候选不会自动包含在最终基准中。相反,每个候选都使用从本地窗口计算出的基于影响的定价指标来表征:绝对目标价格、绝对15分钟价格变化、相对于本地窗口中位数的价格溢价以及与本地窗口平均值的绝对偏差。这些指标定义了一个价格影响得分:(8),其中表示候选案例的影响得分。根据这个得分,将候选案例分配到低影响、中等影响和高影响三个等级。最终基准的包含在时间周期、竞价区域、事件类型和影响等级之间进行平衡,使用40%的高影响案例、40%的中等影响案例和20%的低影响案例的等级配额。影响得分和影响等级仅用于基准构建和平衡,并未作为案例输入提供给任何被评估的系统。
对于每个案例,我们根据生成它的检测器定义一个标签。
3.2. 对比系统
设表示案例的结构化输入,以JSON类似的形式编码。
3.2.1. 基线单体LLM
我们研究的基线变体由单个LLM调用表示:(9),其中是选定的Gemini模型(gemini-2.5-flash-lite),配置固定(温度=0)。
3.2.2. 基线固定工具LLM
为了提供一个比单体单次调用基线更强的非代理参考,我们定义了一个固定工具LLM基线。设表示案例的结构化输入,包括目标时间戳、有界的本地价格窗口和自然语言诊断问题。固定工具基线通过从同一窗口计算出的确定性统计摘要来增强:(10),其中是一个固定的预处理函数,从观察到的价格序列中提取描述性摘要、本地极值、季度小时变化和简单事件指标。然后通过单个LLM合成步骤生成最终答案:(11),其中表示选定的Gemini模型。与提出的代理工作流程不同,这个基线不执行动态规划、角色分离、迭代验证或基于批评者的修订。操作序列是静态且预先确定的:确定性摘要提取,然后是一个最终的生成步骤。
3.2.3. 基线统计诊断系统
我们还引入了一个专门为仅价格市场的解释设计的非LLM统计基线。对于每个案例,设表示以目标为中心的本地价格窗口,并设:(12)是从该窗口派生的基于规则的特征表示,其中提取统计描述符,如本地最大值和最小值、季度小时坡度、突然的价格变化和短窗口波动性以及异常指标。然后通过以下函数生成最终响应:(13),其中将检测到的信号映射到固定的诊断模板中。因此,输出完全由明确的规则和预先指定的文本结构决定,没有任何生成推理步骤。这个基线作为一个实际相关的非LLM比较器,适用于一个本质上是结构化和基于时间序列的任务。它还有助于确定完整的代理工作流程是否在直接的事件检测和确定性叙述构建之外增加了价值。由于这个基线是非生成性的,它无法从灵活的语言合成中受益,但它也通过构造避免了幻想的因果叙述。
3.2.4. 代理工作流程映射
图1总结了提出的代理工作流程,显示了用于规划、结构化数据、进行定量分析、推理机制、验证声明和合成最终响应的专门代理的序列。
3.3. 自动化评估
鉴于仅从价格输入无法验证外生因果归因,自动化指标旨在衡量可靠性前提条件,而不是完整的经济解释质量。它们量化了基础、目标区间重点、校准和未经支持的声明控制,并通过通用性和可操作性的检查进行补充。设为案例生成的证据线集合,设为其基数。
3.3.1. 时间戳覆盖
如果证据线包含ISO时间戳,则为,否则为0。
3.3.2. 差异格式覆盖
如果包含标准化差异格式,则为,否则为0:
3.3.3. 目标邻域重点
我们定义了一个指标,表示至少有一个证据时间戳位于邻域内:
3.3.4. 校准
鉴于每个案例仅提供一天的日前价格序列,仅凭价格无法确认一个校准良好的答案的真实因果驱动因素。我们将此实现为一个简单的二进制指标,检查输出是否包含仅价格限制的免责声明。设模型的输出包含一个由字符串列表和最终摘要字段组成的不确定性字段。我们定义了可能出现免责声明的文本池:
然后我们定义了一组免责声明模式,表示仅价格限制。接下来,我们定义校准指标:
因此,如果输出明确表示因果归因仅受价格输入限制,则等于1,否则为0。
3.3.5. 未经支持的外生断言
尽管模型可能会提到作为缺失信息的外生概念,但我们只惩罚那些未经对冲的断言的外生驱动因素。
3.3.6. 可靠性得分
我们将上述内容结合成一个以可靠性为导向的复合指标:
其中是饱和惩罚,权重是预先固定的。关键比较是配对差异:
3.3.7. 无校准的可靠性得分
由于代理工作流程明确鼓励不确定性校准,我们还报告了一个去除校准组分的敏感性得分。这项测试旨在验证代理工作流程是否在架构上鼓励的校准行为之外,能够提升解释的合理性以及对未经证实的声明的控制能力。(23) 3.3.8. 通用性:由于更强的校准可能会导致解释过于模糊或不具体,我们引入了一个通用性指标。设为案例的完整输出文本,设为一组预定义的通用模式。通用性得分计算输出文本中出现此类模式的数量:(24) 其中为指示函数,表示该模式出现在输出文本中。3.3.9. 可操作性:为了补充以可靠性为导向的指标,我们还报告了一个简单的可操作性指标。其动机在于,只有当解释既合理又可操作时,它们才有实际意义。设为案例的完整输出文本,设为一组预定义的以行动为导向的标记。可操作性指标定义为:(25) 因此,如果输出中至少包含一个以行动为导向的术语,则为1,否则为0。这个指标应被视为一个代理指标,而不是对实际决策有用性的直接衡量标准,因为它基于预定义的以行动为导向的标记。3.4. 人类评估:人类评估是在从2025-10-01到2025-10-13的目标区间内,从基准数据中抽取的50个案例子集上进行的。两位评估者在数据分析和人工智能方面有经验,但在电力市场领域的专业知识有限。评估者评估了去标识化且随机排序的单一大型语言模型(LLM)基线和代理输出,使用了一个涵盖整体质量、帮助性、正确性、清晰度和成对偏好的结构化评分标准。他们被指示评估响应是否基于所提供的时间戳和数值价格证据,避免未经证实的因果声明,并明确说明仅基于价格的输入的局限性。对于每个案例,评估者按照以下方式对基线和代理输出进行评分:(26) 我们定义了每个系统的平均评分:(27) 并计算成对差异:(28) 3.5. 统计分析:对于每个指标,我们计算所有案例之间的成对差异,并报告平均差异:(29) 以及自助法置信区间(CIs):(30) 其中代表重采样案例上的自助法分位数。所有分析都是整体上和按区域进行的,以验证在中欧和东欧(CEE)市场中的普遍性。3.6. 结果验证:为了验证我们的统计结果,我们使用成对案例级差异总结了所有指标,并报告了非参数不确定性估计以及标准化效应大小。对于每个案例和指标,我们计算成对差异如下:(31) 然后,我们报告基线和代理样本的平均值:(32) 和平均成对效应:(34) 的不确定性是通过5000次重采样的案例自助法估计的。每个自助法复制都进行替换并重新计算。95%置信区间是从自助法分布的2.5百分位数和97.5百分位数获得的。为了提供一个跨指标可比的标准化效应大小度量,我们报告了成对Cohen’s系数:(35) 方法流程图如图2所示。图2. 方法流程图。4. 结果与讨论 4.1. 案例集和评估覆盖范围:我们的研究旨在比较代理工作流程与来自中欧和东欧6个竞标区(保加利亚、捷克、匈牙利、波兰、罗马尼亚和斯洛伐克)的360个仅基于价格的案例的非代理基线的性能。表2报告了各区域的分布情况。表2. 按区域和案例类型划分的案例组成。4.2. 在自动可靠性指标上的表现:与非代理基线的比较结果不一。与单一大型LLM基线相比,完整的代理工作流程将综合可靠性得分提高了+0.067(95%置信区间[+0.049, +0.085]),并提高了校准水平+0.500。然而,一旦引入了更强的非代理基线,完整的代理工作流程的可靠性得分就不再最高。与固定工具基线相比,完整的代理工作流程的得分降低了-0.092(95%置信区间[-0.099, -0.085]),与统计基线相比,降低了-0.109(95%置信区间[-0.114, -0.103])。与原始的单一大型基线相比,完整的代理工作流程更具行动导向性(+0.778),但通用性较低(-0.219),尽管由于两个系统都已经达到了1.000的天花板值,因此对目标邻域的关注度保持不变。与更强的基线相比,在当前的二元指标下,校准和可操作性实际上处于最大值,而完整的代理工作流程显示出略微更高的通用性(+0.047)。表3总结了完整的代理工作流程与所有三个基线的总体成对差异。表3. 完整代理工作流程与修订后基线的总体指标差异及95%自助法置信区间。图3总结了基线和代理系统的每个案例的可靠性得分分布(图3a),并可视化了每个案例的成对差异(图3b),突出了整体表现和案例级别的异质性。图3. (a) 每个案例的可靠性得分分布(基线与代理)。(b) 成对案例可靠性差异(代理—基线)。这些结果表明,架构设计影响了基于LLM的诊断在15分钟电力市场中的可靠性和实际可用性。与单一大型基线相比,代理工作流程在观测性有限的情况下产生了更好的输出,特别是通过更强的校准。然而,与更强的非代理基线的比较表明,这些优势应选择性地解释,而不是作为所有参考系统的统一优势。4.3. 未经证实的因果声明与“假设风格”的提及:在仅基于价格的设置中,避免未经证实的外生归因(例如,无证据地将负载视为事实驱动因素)是一个重要元素。与每个基线相比,完整的代理工作流程显著增加了外生提及的数量:与单一大型基线相比增加了+29.592,与固定工具基线相比增加了+24.339,与统计基线相比增加了+24.628。然而,这种增加并没有伴随着更少未经证实的外生断言。相反,完整的代理工作流程中的未经证实的外生断言数量比所有三个基线都要多:与单一大型基线相比增加了+1.022,与固定工具基线相比增加了+1.358,与统计基线相比增加了+1.625。图4可视化了系统提及外生概念的频率与将其作为未经证实的声明的频率之间的权衡,将基线和代理输出作为每个案例的成对点显示出来。图4. 未经证实的外生断言与外生提及的数量。外生提及的增加表明代理工作流程产生了更丰富的解释性叙述,但同时增加的未经证实的外生断言表明,更丰富的解释并不总是转化为更强的证据纪律性。在仅基于价格的设置中,这种权衡突显了明确区分观察到的价格模式和低置信度解释性假设的重要性。因此,这一结果应被视为当前代理设计的局限性,而不是无条件的改进。尽管工作流程鼓励更广泛的假设生成,但自动指标表明,一些外生驱动因素仍然以不足的证据谨慎性来表述。4.4. 目标邻域的合理性—天花板效应:与所有三个基线相比,目标邻域关注度指标的成对差异表明存在天花板效应。所有系统在当前的提示和/或后处理约束下,都可靠地引用了接近目标区间的时间戳。图5通过显示证据中提到的所有时间戳与案例目标时间戳之间的绝对时间距离的分布,补充了二元目标邻域指标。图5. 时间戳与目标区间的接近性证据(基线与代理)。4.5. 不同竞标区之间的异质性:在所有区域中,可靠性的一致性提高,平均可靠性得分从斯洛伐克的+0.049到匈牙利的+0.088不等。校准收益也是一致的,从斯洛伐克的+0.400到匈牙利的+0.583不等。在每个区域,完整的代理工作流程的未经证实的外生断言数量都更高,从波兰的+0.767到罗马尼亚的+1.300不等。外生提及的数量在每个区域也显著增加,差异在+29.033到+30.633之间。表4报告了每个区域的成对差异(代理—单一大型LLM基线)以及95%自助法置信区间,突出了观察到的效应的跨区域异质性。表4. 每个区域的性能差异(代理—单一大型LLM基线)及95%自助法置信区间。图6通过绘制每个区域的平均可靠性改进(代理—单一大型LLM基线)以及95%自助法置信区间,展示了跨区域的异质性。图6. 每个区域的可靠性得分森林图及95%自助法置信区间。效应的方向在所有六个竞标区域中都是稳定的,支持了该架构在单一市场之外的实际相关性。这种跨区域的一致性表明,该方法在中欧和东欧背景下具有合理的泛化能力,尽管改进的幅度在不同区域之间仍然存在差异。4.6. 消融研究:组件对完整代理工作流程的贡献:表5展示了完整代理工作流程相对于三种消融变体的性能:无规划器、无市场数据和无验证器。为了隔离每个组件的增量贡献,我们报告了每个指标的成对案例差异,定义为?m = 。因此,正的?m表示完整工作流程的性能优于相应的消融变体,表明移除的组件对该指标有积极贡献。表5. 相对于完整代理工作流程的消融性能差异及95%自助法置信区间。消融结果表明,市场数据代理是证据合理性和目标窗口可追溯性可测量增益的主要贡献者。移除该组件会导致可靠性和无校准情况下的可靠性最大程度下降,并且消除了目标邻域优势,表明局部价格窗口的确定性结构是工作流程的核心依赖项。相比之下,移除规划器在大多数指标上的变化可以忽略不计,表明其贡献并未被当前的可靠性指标强烈捕捉到。验证器也显示出混合效应:它减少了未经证实的外生断言和通用性,但其移除并没有减少校准或目标邻域关注度,反而略微提高了综合可靠性得分。因此,消融研究表明,观察到的改进主要来源于结构化市场数据的提取,而在当前评估框架下,规划器和验证器提供的收益较为有限或依赖于具体指标。4.7. 效率和成本分析:效率和成本分析涵盖了LLM的使用、令牌消耗和估计的成本(以美元计)。正如预期的那样,完整的代理工作流程是实际方法中评估成本最高的系统,平均每个案例的墙钟时间为12.201秒,平均活跃LLM时间为12.182秒,总令牌数为9063.350个,每个案例的估计平均成本为0.002美元(如表6所示)。原始的单一大型基线和固定工具基线要便宜得多,速度也更快,分别需要大约2.135秒和2.038秒。表6. 按方法划分的效率总结(平均值)。消融措施在不同程度上减少了运行时间和令牌使用。移除市场数据代理将平均墙钟时间降低到7.021秒,总令牌数降低到3671.989个。移除规划器将平均墙钟时间降低到9.966秒,总令牌数降低到8235.067个。移除验证器将平均墙钟时间降低到6.509秒,总令牌数降低到3932.997个。对于所有基于LLM的方法,工作流程开销在活跃LLM调用之外的部分可以忽略不计。4.8. 人类评估:自动指标量化了结构属性(时间戳的存在、校准信号、未经证实的声明启发式),但它们并不能完全捕捉解释对市场分析师是否有用或可信。因此,我们还在表7中报告了人类评估的结果。表7. 人类评估评分。总体而言,所提出的工作流程的实际贡献应被视为降低诊断风险,而不是经济收益、因果有效性或交易盈利能力的证明。研究结果表明,在高频电力市场分析中部署LLM需要架构上的保障措施来强制合理性和不确定性校准。Krippendorff值表明,对于整体质量、帮助性和正确性,评估者之间有中等程度的共识,但对于清晰度和成对偏好等更主观的维度,共识较低。因此,人类评估应被视为对感知有用性的支持性证据,而不是实际决策价值的决定性证明。4.9. 所有指标的验证和稳健性:表8总结了所有研究指标的基线和代理性能,报告了平均值和成对平均效应及95%自助法置信区间和成对Cohen’s系数。表8. 单一大型LLM基线和代理框架的性能。验证的估计结果支持主要发现,表明代理工作流程提高了可靠性得分和校准水平。然而,代理工作流程也增加了外生提及和未经证实的外生断言的数量。相比之下,由于天花板效应,目标邻域指标保持不变。5. 结论:本研究评估了基于仅价格输入的15分钟SDAC日前诊断问答的代理工作流程与多个非代理基线的性能。为了单独评估架构方面的贡献,我们保持了基础模型和案例信息的不变性。与整体性的基线模型相比,代理式工作流程在来自六个中欧和东欧投标区域的360个仅包含价格信息的案例中实现了更高的综合可靠性和更强的校准效果。然而,与更强大的固定工具和统计基线的比较表明,这种优势并非在所有参考系统中都存在一致;此外,确定性预处理在可测量的可靠性提升中占据了重要比例。在人类评估中,代理式工作流程在整体质量、实用性和正确性方面均更受青睐。综合这些结果可以看出,在仅包含价格信息的有限场景下,结构化分解和验证能够产生更为可靠和谨慎的解释。同时,这些发现应在当前研究的局限性范围内进行解读。由于该基准测试仅使用了前一天的价格数据,且可靠性评分具有启发性,因此本研究并未确立市场的因果关系、运营可靠性或交易价值。相反,它只是支持了一个更为狭义的观点:在观测条件受限的情况下,代理式设计能够提升描述性诊断性能,相较于简单的整体性基线模型而言。未来的研究将纳入更多的公共信息(例如,欧洲能源传输系统组织(ENTSO-E)提供的负荷、发电量、停电情况、流量和容量等透明数据),以进行更有力的因果分析。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号