LLM技术评估评判者回溯审计：信度、效度与专家一致性的多维评估

《IEEE Access》：How Reliable and Valid Is an LLM Technology-Evaluation Judge? A Retrospective Measurement Audit Against Ex-Post Outcomes of Korean SMEs

　　

摘要：

技术评估是创新体系中资源配置决策的基础，然而以专家主导的评估成本高、评分者间信度有限，且鲜有通过事后企业结果进行验证。在探讨LLM评判者是否准确之前，我们先问它是否可靠，并沿着三个维度——重测信度、与后续经营状态的准则相关效度、以及与专家判断的一致性——对LLM技术评估评判者进行回溯审计，对象为9,926家由公共技术信贷机构评估的韩国中小企业，并将其与截至2023年6月的注册登记经营状态相关联（529个已验证的失败事件——破产、解散、关闭或法院监督下的重整，发生率为5.3%）。在信度方面，在部署温度下（temperature 0），前沿模型对字节级相同的描述进行近乎确定性的重新评分（139家被重测两次的企业，单向随机效应单次评分ICC = 0.995 [95% CI 0.993–0.996]；在temperature 0.7下随机采样十次重测，ICC = 0.986 [0.982–0.989]）；这是模型内部的可重复性，而非评分者间一致性。在效度方面，后续经营状态仅在专家层级内预测到0.57–0.60 AUROC的观测平台期，LLM、TF-IDF基线、多语言嵌入和人工评分在该数据集和结果定义下均达到相同水平，且提示工程或启用模型推理能力均未提升该水平；配对检验未检测到领先方法之间的明显差异。在一致性方面，与专家评分的一致程度主要由行业类别决定：LLM在同一行业内对技术的排序表现良好，但跨行业时校准偏差较大，因此总体上并未超过一个简单的行业代码基线；不过，无标签的LLM在顶级层级检测上与训练于1,000至2,000个机构内标签的文本模型表现相当（在拒绝检测方面，当标签数少于约500个时，训练模型的表现超过它），并且……

显示更多