设计可复现的大语言模型辅助科学分析

《Patterns》：Designing reproducible large-language-model-assisted scientific analyses

　　

大语言模型（LLM）正日益被用于编写代码、分析数据以及编排科学工作流。这可能带来可复现性挑战，因为LLM模糊了分析构建方式与其运行时依赖之间的边界。针对LLM辅助科学的指导方针始于一个关键选择：LLM是处于已发表分析的数据路径（data path）上（即结果所依赖的实时步骤），还是处于数据路径之外（产生如代码等持久化制品）。可复现的分析要求保存数据、代码和运行时环境；路径上的LLM成为运行时的一部分，是一种可能发生变更、被弃用或不可访问的依赖。研究人员推导出六项建议：（1）尽可能将LLM置于数据路径之外；（2）保存LLM生成的制品；（3）依据LLM所扮演的角色选用适宜方法验证结果；（4）考虑采用开放权重（open-weight）模型；（5）记录模型版本；（6）评估确定性（determinism）。

研究背景方面，科学家正快速采纳大语言模型（LLM）来撰写代码、处理数据乃至得出结论，但当今许多前沿模型为闭源且生命周期短，若分析依赖此类模型，即便一年后也可能无法复现。数十年可复现性研究已明确，复现计算结果需保存数据、代码与运行时环境；而作为分析一部分被调用的LLM本身成为运行时环境的组成，却常不受研究者控制。现存问题包括：闭源权重模型可能变更或被下线，托管推理未必确定性，编排框架（harness）上下文管理不透明，从而削弱复现所需的溯源（provenance）、确定性（determinism）与可解释性（interpretability）。开展此项研究的目的在于将传统软件可复现框架延伸至LLM辅助分析，帮助科研人员在引入AI时仍恪守数据分析最佳实践。该研究发表于《Patterns》。

关键技术方法上，研究人员提出以“数据路径（data path）”为核心判据，用“无LLM重跑测试”区分LLM在路径上或外；构建涵盖复现性性质与LLM参数的术语体系（含权重、推理栈、采样参数、skill、harness、agent等）；将LLM类比为可版本化的运行时环境，并依角色（代码生成、编排、数据清洗、直接分析、skill封装）分类讨论；针对路径上步骤要求记录模型名与版本、harness信息、prompt或skill版本、温度（temperature）/top-p/seed等采样参数以留存溯源，通过重复调用评估同运行时确定性（within-runtime determinism）、跨模型一致性（cross-model agreement）；验证手段结合留出基准（held-out benchmark）、已知真值夹具（test fixtures）、人工抽检、Cohen's kappa、精确率/召回率/F₁、交叉方法一致、LLM-as-judge与敏感性测试，路径外代码则沿用单元测试与回归测试；在论证中援引Docker/Apptainer容器、Snakemake/Nextflow工作流管理器及Lean形式化证明校验作对照。

研究结果各小节结论如下。

“Reproducibility requires data, code, and runtime”节指出，复现需原始与中间数据、带版本的代码及依赖、可归档运行时；运行时腐烂（runtime rot）史例表明环境比代码更易失效，容器化与工作流管理器使运行时成为可引用制品。

“LLMs as runtimes”节阐明，prompt即指令文本、LLM加harness即其运行时；托管推理因硬件算子顺序、批处理与采样实现而未必逐位确定（bit-for-bit determinism）；闭源权重不可归档，harness上下文压缩启发式频繁变更且不可固定，构成复现硬限制。

“Roles of LLMs in analysis”节界定，数据路径指从声明输入到论文评估输出的操作序列；假设生成通常离路径，但若其输出被当作方法结果或直产报告结果则转至路径上。

“Off the data path”之“Code generation and modification”节认为，LLM写码后提交常规运行时，移除LLM依赖，但须防“vibe coding”式不审而用，科学家仍须懂码。

“On the data path”下三节分别结论：编排（Orchestration）若记录逻辑可固化为Snakemake管道从而离路径；数据清洗（Data munging）由模型直接产出变换则在路径上且可能引入非预期修改，替代法让LLM设计可审程序化变换；直接分析（Direct analysis）如转写、抽框、分类、读图，若运行期需LLM选型配置则不离路径，除非降为固定确定性代码；Skills节示明同一FASTA过滤任务，skill可令模型自读（在路径）或令模型写Python脚本运行（离路径）。

“Provenance, determinism, and interpretability when the LLM is on the data path”节总结，路径上须记模型版本/harness/prompt/采样参数存溯源；同模型复跑估确定性，跨厂商模型比一致性抗单环境退役；不透明内部步骤使验证负担外推至输出评估，模型自带笔记（lab notebook）未必忠实于计算。

“Verification of LLM results”节分述，离路径代码用单元测试等常规手段；在路径输出用基准/夹具/抽检/kappa/F₁/跨法一致/LLM裁判/敏感测试组合验证；形式验证节以Lean校验LLM生成证明为例，信任落于可归档确定性的校验器而非生成模型。

“Recommendations”六节对应导出六建议：尽离数据路径、归档LLM制品、按角色验证并报告、考虑open-weight模型、记模型版本与采样参数、测同模型确定性与跨模型一致性。

讨论部分总结：分析生命周期中探索期可用在路径LLM快速原型，出版前应将路径上调用重实现为离路径提交代码，但此转化藏匿了p-hacking与“分岔路径花园（garden of forking paths）”式自动隐蔽选择风险；LLM亦能低价重跑多设定、多独立法、跨模型以暴露脆弱性，预注册与多宇宙报告仍适用。规范落地待期刊/基金圈定，CONSORT/MIAME/ARRIVE式社区标准演进而成，Claude Science等工作台补溯源缺口却不延闭源运行时寿命。

结论节翻译：本框架系于单一设计抉择——LLM处于已发表分析的数据路径上或外。离路径使可复现性倚靠归档数据、代码与传统运行时；在路径追加LLM运行时性质（较弱）。何时记溯源、如何验输出、如何测确定性，皆由此放置推得。无LLM重跑测试是在路径/离路径的操作化判据：能端到端重跑者离路径，其可复现性不赖持续LLM访问；不能者担额外义务。同一形式性质仍重要，仅记录与验证形态不同。对分析工作流应问其具何性质而非如何产：手书C管道与提示LLM装配管道皆可正确或误、稳定或暂态、确定或否、可释或黑箱、溯源完缺——此性质定信任与可继承性。可复现性、确定性、溯源、可解释性对prompt/skill/API调用毫不次要于对CPU上C码。计算机科学数十年框架毋需替，只需延。LLM早期采纳期立此实践，方使过往数十年可复现工作承至下一程。