利用智能代理技术自动化生态与渔业建模

《Fish and Fisheries》：Automating Ecological and Fisheries Modelling With Agentic AI

　　**摘要**

渔业建模需要专门的培训，但具备适当技能的建模人员的短缺限制了科学知识向管理决策的传递。代理型人工智能（agent AI）可以自动化计算工作流程，并将在生态建模中得到越来越广泛的应用。然而，AI生成结果的质量令人担忧，因为存在逻辑错误代码和不一致答案的风险。在这里，我们测试了一种通用AI代理（Roo Code）是否能够编写计算机代码并解释结果，以完成三种常见的生态和渔业建模任务：（1）将von Bertalanffy生长曲线拟合到数据上；（2）编写代码并解释将鱼类数量与栖息地相关联的广义线性模型（GLM）的结果；（3）完成每单位招募量的产量分析。我们使用重复的提示和结构化的评估标准来检查代理的结果是否准确以及响应是否一致。在某些重复实验中，代理成功完成了所有三项任务；然而，准确率在不同重复实验中差异很大。在我们测试的大型语言模型中，Claude Sonnet 4.5的准确率最高，并且总是为最简单的建模任务提供准确的响应，但在复杂任务上的准确性较低。所有模型有时都会忽略关于使用方法的用户指令。我们的研究结果表明，代理有时可以完成生态和渔业建模，但它们的稳定性和准确性还不够高，无法依赖它们来提供管理建议。我们概述了提高可靠性的提示设计和工作流程，并讨论了确保用于管理的建模结果可信度所需的人工监督的重要性。

**1 引言**

现代生态科学，特别是渔业，需要广泛的技术专长和耗时的计算工作流程（Punt等人，2025年）。在生态学领域，建模的复杂性阻碍了及时和准确的决策建议的提供。例如，资源评估报告经常将时间限制作为进行全面分析的障碍，专业人士难以完成彻底的敏感性分析或探索多种情景（Punt等人，2025年）。种群建模中的常见错误也可能导致对受威胁物种的管理措施不当（Shoemaker和Loope，2025年；Kendall等人，2019年）。环境研究依赖于多种定量方法，这些方法的学习难度较大，在培训项目中也较少涉及（Touchon和McCoy，2016年）。此外，定量环境科学家通常缺乏编程的正式培训，这使得计算代码的创建和维护变得困难（Hampton等人，2017年）。创建和分享易于理解、可复制的代码则更具挑战性（Culina等人，2020年）。因此，有限的生态建模人员面临的时间压力增加了分析错误的风险，并限制了环境评估的范围，同时也加剧了与数据有限或不完美相关的挑战（Dichmont等人，2025年）。大型语言模型（LLMs）和代理型AI越来越多地被嵌入到建模工作流程中，通过自动化科学计算机代码的创建来提供帮助（Bistarelli等人，2025年）。这些技术可以降低非专家的技术门槛，并加速专家的常规编码任务（Jansen等人，2025年；Cooper等人，2024年；Campbell等人，2024年）。AI生成的代码已成功应用于生物害虫控制分布建模（Scheepens等人，2024年）和自主合成驱虫剂（Bran等人，2024年），减少了开发时间和错误。对于专家和新手用户来说，都存在未检测到的逻辑错误以及语法正确但科学上无效的结果的风险（Wills等人，2024年；Johnson等人，2024年）。LLMs可能会生成看似可信但实际上虚构的信息（Scheepens等人，2024年），或者生成能够执行但逻辑上有缺陷的代码（Hocky和White，2022年；Jansen等人，2025年）。这种可靠性问题在渔业科学中尤为突出，因为建模结果会影响有争议的管理决策。目前尚不清楚LLM生成的分析在科学上正确的频率，以及用户是否能够发现其中的错误。用户经常报告LLMs犯的错误是微妙的，且与人类编码者犯的错误类型不同（个人观察）。因此，LLM的使用将受益于普遍认可的指南，以帮助用户避免和纠正错误（Brown和Spillias，2026年）。制定此类指南将受益于对LLMs完成常见建模任务的准确性的定量评估，以及关于如何最好地使用LLMs以获得准确响应的建议，并探讨常见错误类型。AI发展的两个趋势正在迅速增加LLMs能够完成的科学编码和建模任务的复杂性和长度。首先是LLMs的上下文窗口扩大。上下文窗口是指LLM在单次聊天线程中可以处理的信息量（以令牌计）。chatGPT的第一个版本上下文窗口为4096个令牌（大约3000个单词），而GPT5.2的上下文窗口为400,000个令牌（OpenAI，2025年）。这一增长意味着LLMs可以遵循更复杂和详细的指令集来完成任务。第二个趋势是越来越复杂的AI辅助软件（图1a）和代理型AI软件（例如Claude Code，图1b）（Ferrag等人，2025年）。与仅限于文本响应的简单聊天机器人不同，辅助程序和代理可以使用工具（例如通过模型上下文协议）来运行从基本文件处理和运行R脚本到高级网页浏览和远程数据库访问的各种软件。将工具与LLMs结合使用，可以在代码生成、错误检查、解释和任务进展之间实现自主反馈循环（图1b）。例如，Claude Code和Roo Code代理会考虑用户的初始提示，并生成自己的“待办事项列表”（“Roo Code Docs | Roo Code Documentation”，2025年）。然后它们按照这个清单工作，选择要运行的工具并在过程中解决问题，直到任务完成。

**2 方法**

**2.1 概述**

我们为每个渔业建模任务制定了详细的规范表。这些详细的指令集旨在指导代理型AI完成复杂的分析工作流程，同时尽量减少歧义和潜在错误。对于每个案例研究，我们使用了四个版本的LLMs来测试代理。我们对每种LLM和案例研究的组合进行了10次重复实验。然后，我们使用标准化的评估标准对每次代理运行进行了评分，这些标准根据每个案例研究的需要，对结果进行了定量和半定量评估。接着，我们总结了10次重复实验的得分，并使用准确率统计量进行了汇总。

**2.2 实验设计**

我们的实验方法是针对每个案例研究测试LLMs。每种LLM组合的案例研究都重复了10次，以考虑AI生成结果的固有随机性（Yuan等人，2025年）。通常认为10次重复实验足以捕捉计算研究中的响应变异性（Laban等人，2025年）。每次重复实验都在不同的聊天线程和不同的Visual Studio Code会话中独立运行，以避免重复实验通过缓存共享信息。需要注意的是，Roo Code没有内置的记忆功能，因此后续的重复实验不会无意中从前面的实验结果中学习（“Roo Code Docs | Roo Code Documentation”，2025年）。然后，我们能够计算每个评估标准下代理响应的质量分数。所有分析（包括代理主导和人类主导的）都是使用R程序（R Core Team，2024年）进行的。生成式AI被用来协助创建代码并提供写作方面的编辑建议（详见补充方法：附录S1）。

**2.3 评估统计**

对于定量标准，我们根据每个重复实验是否得到正确答案来评分（容错率为5%，以区分由于数值估计算法的随机性导致的接近正确答案和完全不准确的LLM响应）。需要注意的是，像均方根误差这样的定量评估统计并不适用，因为代理要么得到正确答案，要么偏离很多个数量级，要么根本无法提供答案。我们对半定量标准进行了排序评分，然后将其标准化到0-1的范围内以便进一步分析。然后，我们根据准确性对重复实验的分数进行了总结。准确性定义为每个问题在所有重复实验中的平均分数。准确性量化了每个标准的平均表现，但并不表示单个代理能否同时准确响应所有标准。因此，在GLM案例研究中，我们还检查了重复实验中答案的一致性，目的是了解是否有任何单个代理重复实验能够全面完成规范表中的所有任务。首先，我们将评估标准分为四类（表S2），然后计算每个类别中所有标准得分为100%的重复实验的比例。我们还计算了LLM的能力，即最佳代理重复实验的一致性，定义为每个类别中最差分数的90%分位数（Laban等人，2025年）。例如，如果一个重复实验在三个与解释相关的问题上得分[0.2, 0.5, 1.0]，那么它在解释方面的得分就是0.2。我们还比较了成本（美元）与估计参数的准确性和科学推理的准确性。成本是一个综合指标，包括人类描述任务所用的令牌数量（输入）、代理使用工具所用的令牌数量（输入）以及LLM响应所用的令牌数量（输出）。输出令牌的价格大约是输入令牌的五倍。我们假设更昂贵的复制版本会更加完整，因此在估计参数和提供科学准确的结果解释方面也会更准确。

2.4 大型语言模型

我们使用的大型语言模型包括Claude Sonnet 4.0和4.5；Kimi K2以及带有‘exacto’端点的K2。最初我们使用Sonnet 4.0和Kimi K2运行代理程序。在审查过程中，Sonnet 4.5和K2:exacto变得可用，因此我们后来添加了这些模型，以展示随着LLM技术的快速发展所取得的进步。Claude Sonnet 4.5在编程和推理任务方面是行业领导者（SWE-Bench 2026）。Roo Code是专门为Sonnet开发的，因此也可能针对Claude Sonnet的特性进行了优化。其他流行的选择包括OpenAI模型（例如GPT 5.2），但我们的经验表明，它们在处理R代码时的表现略不如Sonnet模型稳定。我们还使用Kimi K2作为LLM运行代理程序。Kimi K2是Sonnet模型的一个更便宜的替代品，但它也展示了行业领先的编码能力（SWE-Bench 2026）。Kimi K2是“开放权重”的，因此可以被机构下载和运行（例如出于数据隐私考虑）。Kimi K2是为工具使用而设计的，所以我们在这里测试它，看看是否能够以更低的成本获得与Claude Sonnet 4.5相似的结果。K2:exacto是相同的LLM，但其请求仅限于那些在代理任务完成方面有良好记录的提供者（OpenRouter Docs 2026）。

2.5 代理软件

代理软件平台的数量正在不断增加，我们测试了一个流行的选项‘Roo Code’（在撰写本文时（2025-09-24）在https://openrouter.ai/rankings上的应用使用排名中位列第三）。我们使用了Roo Code代理AI软件（v3.25.1，VS Code扩展v1.103.0）的‘Code’模式。通过OpenRouter API访问LLM。该软件配置了自动批准功能，用于以下任务：文件读写操作、API请求重试、模型上下文协议交互、子任务创建、代码执行、自我提问和待办事项列表管理。只有在终端命令需要手动干预时，这些命令才会被批准，而且在批准之前会经过仔细的安全审查。每个任务完成后，Roo Code会启动一个‘attempt_completion’协议来完成代理的交互。然后我们捕获了全面的元数据，包括：聊天历史记录、令牌输入和输出、估计的计算成本。

2.6 案例研究

我们选择了三个渔业建模任务，这些任务代表了复杂性的逐渐增加，并且在生态研究和渔业管理中经常被使用。von Bertalanffy生长模型代表了一个基础的单模型拟合任务，需要参数估计和置信区间计算。广义线性模型（GLM）分析代表了中等复杂性，涉及数据探索、模型选择、统计测试和生态关系的解释。每单位招募量的产量（YPR）分析代表了最高复杂性，需要整合多个生物参数、种群建模和计算管理参考点。这些任务共同涵盖了渔业科学中使用的核心分析工作流程，从基本参数估计到直接为管理决策提供信息的种群建模。如果能够在整个复杂性范围内取得成功，这将表明AI代理可以帮助处理广泛的渔业建模应用。我们为每个案例研究创建了类似的规范表。这些规范表为每个建模任务提供了详细的说明。这些文档包括：介绍和背景、分析的精确目标、详细的数据方法论、代理AI的明确指令、技术背景和限制、工作流程描述、所需的目录结构、元数据规范。我们在编写这些说明时参考了最佳实践提示策略，包括使用示例和指定输出的一致结构和格式（Brown和Spillias 2026）。规范表借鉴了渔业和生态学教科书（Malcolm Haddon 2025；Ogle 2018；Zuur等人2009）以确保统计和方法论的准确性。通过提前提供所有说明，我们遵循了最近的建议，即AI系统在单一全面的初始提示下能够更可靠地运行（Laban等人2025）。我们根据参考资料认为的每个建模任务的最佳实践从零开始开发了规范表。然后我们用代理程序进行了一些试点测试，以确保规范表的完整性。我们对规范表进行了小幅更新，以确保输出以标准化的方式生成（例如，对将参数写入csv文件的更具体说明）。K2:exacto是相同的LLM，但其请求仅限于那些在代理任务成功完成方面有良好记录的提供者（OpenRouter Docs 2026）。

2.6.1 Von Bertalanffy生长模型测试案例

我们对代理程序最简单的测试是拟合一个von Bertalanffy生长模型到一些按年龄划分的数据上。选择von Bertalanffy模型是因为它在渔业科学中很常见，但在其他学科中较为罕见，而且拟合它需要使用非线性统计算法（Ogle 2018）。因此，这个任务涉及复杂的统计挑战，特别是在参数估计和置信区间计算方面。我们模拟了一个基于Bolbometopon muricatum（隆头鹦鹉鱼）的已知生长参数的按年龄划分的数据集（Taylor等人2018）。我们要求AI代理完成以下任务：估计VB生长函数参数，通过自助法计算置信区间，预测特定年龄（5岁）的鱼的大小，并生成预测大小的95%置信区间。规范表为这个任务提供了详细的说明，包括使用nls()函数拟合von Bertalanffy生长模型方程以及使用boot包进行自助法的说明（附录S1，Ogle 2018）。我们还测试了第二个简化的规范表，因为Claude Sonnet 4.0在所有任务上的准确率接近100%，所以我们用它进行了测试。这个第二张规范表没有包含任何方程或R函数的推荐。我们指示代理程序复制一个参数值的csv文件（结构与表S1相同）。代理程序得到了一个只有标题的空csv文件，这样它就能以标准化的方式向我们提供结果。然后我们根据每个参数和置信区间的准确性对响应进行评分（正确答案在表S1中）。

2.6.2 鱼类栖息地的广义线性模型

我们的第二个任务是测试B. muricatum幼鱼的数量与两种不同类型珊瑚覆盖率之间的关系。我们使用了来自一项现有研究的数据，该研究发现珊瑚损失正在影响一种受威胁鱼类的幼鱼（Hamilton等人2017）。请注意，过去关于这些数据的研究使用了不同的方法，因此LLM无法针对这些具体数据进行训练。此外，与这里使用的LLM的对话表明，它们的权重并没有特别编码Hamilton等人（2017）研究的记忆。该研究设计包括对所罗门群岛Kia地区的49个珊瑚礁进行调查。在每个地点，潜水员在5米长的样带上统计了幼鱼的数量。在同一样带上，还使用点交叉样带方法记录了不同栖息地类型的底栖覆盖率（百分比）。对于这项分析，样带被汇总以产生每个地点的一个值。我们总结了两种底栖栖息类型的鱼类数量并取了平均值：分枝珊瑚和软珊瑚。我们要求AI代理回答四个问题：

鱼类数量是否依赖于分枝珊瑚的覆盖率？鱼类数量与分枝珊瑚覆盖率之间的关系方向和强度是什么？鱼类数量是否依赖于软珊瑚的覆盖率？鱼类数量与软珊瑚覆盖率之间的关系方向和强度是什么？分析的目标、元数据和方法都在规范表中详细描述，包括要使用的具体R函数和包。我们要求代理生成两份报告：一份包含模型验证结果和解释的报告，另一份包含方法、结果和讨论的完整撰写。然后有一位作者（CJB）根据以下类别手动评分报告：解释。统计是否正确解释，代理是否得出了正确的结论？完整性。代理是否完成了我们要求的所有任务？技术实现：代理是否创建了我们要求的图表，以及它编写的脚本是否无误执行（对于某些复制，代理编写了脚本但没有执行它们）（表S2）。我们还包括了两个“加分项”标准。第一个标准是每个代理是否在数据集中查找并识别了协变量之间的共线性。我们故意在规范表中省略了这个指令，以测试代理是否会遵循统计最佳实践并检查预测变量的共线性（Zuur等人2009）。第二个加分项是对结果撰写中的额外见解。解释和加分项标准代表了统计推理，而完整性和技术实现代表了技术全面性以及LLM成功调用工具和完成任务的能力。有许多复制中，代理编写了代码但没有执行代码来完成图表并将报告从源代码（markdown或Rmd格式）渲染出来。因此，我们按照这个优先级顺序评分：我们使用书面报告作为主要信息来源。如果创建了Rmd文件但没有渲染，我们手动进行了渲染（但在涉及代理是否创建文件的标准上得分为零）。如果Rmd文件由于错误而无法渲染，我们阅读了Rmd文件。如果没有Rmd文件或Rmd文件缺少关键部分，我们查看了代码，看是否有图表文件。然后我们根据每个标准的准确性对分数进行了分析，并按类型汇总了能力和可靠性（表S3）。

2.6.3 每单位招募量的产量分析

每单位招募量的产量（YPR）分析是我们最复杂的渔业建模任务，旨在测试代理程序整合多个生物参数和种群模型的能力。我们要求AI代理对Bolbometopon muricatum（隆头鹦鹉鱼）进行YPR分析，以评估不同大小限制对渔业产量的影响（Taylor等人2018；Haddon 2025；Haddon 2011）。代理程序需要为四种管理情景计算YPR曲线：一个没有大小限制的基线情景和三个大小限制情景（最小长度分别为400毫米、500毫米和600毫米）。对于每种情景，代理程序需要确定三个关键的渔业参考点：Fmax（产生最大产量的捕鱼死亡率）、Ymax（每单位招募量的最大产量）和F01（更保守的参考点，其中产量曲线的斜率等于原点处斜率的10%）。规范表提供了生物参数，包括von Bertalanffy生长参数（Linf = 1070毫米，K = 0.15每年，t0 = -0.074年），自然死亡率（M = 0.169每年），长度-重量关系系数（a = 1.168 × 10^-6，b = 3.409），以及选择性参数（delta = 0.001）。最大年龄设定为29年，初始招募量为1000个个体。代理程序被指示实施一个多步骤的分析工作流程：（1）使用von Bertalanffy方程建模生长，（2）使用异速生长关系将按年龄划分的长度转换为按年龄划分的重量，（3）使用逆von Bertalanffy方程计算每个大小限制下的50%选择性的年龄（A50），（4）使用逻辑函数建模捕鱼选择性，（5）使用Baranov捕获方程结合捕鱼和自然死亡率应用种群动态，（6）计算不同捕鱼死亡率下的每单位招募量产量，（7）从结果产量曲线中估计参考点。规范表包含了所有必要的方程，格式化为R函数：von Bertalanffy生长方程、用于计算年龄的逆形式、长度-重量转换、逻辑选择性函数和用于计算给定死亡率的Baranov捕获方程（Malcolm Haddon 2025）。代理程序被明确指示排除第一个年龄组的死亡率，并在大小限制情景中使用陡峭的选择性曲线（小的delta值）。预期的交付成果包括一个包含所有计算参考点的完整CSV文件（遵循表S6的相同模板）和比较所有四种管理情景的产量曲线图。再次强调，如果代理编写了R代码但没有完成表格，我们会手动运行R代码并评估生成的参数（但在涉及是否完成表格和图表的问题上，该代理得分为零）。

3 结果

我们的评估揭示了三个渔业建模任务中的明显模式：所有大型语言模型（LLM）变体有时能够完成任务，但在任务完成方面的可靠性存在很大差异（见图2）。Claude Sonnet 4.5在估计von Bertalanffy参数时始终能达到90%以上的准确率，但在完成广义线性模型（GLM）和每单位捕捞量分析的所有任务时可靠性较低。相比之下，Kimi K2在所有任务中表现出较大的变异性，经常无法完成复杂的工作流程或生成合理但不正确的输出。Kimi在使用exacto设置时的表现有所提高。一个关键发现是，代理能够生成语法正确的代码和格式专业的结果，但这些结果包含逻辑错误——这对科学应用来说尤其令人担忧。这些模式突显了AI代理在自动化渔业建模方面的潜力与当前局限性，我们将在下面的每个案例研究中详细说明。

图2（在图查看器中打开）

Claude Sonnet 4.0的准确和错误输出示例。一些代理根据我们要求的对数y轴刻度生成了GLM的预测（a），而其他代理尽管有明确指示使用对数刻度，却使用了自然刻度（b）。

3.1 VBF

Claude Sonnet 4.0、4.5和K2:exacto LLM在使用完整规格时，在所有10次复制中都以100%的准确率完成了von Bertalanffy任务（见图3）。Kimi K2 LLM估计大多数参数的准确率超过80%。然而，我们注意到在生成参数摘要之前需要对Kimi K2的输出进行一些清理。特别是，LLM使用的“5龄长度”参数名称与我们规定的不一致。

图3（在图查看器中打开）

von Bertalanffy案例研究中两种LLM及其每个参数估计的平均准确率。聊天记录显示，在两次Kimi K2的复制中，R代码中出现了简单的语法错误，导致脚本未能无误地完成所有任务。然而，代理没有检测到任务未完成的情况（即虚构行为），并继续将参数值手动输入到参数表的错误位置。Claude Sonnet 4.0 LLM在使用没有关于拟合von Bertalanffy算法的简单规格时，也实现了12个参数中7个的100%准确率（见图3）。它在参数K和Linf以及5龄平均长度的估计上达到了100%的准确率。但对于5龄长度的置信区间，准确率较低。然而，在审查其生成的R代码时，我们注意到它通常使用t分布来估计置信区间，而我们的解决方案使用的是自助法。因此，在30%–40%的复制中，5龄长度和t0参数的置信区间与我们的结果相差超过5%，但仍然使用了有效的算法。

3.2 GLM

总体而言，Claude和Kimi K2 LLM在完成编码任务和运行工具（完整性和技术实现）方面的标准上表现更强，而在统计推理（解释和加分项）方面的标准上表现较弱（见图4a，表S4）。两种Claude LLM都能够准确遵循指令完成所有要求的任务（能力=1，见图4a）。K2:exacto也能够成功完成所有技术任务，但在统计推理方面的能力低于Claude（能力=0.5，相比之下Claude在解释方面的能力为1，见图4a）。此外，2/10的Claude复制实现了全面的统计解释，而没有K2:exacto复制实现全面的统计解释（正确比例，见图4a）。Kimi K2在所有类别中的能力最弱，可能是因为它经常无法正确运行工具调用，因此许多复制从未完成任务。

图4（在图查看器中打开）

GLM案例研究的结果。(a) 个别复制的响应一致性，包括能力（最佳响应）以及正确完成所有任务的复制比例。(b) LLM及其每个评估标准的平均准确率。Kimi K2（<5%）和Claude Sonnet 4.0 LLM（<25%）在“加分项”任务上的表现不佳：这些是我们没有在GLM规格中明确要求的额外重要考虑因素。Claude Sonnet 4.0和4.5偶尔会对数据进行了进一步解释，我们认为这些解释很有价值，例如提出了对保护或其他可能在分析中考虑的变量的合理建议。两种模型都没有发现两个协变量之间的共线性，也没有建议测试预测因子的潜在共线性。综合来看，这些结果表明两种LLM在编码和工具调用方面的表现优于统计推理，Claude LLM在统计推理方面的潜力更大。针对个别标准的准确性研究显示了LLM行为的一些差异和一些令人惊讶的弱点（见图4b）。Claude Sonnet LLM始终准确回答了问题（见图4a）。所有复制都适当地解释了显著性测试，只有1个Sonnet 4.5的复制使用了与我们要求的不同的统计测试。它们在遵循规格表中的所有指令以及正确创建图表和文件方面达到了100%的准确率（见图4b）。Sonnet LLM在创建和解释诊断图表方面的可靠性较低。它们总是创建了一些诊断图表，但不太常用适合计数数据的高级诊断测试。两个意外的问题是，6/10的Sonnet 4.0复制没有遵循在预测图y轴上使用对数刻度的简单指令（准确率为40%），并且3/10的Sonnet 4.5生成的报告存在语法错误，因此无法与html文件合并。Kimi K2复制中出现了一些令人担忧的模式。LLM经常为似然比测试生成代码，但随后在报告中使用了不同的p值或直接编写了虚构的p值（见图4a）。在某些情况下，LLM生成的图表代码在我们测试时可以成功执行，但没有完成完整的报告任务。我们在Kimi K2代理的聊天记录中发现了伪造行为。Kimi K2代理经常声称已经完成了报告，尽管实际上并没有。Kimi K2 LLM在预测图使用正确刻度方面唯一优于Claude Sonnet 4.0 LLM（80%对40%，见图4a）。K2:exacto没有表现出任何这些伪造行为，可能是因为它在运行工具方面更成功。

3.3 YPR

Claude Sonnet 4.0和4.5成功生成了可执行代码，90%–100%的时间生成了图表并填充了参数表（见图5a，表S5和S6）。K2:exacto在技术实现任务上的表现几乎与Claude LLM相当，完成率为70%–80%。相比之下，Kimi K2 LLM的可靠性较低，经常无法完成工作流程（例如，只有20%的复制完成了参数表）。Kimi K2生成的代码经常包含错误或无法执行，导致输出不完整。

图5（在图查看器中打开）

YPR案例研究的结果。(a) 两种LLM在代码技术实现相关标准上的平均准确率，(b) 与定量结果相关标准上的平均准确率。Claude LLM在大多数参数的参数估计上比Kimi LLM更准确（见图5b）。例如，100%的Sonnet 4.0复制和90%的Sonnet 4.5复制准确估计了Fmax及其置信区间，而K2:exacto复制中这一比例不到60%。然而，Sonnet LLM并不完美。Sonnet 4.5只有一半的时间准确估计了F0.1参数，并且只在600毫米大小限制的情景中估计了一次，Sonnet 4.0只有一半的时间正确估计了Ymax参数（见图5b）。Sonnet模型中的一个反复出现的问题是错误应用了捕鱼率和自然死亡率，特别是尽管有明确指示要排除它，但仍然将死亡率分配到了第一个年龄组。这个错误显著影响了最大产量（Ymax）的估计，导致该参数的准确率较低。总体而言，Claude Sonnet 4.0为YPR分析的大多数方面提供了稳健且可复现的结果，但两种LLM在处理细致的方法学细节方面都表现出局限性。

3.4 成本和准确性

我们比较了科学推理和参数估计的平均准确率与总成本（见图6）。对于VBF案例研究，K2:exacto的性能与Sonnet模型相当，但其总成本通常是Sonnet模型的一半（见图6a）。对于更复杂的YPR案例研究，Sonnet模型在参数估计方面的准确率更高，但成本也更高。实际上，最昂贵的复制（>最便宜成本的10倍）是当K2:exacto陷入无限循环且从未完成YPR建模任务时（见图6c）。对于参数估计（VBF和YPR案例研究），更高成本的解决方案并不总是对应更高的准确率。例如，Kimi K2两次未能完成VBF任务，陷入无限的工具调用循环，浪费了令牌且从未找到解决方案（见图6a）。同样，Claude Sonnet 4.0在YPR中最昂贵的解决方案的准确率也较低。对于我们评估科学解释的GLM案例研究，更昂贵的模型和复制倾向于写出更准确的GLM结果解释（见图6b）。

4 讨论

这项研究表明，代理型AI系统可以遵循指令来自动化常见的渔业建模工作流程，但它们在结果的统计和逻辑解释方面还不够可靠。我们对三种越来越复杂的渔业建模任务——von Bertalanffy生长模型拟合、广义线性建模和每单位捕捞量分析——的代理型AI进行了评估，发现Claude Sonnet 4.5在完成简单建模任务时始终能够达到接近100%的准确率，但在更复杂的任务和科学推理方面的一致性较低。Kimi K2的准确率通常低于Claude Sonnet模型，但在使用exacto终点时表现有所提高。我们的结果与其他生态学领域对LLM的评估一致，这些评估也发现当提示和代理软件针对特定任务进行校准时，LLM的表现具有实际用途（Brown和Spillias 2026；Castro等人2024；Gougherty和Clipp 2024；Spillias等人2025）。我们研究与早期研究的一个关键区别在于，我们使用了通用代理软件，而不是针对特定科学应用进行校准的软件（例如，Spillias等人2025；Jansen等人2025）。我们的结果很重要，因为它们为LLM和代理更快地整合到生态和渔业建模工作流程中铺平了道路。两种模型生成的代码在功能上比在科学上准确的代码更可靠。Claude Sonnet 4.5在科学推理和技术实现方面最为可靠，但在更复杂的建模任务上并不完美。Kimi K2是最弱的模型，其表现突显了使用LLM的一些风险。当Kimi K2无法完成任务时，它表现出一种特别令人担忧的虚构行为。LLM通过错误地假设任务已完成并生成看似合理但不正确的输出来达到完成状态。在LLM在逻辑和推理任务上的评估中也观察到了类似的变异性（例如，Laban等人2025；Zhu等人2024）。更一般地说，像Kimi K2这样的开放权重模型目前缺乏像Claude Sonnet 4.5这样的专有LLM的复杂性，因此在逻辑和推理任务上的表现通常较差（例如，Laban等人2025；Zhu等人2024）。这些表现揭示了生态和渔业建模应用中的特定领域挑战（Bistarelli等人2025；Scheepens等人2024）。渔业建模是一个专门的领域，可用的公开代码和方法学示例有限，LLM可以在此基础上进行训练。这种稀缺性可能导致了我们观察到的性能波动以及模型输出的一些奇怪现象，尤其是在需要整合多个生物参数和统计方法的复杂任务中。例如，在GLM案例研究中，Claude Sonnet 4.0在对数转换尺度上的预测结果并不一致；而在每招募单位产量模型中，它对新招募者应用了自然死亡率，这与我们的要求相反（Haddon 2025）。这些小的不一致性出现在完整的分析过程中，突显了人工监督和代码审查的重要性。此外，在GLM案例研究中，没有任何代理程序检查变量之间的混淆情况，尽管这是最佳实践统计工作流程的一部分（Zuur等人2009）。我们建议代理软件可以通过加速编码和模型开发来帮助专家；然而，它不能替代专家知识，后者对于创建精确详细的规范表以及审查输出以识别和纠正错误是必要的。在解释这些结果及其在现实世界渔业应用中的适用性时，必须考虑几个重要的限制。首先，我们的评估仅限于使用模拟或受控数据集的三个建模任务，这些数据集可能无法捕捉到现实世界渔业数据的复杂性和混乱性。未来的工作应该评估代理在更大工作流程中的表现，例如需要拟合多个统计模型来估计生命史参数（如生长、死亡率和选择性）的全面资源评估（Hilborn和Walters 2013）。同样，代理在生态学应用中的使用也将受益于使用复杂多变量数据集和需要多个数据库的统计问题的研究，因为自动化的数据处理仍然是一个挑战（Jansen等人2025）。尽管我们的工作流程被简化了，但这里观察到的表现表明，现实世界工作流程的许多组成部分可以部分自动化。其次，我们只测试了一个代理平台（Roo Code）和三个LLM，因此结果可能不适用于其他AI系统或配置。具体来说，Roo Code是为Claude Sonnet系列模型优化的，而Kimi K2是一个较新的模型，它可能在使用不同的代理软件时表现更好。尽管如此，Kimi K2 LLM仍然可以为专家提供更高效的建模任务的起点，他们可以进一步完善代码。最后，LLM及其在代理中的集成正在迅速发展，因此我们的准确率评分可能会很快被超越。例如，Kimi模型的“exacto”终点在所有任务中都提高了性能，但直到本文审稿期间才可用。我们在这里的核心贡献是提供了一个在受控条件下评估代理性能的框架，允许系统比较，并为未来使用下一代LLM或其他建模任务的评估提供基础。我们的研究为将代理集成到建模工作流程中提供了实际经验。我们工作流程中的第一步是使用详细的规范表来结构化代理的响应，这些规范表涵盖了分析目标、方法论、软件偏好、元数据和输出指令。因此，我们的方法扩展了之前对LLM在生物科学中性能的评估，这些评估测试了对一次性提示的响应质量（Scheepens等人2024）或迭代纠正语法错误的简单代理（Jansen等人2025）。创建规范表需要建模专家的仔细思考。专家的监督是必不可少的，因为逻辑错误和规范中的空白会传递给代理，并可能产生误导性的结果。例如，一个用于拟合生态模型的代理默认使用了最常见的算法，而不是最合适的算法（Spillias等人2025）。对于需要自主创建复杂生态系统模型的应用，代理必须编写准确的代码。需要进一步研究建模工作流程，以测试代理AI是否节省了时间或增加了成本。LLM代理在软件开发的早期阶段似乎可以节省时间，但在后期检查和验证过程中可能会让工程师花费更多时间。一项研究（未经同行评审）发现，软件工程师认为LLM编码工具加快了他们的速度，但从定量上看，他们完成任务所需的时间比没有LLM辅助时更长（Becker等人2025）。量化完成科学编码所需的时间是一个复杂的评估任务，因为它可能因个人经验和编码风格的不同而有很大差异。根据我们的个人经验，用简单的英语编写指令比编写代码更快，但并非所有研究人员的看法都相同（个人观察）。此外，大多数科学分析任务没有完美的答案，对于同一个问题有许多可能的方法（Gelman和Hennig 2017）。最佳实践是使用LLM工具的随机对照试验，让多个生态建模者分配相同的建模任务。例如，一个资源评估游戏被用来评估渔业建模者的能力（Punt等人2025），类似的设置可以用来测试LLM编码工具的时间节省效果。我们的研究提出了关于透明度和信任的更广泛问题，如果AI辅助建模要被广泛采用，这些问题至关重要。即使是我们测试中最好的LLM也经常未能遵循所有指令，尽管它们在编写代码方面表现出色，但它们的科学推理往往不足以应对现实世界的应用。这种不一致性在资源评估等管理情境中尤其成问题，因为不清晰的统计解释可能导致不可持续的决策（Galland等人2018）。此外，代理有时会做出与规范表中不同的方法论决策。这些变化对于资源评估建模来说是一个问题，因为结果对参数估计方法的敏感性要求通常需要遵循约定的程序（例如，Punt等人2015）。基于这些原因，我们不建议在没有专家审查的情况下使用AI生成的代码（俗称“vibe coding”）。透明度不仅在声明使用AI时需要（Cooper等人2024），而且在保持足够的人类理解和监督以解释建模选择方面也需要（von Eschenbach 2021）。科学家还必须对其模型保持理解，以便负责并向利益相关者提供有根据的建议（Messeri和Crockett 2024；Johnson等人2024）。因此，我们认为改进生态建模的优先事项仍然是开发可复制的代码和高质量的培训机会（例如，Pascoe等人2025），这反过来可以支持LLM的更可靠集成。数据隐私是使用LLM和代理时的另一个问题。我们的方法使用了云托管的LLM，但这些提供商的数据隐私政策各不相同。渔业建模经常使用敏感数据，数据使用协议可能禁止上传到云服务或数据离开原籍国。同样，社会生态学研究可能涉及具有严格保密要求的人类访谈数据。事实上，当我们举办关于LLM的培训研讨会时，渔业科学家最常提出的问题是“我如何保护数据的隐私？”。一个潜在的解决方案是使用像Kimi K2这样的开放权重模型，这些模型可以下载并托管在本地服务器或计算机上，使研究人员对数据隐私有更大的控制权。尽管开源模型在评估中的表现不如专有模型准确（例如，Laban等人2025），但它们仍然可以为研究人员在建模任务上提供宝贵的起点。

5 结论

这种方法为监测代理AI何时适合用于现实世界的科学和管理应用提供了一个模板。通用代理软件有时可以完成常见的渔业和生态建模任务，但在获得一致准确的结果方面仍存在问题。我们的发现支持以下建议：

如果生态和渔业建模社区采用透明的协议，包括特定任务的规范表，那么AI辅助的工作流程将会得到改进。未来的研究重点是在包含缺失数据和方法论复杂性的真实世界数据集上测试代理，并测试多个用户使用LLM的时间成本或节省情况。例如，可以通过让建模者运行一个包含多个经验模型（生长曲线、选择性曲线等）的全面资源评估过程来测试代理（例如，Punt等人2025）。总体而言，我们建议当前的代理AI系统最好由具有批判性评估和纠正结果知识的专家渔业建模者使用。

致谢
C.J.B.得到了澳大利亚研究委员会（FT210100792）的未来奖学金支持。我们想感谢S. Spillias对早期版本的见解。开放获取出版由塔斯马尼亚大学通过Wiley - 塔斯马尼亚大学协议促进，该协议由澳新大学图书馆员委员会协调。

资金支持
这项工作得到了澳大利亚研究委员会（FT210100792）的支持。

数据可用性声明
代码可在以下地址获取：https://github.com/cbrown5/agentic-ai-fisheries。包括所有重复实验的完整代理转录和评估结果的完整数据可在以下地址获取：https://github.com/cbrown5/agentic-ai-fisheries-results。