《Ecological Informatics》：Benchmarking large language models for marine functional group classification
编辑推荐：
功能群分类是生态系统建模中关键但主观且耗时的步骤。本研究通过在一个涵盖地理范围、分类多样性和规模各异的六个海洋数据集上评测十三个模型，评估大型语言模型（LLM）能否自动化该过程。研究人员评估了两种方法：（i）分类至预定义功能群，以及（ii）分类至由LLM确定的
功能群分类是生态系统建模中关键但主观且耗时的步骤。本研究通过在一个涵盖地理范围、分类多样性和规模各异的六个海洋数据集上评测十三个模型，评估大型语言模型（LLM）能否自动化该过程。研究人员评估了两种方法：（i）分类至预定义功能群，以及（ii）分类至由LLM确定的涌现分组。研究人员还测试了成功与否是否对每提示（prompt）中所包含分类单元数量（批次规模，batch size）敏感。结果表明，闭源模型（Claude-Sonnet-4、Gemini-Flash-2.5）和大型开源模型（如Kimi-K2）与专家衍生分组达到中等一致性，并持续优于小型开源模型。模型规模和批次规模均影响准确性。较小模型在每提示分类更多分类单元时性能下降，而闭源和大型开源模型即使在单个提示中分类整个数据集（最多232个分类单元）时仍保持性能。这些发现表明，部分LLM可支持专家生态决策，并为生态系统模型开发提供可扩展协助。本工作为在生态工作流中应用LLM提供了初步基准，并凸显其自动化复杂科学任务的潜力。
研究背景方面，将生物分类为功能群（functional group）是支撑生态系统建模、健康评估与生物多样性监测的基础生态实践，在Ecopath with Ecosim（EwE）、Atlantis、OSMOSE、Mizer等框架中常作为新区域建模的首步。然而该过程依赖专家判断，耗时且高度主观，跨区域与分类群一致性差。随着大型语言模型（Large Language Model，LLM）在综述、标注、数据清洗与软件开发中的渗透，标准化基准评测成为衡量其可信度与就绪度的关键，但针对“将分类单元分配至功能群”这一结构化建模任务的系统评测此前几乎空白。为此，研究人员在《Ecological Informatics》发表该研究，旨在回答LLM独立推断的功能分组与专家定义吻合度、预定义功能群分配准确性、以及批次规模（batch size，即单提示内分类条目数）是否影响性能三个问题。
关键技术方法上，研究人员整合六个具较高引用的EwE模型数据集（Galápagos、中西太平洋开阔洋、Canary Islands、墨西哥湾北部、西南极半岛、西佛罗里达陆架，分类单元17–232），将分类单元比对至专家功能群并剔除非分类限定词，同时用WoRMS AphiaID与ITIS TSN解析权威标识但不输入模型。评测十三款LLM（九款上一代+四款新一代含Claude-Sonnet-4.6、Kimi-K2、DeepSeek-V3.2、GLM-4.6），温度设0.1、每条件五重复、最多三次重试，用difflib.get_close_matches阈值0.9做拼写校正。涌现分类用覆盖加权稳健调整兰德指数（coverage-weighted wARI?）与调整互信息（wAMI）对比专家分组；预定义分类用宏F1（macro F1）评测，批次规模从1到256按2的倍数设置，顺序随机化，用logit变换配合FLAT/PRE/HINGE/FULL四种回归形式与留一重复交叉验证及wild cluster bootstrap估计阈值。
研究结果部分，3.1涌现分类（Emergent classification）显示，仅七款模型在六数据集五重复内全返回有效响应，Claude-Sonnet-4与Gemini-Flash-2.5漏返率最低（0.2%、0.9%）；多数LLM倾向过少分组（过度聚合），仅Claude双型号与Kimi-K2组数接近金标准。wARI?跨模型数据集介于-0.02至0.88，闭源均值最高（0.60、0.55），开源均未超0.5，Qwen3-235B最强；模型越大越好，数据集越大越难，但同规模数据集间模型差异仍大。
3.2预定义分类（Predefined classification）中，单条批次宏F1跨模型0.20（Gemma3n）至0.86（Gemini-Flash-2.5），闭源均值0.83与0.85，Kimi-K2达0.81；大型开源大幅缩小与闭源差距。组级准确率随数据集增大而降，海洋哺乳动物、海鸟、浮游植物等界限清晰类群近完美，而深海/垂直迁移类群（如Highly migrant bathypelagic仅1%）与语义重叠的人为统合群（如Large Coastal Carnivores仅9%）极易误配至相邻群，弱模型甚至出现完全错误归类。
3.3批次规模（Batch size）表明，闭源与上一代闭源无批次效应，单提示吞下232条仍平稳；Claude-Sonnet-4.6略升。推理型开源DeepSeek-R1-70B在批次约70（95%CI [65,72]）后宏F1骤降，DeepSeek-R1-14B渐降，GPT-oss-20B、Qwen3-30B亦有阈值崩溃（近88与51），GPT-oss-120B无显著效应；新一代大模型Kimi-K2、DeepSeek-V3.2平坦，GLM-4.6阈值近16且后效可忽略。五重复多数投票在中大批次可回收约0.03宏F1。
讨论与结论部分，研究人员指出LLM并非与专家完全一致（金标准本身亦非完美，ARI=1不现实），但顶尖模型wARI? 0.55–0.60已达中等一致，优于随机。闭源与前沿大模型在单提示大批量下仍稳，小模型与推理模型存阈值崩溃，模型规模而非量化（4-bit vs 全精度仅差约0.02–0.04）主导开闭源差距。提示工程敏感性低，删生态准则块或调序对Claude-Sonnet-4影响小于0.02，对Qwen3-30B单数据集最大摆幅0.15但均值稳。该基准证明部分LLM可支撑生态专家决策、为EwE等模型开发提供可扩展辅助，对SDG14、昆明-蒙特利尔框架与气候影响评估具工作流集成意义。
