《Future Internet》：Multi-Agent Readiness Scoring Methodology in Bioinformatics Domain
编辑推荐：
大型语言模型的出现极大地推动了计算生物学的发展，然而由于系统性的架构碎片化问题，将其集成到自主的多智能体系统和临床工作流程中仍然具有挑战性。为了量化生物信息学大型语言模型的操作就绪度与法规合规性，研究人员开发了多智能体就绪度评分，这是一个标准化评估框架，从四个
大型语言模型的出现极大地推动了计算生物学的发展，然而由于系统性的架构碎片化问题，将其集成到自主的多智能体系统和临床工作流程中仍然具有挑战性。为了量化生物信息学大型语言模型的操作就绪度与法规合规性，研究人员开发了多智能体就绪度评分，这是一个标准化评估框架，从四个结构维度对模型进行评估：治理与可访问性、生物学能力、技术成熟度和智能体编排。该框架整合了来自欧盟人工智能法案、HL7 FHIR、HL7 CDA和MyHealth@EU标准的合规标准。为了凭经验验证这种领域无关的方法论，研究人员将其应用于该领域高度成熟的子集：由43个著名的基因组大型语言模型组成的多样化队列。评估揭示了严重的全行业就绪度差距：大多数模型属于“不适用”或“研究原型”层级，缺乏基本的技术接口、结构化通信模式和溯源追踪。此外，数据展示了“能力-就绪度差距”，即模型的生物学预测能力在提升，但相应的工程效用并未改善。可扩展生物信息学人工智能的主要障碍不再是生物学能力问题，而是操作和架构上的不兼容性。通过量化集成摩擦，MARS提供了一种关键的、可复现的指标，用于审计模型成熟度、指导系统架构，并确保未来的模型在结构上为精准医学工作流程严格的法规要求做好准备。
大型语言模型和基础模型的出现从根本上改变了计算生物学领域。基于Transformer的架构已证明其具有学习生物系统潜在“语言”的卓越能力，能够捕获基因组序列的语法、蛋白质结构的句法以及基因表达的调控语义。这些进展使得高度强大的模型能够用于变异效应预测、调控元件识别、表观遗传建模和分子生成，其性能通常超越传统的生物信息学流程。然而，现实世界中的生物医学推理跨越了孤立的预测任务，需要整合包括基因组、表观基因组、转录组、结构和临床信息在内的异构数据模式，并进行迭代假设生成与验证。这种复杂性超出了任何单一模型的范畴，推动了向多智能体系统的转变，在这些系统中，专业模型通过协调工作流程进行协作。
尽管取得了这些进展，但实证观察表明，生物信息学自动化的主要瓶颈已从生物学预测极限转向操作可部署性。存在一种持续的“就绪度差距”，即孤立的科学有效模型由于系统性的架构碎片化而无法在多智能体工作流程中协作。这种摩擦在表观遗传编辑流程中尤为明显，最先进的模型通常会遭遇架构崩溃而非预测失败。此外，在欧盟人工智能法案等法规框架下，可追溯性、技术透明度和可审计性已成为强制性的合规义务。同时，临床基础设施的集成需要符合Health Level Seven (HL7) Clinical Document Architecture (CDA)、HL7 Fast Healthcare Interoperability Resources (FHIR)和MyHealth@EU语义标准的输出。研究人员观察到当前生态系统存在四个反复出现的结构性缺陷：缺乏问责制和溯源、生物学粒度不匹配、集成不稳定以及缺乏结构化通信协议。科学性能本身不足以确保临床或操作效用，迫切需要标准的就绪度框架来评估生物信息学模型在结构和操作上是否具备在协调一致的合规多智能体系统中发挥作用的能力。为了解决这一问题，研究人员引入了多智能体就绪度评分(MARS)方法，相关研究论文发表在《Future Internet》上。
研究人员为开展研究使用的主要关键技术方法包括：首先，基于文献资料库和模型注册中心，研究人员严格按照纳入标准筛选并整合了一个包含43个在2021至2025年间发布的专注于基因组学的大型语言模型队列作为验证队列；其次，研究人员开发了名为多智能体就绪度评分(MARS)的评估框架，该框架采用混合评估模型与加权就绪系统，从治理与可访问性、生物学能力、技术成熟度和智能体编排四个正交维度全面评估模型的操作性就绪度；最后，在评估过程中严格实施证据规则，所有模型的能力评分必须配备明确且可验证的技术文档或代码库证据，同时通过两名评估员的独立双盲复核部分模型来量化组间一致性，以确保评分结果的客观性和可复现性。
研究结果部分总结如下：
模型就绪度概述：通过对43个模型进行评估，研究发现就绪度得分分布强烈偏向较低的层级，大多数模型处于“不适用”或“研究原型”层级。只有少数模型(GenaLM, Nucleotide Transformer (NT), EVO 2, GenomicBERT, AIDO.DNA)达到了“部分就绪”层级，但仍需要外部包装器进行输入输出处理。值得注意的是，没有模型达到“即插即用”的状态。通过敏感性分析发现，88.4%的模型在未加权评分下保持了相同的层级，这表明观察到的就绪度差距反映了模型固有的架构局限，而非评估权重的副产品。此外，约16.3%的模型未达到基本的可复现性标准（如缺乏公开的源代码或模型权重），从开放科学的角度构成了透明度赤字。
能力-就绪度的差距：领域胜任力与部署就绪度：通过将生物学能力与智能体编排得分进行映射，研究揭示了一个明显的脱节现象。模型在生物学知识方面呈扩展趋势，但在智能体能力或互操作性方面并未相应提升。组群平均生物学能力得分为约60%，而平均智能体编排得分低于20%，存在三倍的差距，且没有模型在智能体编排轴上超过50%，呈现出制约系统主动参与工作流的“玻璃天花板”。统计分析表明，稳定的编程API和易于流程集成等特定技术特征是模型整体就绪度的强有力的显著预测因子，证实了多智能体就绪度从根本上是由经过深思熟虑的软件工程架构驱动的，而非伴随更强的基因组预训练自动产生。
就绪度分布与关键缺陷：研究比较了三个主要评估部分的得分分布，发现生物学能力得分分布广泛且表现出成熟领域的特征，而智能体编排得分密集聚集在零附近，表明其是全行业的普遍瓶颈。通过Friedman Test统计学证实了这两种分布存在显著差异。该偏斜分布主要源于三个全行业工程实践的系统性缺失：首先是结构化错误处理机制匮乏；其次是安全和审计标准缺失，限制了临床场景的合规性；最后是缺乏安全测试环境，增加了智能体与真实实验基础设施交互的风险。
在讨论部分，研究人员指出该领域正在优化发现能力而非操作可靠性，并强调了这种工程缺陷造成的法规影响。在法规合规方面：首先是透明度违规，模型对源代码或权重哈希等基本工件的缺失导致无法构建欧盟人工智能法案要求的技术文档；其次是互操作性死胡同，缺乏结构化输出的模型无法生成有效的HL7 FHIR资源，与欧洲健康数据空间架构不兼容；最后是问责制缺失，不可变日志和事务追踪的几乎完全缺失破坏了高风险临床错误溯源所需的监管链。关于未来方向，研究人员提出需开发MARS-CI开源测试套件集成到持续集成/持续部署(CI/CD)流程中以实现自动化合规验证，并建议将该方法扩展到药物发现等其他生物医学AI领域以建立通用标准。研究局限性在于基于清单的框架仅评估记录在案的就绪度而非实时临床疗效，且评估依赖公开文档的完整性。
研究结论表明，精准医学的未来不仅依赖于强大AI模型的存在，更依赖于其在合规、自动化工作流程中进行协作推理的能力。本研究证实阻碍可扩展性的主要障碍已不再是单模型的科学能力问题，而是操作层面的不兼容性。通过将技术规范与严格溯源及法规要求明确绑定，MARS框架作为生物智能体生态系统的治理层，指出了未来模型必须从头开始开发连通性、透明度和可审计性功能，这是将孤立的算法集合转变为具有凝聚力、可信赖且可互操作的多智能体生态系统的必要前提。
