《Neurocomputing》:CrunchLLM: Multitask LLMs for structured business reasoning and outcome prediction
编辑推荐:
预测初创公司成功需整合结构化数据(如融资记录)与非结构化文本(如公司简介),传统方法依赖结构化特征但捕捉不到文本中的深层信号,而通用大语言模型(LLM)难以适配领域数据。本文提出CrunchLLM框架,通过参数高效微调与提示优化,实现结构化-非结构化数据融合,并设计自验证多任务目标(分类+生成解释),确保模型输出逻辑一致性。实验表明,该框架在Crunchbase数据集上达到89%准确率,优于传统分类器与未适配LLM基线,同时生成可解释推理轨迹,提升决策可信度。
Rabeya Tus Sadia|Qiang Cheng
美国肯塔基大学计算机科学系,列克星敦,肯塔基州
摘要 预测初创公司的成功,即通过收购或IPO实现退出,是创业和创新研究中的一个关键问题。像Crunchbase这样的数据集提供了结构化信息(例如,融资轮次、行业和投资者网络)和非结构化文本(例如,公司描述),但有效利用这些异构数据进行预测仍然具有挑战性。传统的机器学习方法通常仅依赖于结构化特征,准确率中等;而大型语言模型(LLMs)虽然具有强大的推理能力,但不容易适应特定领域的业务数据。我们提出了CrunchLLM ,这是一个针对初创公司成功预测的领域适应型、基础模型无关的LLM框架。CrunchLLM将结构化的公司属性与非结构化的文本叙述相结合,并通过参数高效的微调以及提示优化来专门化基础模型以适应创业数据。重要的是,我们的框架引入了一个自我验证的多任务目标,在这个目标中,验证损失作为分类的训练时约束,同时采用分层排序的输入编码,减少了长篇非结构化公司叙述掩盖结构化业务属性的趋势。这些方法创新比传统的基于提示的LLM适应方法提供了更可靠、基于特征的预测结果。我们的方法在Crunchbase初创公司成功预测任务上达到了89%的准确率,显著优于传统分类器和基线LLMs。除了预测性能外,CrunchLLM还生成了可解释的推理轨迹,支持其预测结果,增强了财务和政策决策者的透明度和可信度。总体而言,这项工作展示了领域感知的LLM适应性和结构化-非结构化数据融合如何推进创业结果的预测建模,为风险投资和创新政策的数据驱动决策提供了一个方法论框架和实用工具。
引言 预测初创公司的成功是创业和创新研究中的一个基本问题。投资者、政策制定者和创业者寻求可靠的方法来识别哪些初创公司最有可能成功,通常通过收购或IPO等主要退出方式来衡量。Crunchbase平台提供了初创公司的全面记录,结合了结构化细节(例如,融资轮次、行业、投资者数据)和非结构化文本(例如,公司叙述)[1]。然而,构建能够有效整合这些异构信息的预测模型仍然是一个重大挑战。
早期的机器学习研究主要依赖于Crunchbase的结构化属性,并使用逻辑回归、随机森林或基本神经网络等分类器进行结果预测[2]、[3]、[4]、[5]。虽然这些方法达到了中等准确率,但它们在捕捉文本公司描述或投资者叙述中嵌入的细微信号方面存在局限性。同时,最近使用大型语言模型(LLMs)进行业务分析的兴趣突显了机会和障碍。通用LLMs如GPT-3、PaLM和LLaMA展示了强大的推理和文本理解能力[6]、[7]、[8],但当直接应用于Crunchbase数据时,它们的预测准确率通常只比随机猜测略高[9]。挑战包括:(i) 将在广泛网络语料库上训练的模型有效适应特定业务领域;(ii) 融合异构数据类型——特别是结构化的公司属性和非结构化的叙述(我们将其视为不同的模态);(iii) 解决用于训练特定领域预测器的标记数据有限的问题。
这些挑战促使我们开发了CrunchLLM,这是一个针对初创公司成功预测的领域适应型LLM框架。我们的主要创新是一种基于提示的多任务适应策略,旨在合成异构业务数据。与单独处理不同模态的传统流程不同,我们的框架动态地将结构化的公司属性与非结构化的自然语言描述相结合。这使模型能够捕捉定量业务信号和定性叙述之间的复杂相互作用。我们通过参数高效的微调[10]、[11]实现了有效的领域对齐,将基础模型的通用推理能力适应于Crunchbase数据的特定本体。
这种方法产生了一个准确率超过80%的强大预测器,同时解决了金融AI中的一个关键限制:它生成了可解释的推理轨迹,为模型输出提供了所需的透明度,适用于投资和政策应用。通过将大型语言模型的进步与创业研究的实际需求相结合,CrunchLLM既提供了一个方法论框架,也提供了一个实用工具。
具体来说,我们将CrunchLLM定义为一个多任务框架,它实现了两个功能不同的目标:(i) 区分性结果预测 ,将初创公司概况映射到成功与否的二元标签,并通过L cls (公式4)进行优化;以及(ii) 语义验证生成 ,将相同的概况映射到可变长度的自然语言序列,并通过L just (公式5)进行优化,条件是y cls (公式5)。尽管这些目标共享一个通用的Transformer框架,但它们的优化行为有很大不同:分类分支通过单个离散预测令牌积累梯度,鼓励形成决策边界;而生成分支则在整个令牌序列上积累梯度,鼓励逻辑一致性和基于证据的生成。因此,联合学习是必不可少的,因为生成目标充当了一个自我验证 的结构化规范器。通过将L just 条件化y cls ,模型在预测标签无法被相应的验证结果一致支持时会产生额外的损失。这种耦合抑制了捷径学习,并通过鼓励基于输入特征的验证来减少生成不受支持或幻想性推理轨迹的情况。正式目标在第3.4.3节中提出。
简而言之,我们的主要创新和贡献包括以下内容:
• 我们提出了CrunchLLM,这是一个基于LLM的适应性框架,用于从Crunchbase数据预测初创公司的成功,它将结构化的业务属性与非结构化的公司叙述相结合。
• 我们引入了一个自我验证的多任务目标,在该目标中,验证损失明确依赖于预测标签,从而在训练时对分类起到约束作用。
• 我们设计了一种分层排序的多模态提示策略,将结构化的业务属性与非结构化的公司叙述相结合,同时减少了异构初创数据中的模态忽视问题。
• 我们开发了一个领域适应型流程,结合了参数高效的微调和提示优化,用于创业和创新任务,其中通用LLMs在没有领域对齐的情况下往往表现不佳。
• 我们展示了CrunchLLM在我们的Crunchbase基准测试上取得了最先进的结果,在统计上显著优于仅基于表格、仅基于文本和通用LLM的基线(成对的t
p < 0.01 ),同时生成了人类可读的推理轨迹,提高了投资、研究和政策应用的可解释性。
部分片段 大型语言模型 在参数和训练语料库方面扩展LLMs已经解锁了新的推理能力,并在各种下游任务中实现了稳健的性能[12]、[13]。像GPT-3、PaLM和GPT-4这样的模型已被应用于从自然语言理解到推理和决策支持的各个领域[6]、[7]。最近的开源模型,包括LLaMA和DeepSeek,进一步扩展了对具有竞争性推理能力的基础模型的访问
数据集收集和预处理 本研究使用的数据集来自Crunchbase数据库[1],这是一个广泛认可的提供私营和公共公司业务信息的平台,包括创始人、高管、投资者和融资活动的详细信息。对于这项研究,我们申请并获得了访问Crunchbase数据库的权限。我们使用了2025年6月11日检索到的数据库版本,并获得了授权的研究许可。我们开发了一个严格的数据构建流程来
技术框架 为了确保我们的结果可复制,并为不同架构之间的比较提供标准化基础,本节详细介绍了CrunchLLM所采用的配置、优化策略和训练协议。
模型评估 我们有意涵盖了从10亿到80亿参数的各种开放权重LLMs,以研究准确性、可解释性和计算/内存成本之间的权衡。所有选定的模型都拥有成熟的生态系统支持,并允许进行参数高效的微调(PEFT;例如,LoRA/QLoRA [10]、[11]),从而可以在普通的GPU上实现可复制的适应。通过包括“经典”和最近的模型系列,我们可以评估由于现代预训练、分词和指令调整带来的收益,同时保持
提示优化的影响 我们系统地评估了四种提示变体,从基本指令(Prompt V1)到完全优化的格式(Prompt V4),比较了它们对预测和验证性能的影响。图4中呈现出一个清晰的趋势:随着提示设计的改进,模型在各个方面都表现更好。优化后的提示(Prompt V4)在分类任务上提供了最佳的F1分数和准确率,比初始提示(Prompt V1)高出超过5%的绝对F1分数
讨论、意义、局限性和未来工作 CrunchLLM提供了数据驱动的解释,我们的解释模块一致地强调了三个作为初创公司成功最强相关因素的信号:(i) 融资水平 ,(ii) 投资者数量 (联合投资的广度),以及(iii) 执行团队规模 。接下来,我们将讨论为什么这些因素可能很重要,并概述其影响。结论 我们提出了CrunchLLM,这是一个针对Crunchbase数据的领域适应型大型语言模型框架,用于预测初创公司的成功。通过结合结构化的公司属性和非结构化的文本叙述,并采用参数高效的微调和提示优化,CrunchLLM显著优于传统的机器学习基线和未经调整的LLMs。这项工作的一个关键贡献是整合了自我验证学习和分层输入结构化
CRediT作者贡献声明 Rabeya Tus Sadia: 撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理。Qiang Cheng: 撰写——审阅与编辑、监督、软件、资源、项目管理、调查、概念化。
利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢 作者感谢Andrew Cheng(卡内基梅隆大学)和Qiang Ye(肯塔基大学)在修订阶段就自我验证学习的理论框架和定理1的形式证明所提供的深刻讨论和智力贡献。这项研究部分得到了NSF (资助号IIS 2327113和ITE 2433190)和NIH (资助号R21AG070909和P30AG072946)的支持,以及国家人工智能研究资源
Rabeya Tus Sadia 目前在美国肯塔基大学攻读计算机科学博士学位,她在内科医学系的生物医学信息学部门担任研究生研究助理。她的研究领域包括生成式AI、扩散模型、因果感知学习以及用于生物医学、空间组学和结构化现实世界数据的多模态大型语言模型(LLMs)。她已在包括KDD在内的领先期刊上发表了研究成果