由人工智能生成的、具有生物技术领域专家特质的智能体：对新兴技术及其未来发展方向的德尔菲评估

《TECHNOLOGICAL FORECASTING AND SOCIAL CHANGE》：AI-generated agents with expert personas in biotechnology: Delphi evaluation of emerging technologies and future trajectories

　　李海云|李珠贤|杨海英
韩国科学技术院信息与应用代理研究中心，大韩民国

**摘要**
随着技术的快速发展，人们对高效评估和预测未来技术的方法需求日益增长。本研究提出了一种新型的德尔菲调查方法，该方法利用由大型语言模型（LLMs）支持的AI生成的专家代理。这些代理模拟跨学科专家小组，通过迭代讨论来评估新兴技术的发展阶段，并通过与外部知识源的整合提高了评估的可靠性。本研究探讨了三个研究问题：（1）AI生成的代理能否通过将历史预测与当前现实情况进行对比，准确评估十年前预测的技术？（2）它们能否在跨时间背景下使用一致的评价方法，可靠地评估最近预测的新兴技术？（3）它们能否通过综合技术路径并识别创新机会来预测下一代技术？实验使用了2012年和2021年的两份生物技术清单进行。结果表明，AI代理能够准确识别出已经商业化的技术和仍处于开发中的新技术。此外，这些代理还识别出了下一代技术，例如体内基因编辑和AI增强的多模态成像。这些发现展示了AI生成的专家代理在支持可扩展、低成本的技术预测方面的潜力。通过对之前评估过的技术进行再训练，可能会进一步提高它们的预测能力，从而与未来的创新更加紧密地对齐。

**1. 引言**
技术的快速发展和持续创新强调了准确评估和预测各个领域（包括企业、政府和学术界）未来进步的重要性。随着融合技术的兴起，不同领域之间的界限变得越来越模糊，技术评估和预测的需求对于有效的研发（R&D）规划变得越来越关键。特别是生物技术、医疗技术和人工智能（AI）的进步速度前所未有的快，这使得可靠的评估和预测成为制定有效研发策略的必要条件。Cohen等人（2021年）指出，技术评估和预测应该从多维度进行，不仅要考虑技术进步的潜力，还要考虑其社会和经济影响、市场接受度以及法律含义。精确的评估和预测方法是支持确定企业研发投资优先级决策过程的重要工具。政府依靠技术评估和预测来制定提高国家竞争力的技术政策。此外，公司利用这些方法来认识自身的优势并评估竞争对手的弱点。研究机构利用技术评估和预测来确定学术研究方向和识别突破性的研究课题。

Dalkey和Helmer（1963年）将德尔菲调查定义为一种结构化的方法，通过反复对相关领域的专家进行调查来收集个人意见，最终通过统计分析得出共识。它也被描述为一种运用专家群体集体智慧的方法（Rowe和Wright，2011年）。多年来，德尔菲方法已经被有效地应用于各个领域的技术评估和预测。然而，Hasson等人（2000年）指出了一些局限性，包括选择专家小组、设计问卷和管理重复反馈过程所需的大量时间和成本。此外，当专家位于不同地理位置时，促进快速高效的意见交流仍然是一个挑战。根据Winkler和Moser（2016年）的说法，德尔菲方法涉及多轮调查，在此过程中，专家可能会因为疲劳而退出，或者他们的意见在共识形成过程中变得过于趋同或两极分化，从而导致潜在的偏见。

近年来，大型语言模型（LLMs）如GPT-4和Claude的发展为克服德尔菲调查通常面临的时间和成本限制提供了新的机会。Brown等人（2020年）解释说，LLMs是基于深度神经网络的AI模型，经过大量文本数据训练，使它们能够获取知识并发展出与人类专家相当的逻辑推理和信息收集能力。特别是GPT类型的LLMs可以在不同领域迅速获得专业知识。Bhandari等人（2025年）指出，AI生成的专家代理在需要速度和一致性的任务中表现出了显著的改进，尤其是在短时间内处理大量信息方面。生成的专家角色旨在代表多样化的特征，包括：（1）不同的机构隶属关系（学术界、工业界、政府和投资行业）；（2）六大类型专家的专业多样性（生物技术研究员、行业专家、临床专家、政策专家、投资专家和技术分析师）；（3）不同的经验年限（10-30年）；以及（4）年龄（35-58岁）和性别的多样性。这些特征是根据传统的德尔菲调查最佳实践选定的，以最小化偏见并确保全面的领域覆盖。

**2. 文献综述**
2.1. 大型语言模型和专家代理
LLMs，包括OpenAI的GPT系列及其类似框架，彻底改变了人们对类似人类专业知识和决策过程的理解和模拟。这些模型提升了模拟专家代理的能力，这些代理是能够生成见解、进行评估和解决复杂问题的AI驱动实体。最近的研究强调了它们的可扩展性和成本效益，作为传统专家咨询的替代方案。例如，Jiang等人（2023年）探讨了LLMs展示个性特征的能力，展示了它们在模拟针对特定领域定制的多样化角色的适应性。Choi和Li（2024年）开发了利用上下文学习从LLMs中提取细微行为的技术，增强了AI生成角色的真实感和深度。Liu等人（2024年）还展示了LLMs模拟集体智能的能力，他们研究了多专家提示以改进决策过程的可靠性和安全性。

LLMs的应用还扩展到了民主化专家知识。Xu等人（2024年）表明，LLMs通过向代表性不足的社区和小型组织提供高质量的评估，弥合了可访问性差距，促进了决策过程中的包容性。这些发展突显了LLMs在促进创新和拓宽专家级见解获取方面的变革潜力。尽管有这些优势，但仍存在挑战。LLM生成输出的可解释性有限以及强化偏见的风险是需要关注的关键问题。Araujo和Roth（2024年）分析角色如何影响LLM行为的工作强调了防止误用的必要措施。这些发展表明，尽管LLMs提供了无与伦比的机会，但确保透明度和道德使用对其整合到专家驱动的方法中至关重要。

2.2. 德尔菲调查和技术评估
德尔菲调查是一种结构化的沟通过程，传统上一直是专家驱动评估和预测的基石。这种方法依靠多轮调查来实现专家之间的共识，因此在评估新兴技术和预测未来趋势方面具有重要价值。最近的方法学工作正式化了德尔菲设计的准备、执行和分析阶段，指定了共识阈值和结构化反馈协议（Beiderbeck等人，2021年），当这些过程在AI中介环境中实施时，这种架构变得至关重要。

将LLMs整合到德尔菲过程中代表着一个重大进展，解决了后勤和成本相关挑战，同时保持了方法学的严谨性。Khodyakov等人（2023年）强调了AI驱动小组在克服地理和时间限制的同时模拟人类专业知识的能力。这种可扩展性在Okoli和Pawlowski（2004年）的研究中得到了进一步展示，他们将德尔菲方法适应于通过结构化预测机制进行技术评估。这些研究展示了使用先进方法来增强评估有效性的做法，现在通过基于LLM的方法得到了简化。

最近的进展表明，LLMs有潜力减轻传统德尔菲小组中固有的偏见。Liu等人（2024年）引入了多专家提示技术，生成了多样化和平衡的评估，而Hasson和Keeney（2011年）强调了保持可信度的重要性。Niederberger和Spranger（2020年）绘制了德尔菲在健康科学中的应用图谱，强调了其在各种领域的适应性，这种适应性通过AI集成得到了进一步增强。全球治理中的实证德尔菲应用表明，在不确定性下进行稳健的预测取决于仔细指定的共识指标和结构化的互动规则（Beiderbeck等人，2023年），这一原则在AI生成的多代理系统中同样重要。然而，诸如幻觉效应和AI来源参考的可靠性等挑战仍然值得关注。为解决这些问题，人们尝试实施透明的反馈循环并将AI输出与经过验证的数据源进行交叉引用。Green等人（2007年）将德尔菲调查与预测市场进行了比较，强调了它们在技术预测方面的互补优势。Prokesch等人（2015年）展示了将预测市场与德尔菲结合以增强预测系统的有效性。Yang等人（2024年）认为，多个代理可以通过集体讨论来校准它们的信心，这样的互动共识构建过程产生的信心估计比单一代理产生的更为可靠。Kitadai等人（2025年）强调，在消除年龄和性别等人口统计特征的同时提高AI生成代理的推理能力会导致它们与人类行为有所不同。Fontana等人（2025年）使用行为经济学中定义的五个行为维度量化了AI生成角色的行为，他们的实验表明，AI生成的角色在合作互动中表现出比人类更高的合作水平。

结合AI生成代理的优势和德尔菲调查的结构化方法，为评估技术趋势提供了强大的工具。这为更加包容、高效和可靠的预测机制铺平了道路，确保技术评估能够跟上现代时代的快速进步。基于这些见解，需要设计包含AI生成代理的德尔菲调查，这些代理的角色包括人口统计特征，其类人类行为和信心是通过结构化的群体互动和共识过程形成的。

2.3. 在新兴技术预测中的应用
LLMs在预测新兴技术中的应用改变了识别和评估未来趋势的方式。这些系统在评估技术的发展阶段方面表现出色，从研发到商业化，为潜在创新提供了关键见解。Su等人（2024年）回顾了基于LLM的预测和异常检测框架，强调了它们在识别跨行业变革性趋势中的作用。LLM驱动的预测的最新进展还强调了它们处理大量数据集和生成可操作预测的能力。Halawi等人（2024年）探讨了LLMs如何通过模拟复杂的决策策略来达到人类水平的预测。Pratt等人（2024年）研究了LLM生成的预测与既定人类方法的匹配程度，强调了它们在预测市场动态方面的可靠性。

德尔菲调查与LLM能力的结合进一步增强了预测应用。Gordon和Pease（2006年）引入了由AI支持的实时德尔菲小组，简化了迭代调查并加快了共识构建过程。Keller和von der Gracht（2014年）展示了信息和通信技术（ICT）支持的预见工具如何集成LLMs以提高预测的效率和准确性。在生物技术、可再生能源和AI等领域的新兴应用展示了LLMs的多功能性。Gruetzemacher等人（2020年）提出了利用LLMs预测AI发展的研究议程。Green等人（2007年）将德尔菲调查方法与预测市场进行了比较，强调了它们在技术预测方面的互补优势。这些发现表明，LLM驱动的系统对于战略规划和创新管理是不可或缺的。

尽管取得了这些进展，但在确保AI驱动预测的有效性和透明度方面仍存在挑战。解决这些问题的努力包括将LLM输出与经过验证的数据集进行交叉引用，并实施伦理框架来指导其在高风险应用中的使用。Prokesch等人（2015年）展示了将预测市场与德尔菲结合以增强预见能力的有效性，提供了一个整合多种方法的模型以克服固有局限性的模型。### 动机与研究问题

本研究提出了一种基于人工智能生成的代理的Delphi调查方法，用于技术评估和预测。传统的Delphi调查依赖于人类专家小组，这使得调查的成本高昂且耗时较长。最近在人工智能生成代理方面的进步使得能够创建出能够参与结构化、多代理互动的多样化专家角色。在本研究中，使用人工智能生成的代理来创建这些专家角色，以模拟多学科专家小组的集体智慧。这些代理参与迭代的评估、改进和收敛过程——这反映了Delphi调查的基本特征。此外，还整合了外部知识来源以提高可靠性。通过这些完善的评估结果，进而可以得出下一代技术的预测。

为了明确本研究的分析重点，研究问题被分为三个核心能力，这些能力是人工智能生成代理的Delphi调查所必需的：历史理解能力、当代评估能力和预测前瞻能力。

- **RQ1：历史理解能力**
- 人工智能生成的代理能否准确评估十年前被预测为“新兴技术”的技术的演变和当前发展阶段，从而证明它们能够将历史预测与现实情况进行对照？
- （意义）这有助于确定人工智能生成的代理是否可以通过将过去的预测与当前的技术成熟度进行比较来回顾性地验证其理解能力。

- **RQ2：当代评估能力**
- 如果代理具备历史理解能力（RQ1），它们能否可靠地评估最近预测的新兴技术的发展阶段，并在不同时间背景下展示出一致的评估方法？
- （意义）这测试了人工智能生成代理的评估能力在不同时间范围内的普遍性和一致性。

- **RQ3：预测前瞻能力**
- 在验证了历史理解能力（RQ1）和当代评估能力（RQ2）的基础上，代理能否通过综合对技术轨迹的理解并识别新兴创新机会来预测下一代技术？
- （意义）这展示了人工智能生成代理在前瞻性战略技术规划中的实际应用价值。

### 研究设计

图1展示了本研究中提出的方法，该方法分为三个步骤实施。第一步是使用大型语言模型（LLM）生成专家代理。生成的专家角色旨在代表特定领域内不同年龄、职业和专业背景的多样化人群。第二步是使用这些人工智能生成的代理进行Delphi调查。生成的代理通过多轮Delphi调查来评估每种技术的发展阶段。这些技术的发展阶段从仍处于研发阶段的技术到已经在市场上实现商业化的技术都有涵盖。第三步是预测下一代技术。具有专家角色的人工智能生成的代理通过进行Delphi调查来评估特定领域的技术发展阶段。已经评估过技术发展阶段的专家角色将预测下一代技术。这些预测有助于发现新的研发机会和商业模式。因此，所提出的方法可用于评估现有技术的发展阶段并预测未来技术。

#### 下载：
- 下载高分辨率图片（451KB）
- 下载全尺寸图片

图1. 研究设计流程图。

#### 4.1 第一步：使用LLM生成专家代理

在本研究中，“角色”是指使用LLM生成的人工智能生成的个性。最近，由LLM生成的角色已经针对各种应用进行了微调，提高了文本生成的性能。一种常见的方法是为代理分配一个特定的角色。特别是，这些角色被用来复制人类的集体智慧。例如，角色可以用来收集对新产品的意见。分配的角色可以设计成代表不同的性别、年龄组和性格特征。换句话说，LLM生成的角色可以应用于各个行业。专家角色可以通过替代真实人类专家的角色来节省时间并降低成本。

生成专家角色的一个关键因素是确保使用的LLM准确理解使用角色的目的。因此，可以保证角色的灵活性。当专家角色被分配给进行Delphi调查以评估技术发展阶段的AI代理时，LLM必须完全理解Delphi调查的过程。因此，创建专家角色的过程首先是从确保LLM理解Delphi调查过程开始的。首先，LLM被要求研究Delphi调查是什么，以获得对其的全面了解。然后，它被指导制定一个组织专家团队参与Delphi调查的策略。在Delphi调查中，多位专家分享他们的意见以减少偏见并客观达成共识。创建具有不同年龄、职业、经验和背景的专家角色，以符合Delphi调查的性质。

传统上，Delphi调查涉及在领域内识别专家群体、邀请专家并实施调查。然而，这一系列步骤既耗时又昂贵。在本研究中，使用LLM在各种技术领域生成专家角色，将它们分配给特定的代理，并使用这些角色进行Delphi调查。

#### 4.2 第二步：基于具有专家角色的人工智能生成的代理的Delphi调查

所提出的方法涉及使用具有专家角色的人工智能生成的代理进行Delphi调查，以评估技术发展阶段。技术发展包括从研发到商业化的各个阶段。表1列出了用于技术评估的七个阶段。S1–S3对应于实验室阶段。S1表示技术实现尚未临近的阶段；S2表示技术实现即将到来的阶段；S3表示技术几乎完善的阶段。

表1. 技术发展阶段列表

| 类型 | 阶段 | 描述 |
| --- | --- | --- |
| 实验室阶段 | S1 | 需要相当长的时间才能实现技术 |
| 实现临近阶段 | S2 | 技术实现即将发生 |
| 技术实现阶段 | S3 | 技术已经实现 |

S4–S7代表商业化阶段，其中S4和S5反映商业化成熟度，而S6和S7表示技术市场的扩展。总之，与S4相比，S5中的技术具有更高的商业化可能性；而S7则表示技术市场正在萎缩。

所提出的方法包括在具有专家角色的代理之间进行Delphi调查，利用这七个技术发展阶段。Delphi调查重复进行了n轮。在第一轮中，代理评估了每种技术的发展阶段。从第二轮开始，代理根据其他代理的反馈重新评估发展阶段。通过重复这些步骤来进行Delphi调查。

表2列出了用于询问代理技术发展阶段的提示。提示按照以下顺序输入代理：[提示内容]。

[示例]：
```python
[提示内容]
您是2024年的技术评估领域的专家。以下是您的个人资料：{EXPERT_INFO}
请评估以下过去预测的新兴技术。请根据七个评估标准中的哪一个来评价这些技术属于哪个阶段。### 七个评估标准：###
1. **1：需要很长时间才能实现技术**
2. **2：技术实现即将来临**
3. **3：技术已经实现**
4. **4：社会商业化的早期阶段**
5. **5：商业化扩展阶段**
6. **6：技术市场饱和阶段**
7. **7：技术市场萎缩阶段**
### 指示：**
请根据所提供的七个评估标准中对技术进行评分。然后，用3-10句话解释您的评估，并提供支持您评估的参考资料。请包括不超过5个参考资料来源，并尽可能提供URL链接。以下仅为示例，不要考虑内容的适当性，只需关注答案的格式。**

[示例]：
#### 技术名称 ####
**评估**：4
**解释**：合成胚胎的评估一直显示出它们在推进发育生物学、再生医学和遗传学研究方面的巨大潜力。由于合成胚胎允许在不受传统胚胎研究伦理问题的影响下研究早期发育过程，因此它们为理解先天性疾病和不孕症治疗提供了一种更加灵活和可扩展的方法。此外，随着复制早期人类发育阶段的进步，这项技术为组织工程和新治疗方法的开发打开了新的可能性。对合成胚胎研究的持续进展和投资强调了其在研究和临床应用中的变革性影响。

[参考资料]：
1. Warmflash, A., Sorre, B., Etoc, F., Siggia, E. D., & Brivanlou, A. H. (2014). 一种在人类胚胎干细胞中重现早期胚胎空间模式的方法。《自然方法》，11(8)，847–854。[链接](https://www.nature.com/articles/nmeth.3016)
2. Rivron, N. C., Frias-Aldeguer, J., Vrij, E. J., et al. (2018). 仅从干细胞生成的类囊胚结构。《自然》，557(7703)，106–111。[链接](https://www.nature.com/articles/s41586-018-0051-0)
3. Harrison, S. E., Sozen, B., Christodoulou, N., Kyprianou, C., & Zernicka-Goetz, M. (2017). 在体外模拟胚胎发生过程的胚胎和胚外干细胞组装。《科学》，356(6334)，eaal1810。[链接](https://www.science.org/doi/10.1126/science.aal1810)

为了减少代理之间的幻觉，进行了三项不同的实验，每项实验使用了一种不同的方法。测试1是在不使用特定提示的情况下进行Delphi调查。每次评估至少需要五个参考URL作为支持证据。随着轮次的进行，使用前一轮代理的评估结果作为重新评估的输入。测试2在测试1中加入了“根据维基百科”的方法。代理被指示在提供技术发展阶段评估的理由时参考维基百科。测试3应用了检索增强生成（RAG）方法。提取与所评估技术相关的维基百科文章并转换为向量数据库。包含了“基于用户提供的信息”这样的短语，以鼓励代理参考维基百科。因此，具有专家角色的代理预计会通过考虑前一轮其他代理的回答和维基百科的内容来客观评估技术发展阶段。

#### 4.3 第三步：下一代技术预测

所提出的方法利用具有专家角色的人工智能生成的代理来确定技术属于七个发展阶段中的哪一个。在Delphi调查的每个阶段，具有专家角色的代理会收到之前其他代理评估的技术发展阶段，并被要求据此更新他们的评估意见。这种方法不是对技术发展进行一次评估后就终止整个过程，而是通过整合其他专家角色的反馈来增强评估意见。重复的德尔菲调查使得专家角色的意见能够得到改进和收敛。通过这一过程，代理可以全面了解技术的特性和发展阶段。随后，具有专家角色的代理可以根据对技术发展趋势的全面理解来预测下一代技术。表4展示了用于预测下一代技术的提示语。这些提示语包括<指令>。其中<指令>指的是专家角色的概况。<指令>通过引用德尔菲调查确定的<技术>的技术发展阶段，概述了预测下一代技术的问题。<指令>中，专家角色会收到<组合反馈>或德尔菲调查的结果，并被要求预测下一代技术。

4.4. 具有专家角色的AI生成代理的验证标准
为了严格评估所提出方法是否能够解决三个研究问题，需要建立一种验证结构来检验代理判断的方法论合理性。本研究采用了一组验证标准，以评估代理生成评估的稳定性和证据基础。为了实施这种方法，本研究采用了两个补充验证标准：证据有效性和收敛有效性。每个标准评估了值得信赖的技术评估所需的方法论严谨性的不同维度。证据有效性评估代理引用的外部资源（如URL或引用）是否可信、可验证，并且与防止分析完整性受损的幻觉或不可靠证据相关。收敛有效性检查代理的判断在多次德尔菲轮次中是否趋于稳定，反映了传统德尔菲过程中形成的预期共识动态。这两个标准共同为评估可靠性提供了全面的基础。表5总结了每个验证标准如何支持这三个研究问题。证据有效性在RQ3中起着核心作用，它确认了下一代技术的预测是基于可信和可验证的信息。收敛有效性通过确保代理的判断来自稳定的多轮共识形成，而不是随机输出，从而支持所有三个RQ。

5. 实验与结果
本实验旨在确定所提出方法的可行性。实验按以下顺序进行：生成专家角色，使用具有专家角色的AI生成代理进行德尔菲调查，以及预测下一代技术。为了确保专家角色对技术有深入了解，进行了三种类型的测试，并分析了每种测试的优点和缺点。同时 also 评估了专家角色提出的下一代技术的有效性。

5.1. 实验设置
在实验中，使用LLM生成了生物医学领域的专家角色，并利用这些专家角色进行了德尔菲调查来评估生物医学技术。生物医学技术被分为两个列表。第一个列表TA包含了2012年预测的10项新兴技术（Choi, 2012）。第二个列表TB包含了2021年预测的10项新兴技术（Jeong et al., 2020）。这两个技术列表都是根据大量专家的意见，由科学信息通信部（MINISTERIO DE CIENCIA Y TIC）和韩国科学技术评估与规划院（Instituto Coreano de Evaluación y Planificación de Ciencia y Tecnología）预测的新兴技术。表6展示了2012年和2021年预测的新兴技术列表。实验将所提出的方法应用于这两个技术列表。2012年的新兴技术列表(TA)用于确定专家角色是否能够通过比较之前的预测技术与当前技术趋势来准确评估技术的发展阶段。2021年的新兴技术列表(TB)用于确定专家角色是否能够根据当前技术趋势评估最近开始受到关注的技术。表中的“Tid”代表每项技术的唯一标识符。

图2展示了如何通过系统化的提示生成多样化且领域适宜的专家角色。表示机构隶属关系、经验水平和专业化的差异，可以减少偏见并增强模拟德尔菲小组的内部一致性。

实验过程如下：
- 第1步：使用AI生成的具有专家角色的代理通过德尔菲调查来评估生物医学技术的发展阶段。
- 第2步：生成的专家代理进行德尔菲调查，并进行以下三项测试，以评估2012年预测的10项新兴技术和2021年预测的10项新兴技术的发展阶段。
- 第2步 - 测试1：基础德尔菲调查的实验
- 第2步 - 测试2：使用“根据维基百科”方法的实验
- 第2步 - 测试3：使用RAG方法的实验
- 第3步：具有专家角色的AI生成代理根据他们对技术发展阶段的评估结果来预测下一代技术。

测试1作为基础实验，用于评估进行基本德尔菲调查的可行性。测试2的结构与测试1类似，但增加了“根据维基百科”这一表述，以提高代理的可靠性。测试3旨在通过创建技术参考的向量数据库来提高代理的可靠性。测试3旨在验证代理是否能够基于通过先前测试获得的对技术的全面理解来预测下一代技术。一旦确立了下一代技术的相关性，就可以确保使用代理进行的预测的有效性。实验使用了GPT-4（以下简称“GPT”）和Claude-3.5-Sonnet-20,240,620（以下简称“Claude”）作为LLM。GPT用于生成专家角色；其余实验过程使用了GPT和Claude进行比较。

选择来自不同时间点（2012年和2021年）的两个技术列表，是为了提供互补的验证视角，以解决AI生成代理评估能力的不同方面。2012年的技术列表(TA)允许进行回顾性验证——这对于评估预测方法的可靠性是一个关键优势。由于这些技术是在十多年前被预测为“新兴技术”的，现在可以观察到它们的当前发展状态，因此我们可以验证AI生成的代理是否能够通过将2024年的评估与实际市场结果进行比较来准确评估技术成熟度。这种回顾性验证方法提供了纯粹的前瞻性研究无法实现的实证基础。我们不仅可以验证代理产生了合理的评估，还可以验证这些评估与随着时间发展而演变的技术现实相一致。

2021年的技术列表(TB)具有补充作用，用于测试代理评估发展轨迹尚不确定的新兴技术的能力。例如TB1（电子人工脑）、TB3（抗衰老细胞重编程）和TB8（定制基因疗法）等技术代表了前沿研究领域，在这些领域，即使是人类专家也对商业化时间和技术可行性存在很大不确定性。评估最近的预测可以确定代理是否能够适当地表达不确定性，区分实验室阶段和早期商业化技术，并在尚未观察到明确结果时保持评估一致性。回顾性验证(TA列表)和当代评估(TB列表)的结合也提供了双重证据。首先，代理能够将过去的预测与当前现实进行准确对比；其次，它们无论与训练数据的时间距离如何，都对新兴技术应用了一致的评估框架。这种双队列设计增强了信心，表明观察到的表现反映了真实的评估能力，而不仅仅是记忆了有记录的历史结果。

这三个实验测试被设计为逐步的基线比较，以系统地评估不同的知识整合策略如何影响代理的评估可靠性。测试1建立了我们的主要基线，代表了一种“天真”的方法，其中代理仅依赖训练数据中的参数记忆来进行德尔菲调查，没有外部知识基础或专门的指导。这种基本调查反映了仅使用结构化提示（人物定义、评估标准和迭代反馈）的基于LLM的德尔菲方法的最小能力。测试2通过添加“参考维基百科进行解释”的明确指令引入了一种中间策略，测试简单的来源指示是否可以在不需要向量数据库基础设施的情况下提高可靠性。测试3实施了带有元数据增强向量数据库的完整RAG，代表了在我们的实验范围内可行的最大知识整合方法。这种从无外部知识（测试1）到指导性引导（测试2）再到结构化检索（测试3）的逐步设计，使得能够系统地评估日益复杂的知识整合策略如何影响评估质量、参考有效性和共识稳定性。

表7比较了本研究中使用的两种LLM的技术规格：GPT-4o和Claude 3.5 Sonnet。这两个模型在架构和操作设计上有所不同，GPT-4o采用了基于变换器的多模态结构，而Claude则采用了优化了安全性和对齐性的框架。训练数据的截止日期（GPT-4o为2023年10月，Claude为2024年4月）表明了知识时效性的轻微差异，而Claude较大的上下文窗口（200,000个标记）可能影响其在多轮德尔菲调查中保持一致性的能力。这两种模型都在0.7的温度设置下运行，以平衡确定性和变异性。这些技术差异有助于理解实验中观察到的证据和收敛有效性之间的差异。

表7. 本研究中使用的AI模型的技术规格：
| 规格 | GPT-4o | Claude 3.5 Sonnet |
|-------------|---------------------|----------------------|
| 模型架构 | 基于变换器的多模态模型 | 基于宪法的AI，具有增强的安全对齐 |
| 训练数据截止日期 | 2023年10月 | 2024年4月 |
| 上下文窗口 | 128,000个标记 | 200,000个标记 |
| 温度设置 | 0.7 | 0.7 |
| API版本 | GPT-4o-2024-08-06 | Claude-3.5-Sonnet-20,240,620 |接下来，为24位专家创建了人物角色（personas），每种类型有4位专家。表8列出了实验中使用的专家人物角色的信息。在表格中，“Eid”和“YoE”分别代表专家人物角色的唯一标识符和他们的工作经验年份。专家人物角色的平均工作经验为18.625年。

表8. 实验中使用的专家人物角色列表。

| Eid | 年龄 | 性别 | 职位 | 所属机构 | 平均工作经验（年） |
|--------|---------|--------|---------|-------------|
| E1 | 42 | 女性 | 遗传学教授 | 哈佛医学院 | 18 |
| E2 | 38 | 男性 | 高级研究员 | 麻省理工学院生物工程系 | 15 |
| E3 | 45 | 女性 | 主要研究员 | 牛津大学 | 20 |
| E4 | 50 | 男性 | 纳米技术教授 | 东京大学 | 25 |
| E5 | 52 | 男性 | 研发副总裁 | 辉瑞公司 | 30 |
| E6 | 40 | 女性 | 全球营销总监 | 美敦力公司 | 17 |
| E7 | 48 | 男性 | 首席执行官 | 生物技术风险投资公司 | 25 |
| E8 | 35 | 女性 | 创新中心主任 | 强生公司 | 12 |
| E9 | 58 | 男性 | 首席临床研究员 | MD安德森癌症中心 | 30 |
| E10 | 44 | 女性 | 神经学教授 | 斯坦福大学 | 20 |
| E11 | 50 | 男性 | 高级心脏病专家 | 克利夫兰诊所 | 25 |
| E12 | 38 | 女性 | 高级研究员 | 世界卫生组织疫苗研究所 | 15 |
| E13 | 48 | 女性 | 高级政策分析师 | 美国食品药品监督管理局 | 20 |
| E14 | 55 | 男性 | 欧洲药品管理局副局长 | 25 |
| E15 | 45 | 男性 | 高级顾问 | 日本卫生部 | 20 |
| E16 | 36 | 女性 | 政策分析师 | 世界卫生组织 | 12 |
| E17 | 50 | 男性 | Sequoia Capital合伙人 | 22 |
| E18 | 42 | 女性 | 生命科学投资主管 | 高盛公司 | 17 |
| E19 | 40 | 男性 | 投资组合经理 | Fidelity Investments | 15 |
| E20 | 35 | 女性 | 投资合伙人 | Andreessen Horowitz | 10 |
| E21 | 46 | 男性 | 高级分析师 | Frost & Sullivan | 18 |
| E22 | 39 | 女性 | 首席分析师 | Gartner | 12 |
| E23 | 41 | 男性 | 研究总监 | IDC | 14 |
| E24 | 37 | 女性 | 高级分析师 | Forrester Research | 10 |

5.3. 第二步的结果：基于AI生成的代理和专家人物角色的德尔菲（Delphi）调查

5.3.1. 测试1：基本德尔菲调查方法的实验

24位专家人物角色随后评估了TA和TB列表中的技术发展阶段。德尔菲调查共进行了三轮。在第一轮中，代理们评估了每项技术的发展阶段。在第二轮和第三轮中，根据其他代理的评估结果，重新评估了技术阶段。德尔菲调查的独特之处在于它允许多个专家人物角色交流和收集意见，以生成可靠的结果，这一过程是通过使用大型语言模型（LLM）实现的。

图3展示了TA和TB列表的测试1结果。红色圆圈和线条代表了GPT代理进行的每轮德尔菲调查的结果，而绿色三角形和线条表示Claude代理的结果。每轮的结果代表了所有24位专家人物角色的评估结果的算术平均值。

通过向专家人物角色提供第一轮和第二轮的结果，促使他们根据这些输入重新进行评估，从而得到了德尔菲调查的第二轮和第三轮结果。这种调查方式涉及专家之间的意见交流，通常会导致每轮评估结果的变化。TA和TB技术的测试1结果显示没有突然的变化。尽管专家人物角色的评估存在一些差异，但第一轮和第二轮之间的差异明显大于第二轮和第三轮之间的差异。特别是，在第二轮中，随着专家人物角色的意见交流，评估结果发生了较大调整，而在第三轮中变化较小。

例如，在GPT测试1中，TA列表中的10项技术的技术发展阶段的平均评估水平为3.0833，即被认为是“在实验室中技术实现”的阶段。然而，在第二轮之后，平均水平提高了0.9167，达到4.0000，表明处于“早期商业化阶段”。在德尔菲调查的第三轮中，技术发展阶段没有变化。相反，在Claude测试1中，评估结果基本保持不变，从第一轮的3.9167增加到第二轮和第三轮的4.0000。对于GPT测试1中的TB2技术，技术发展阶段在第一轮的平均评估水平为3.0417，第二轮增加到3.9583，第三轮达到4.0000。在Claude测试1中，评估结果在第一轮平均为3.6667，第二轮增加到4.0000，第三轮保持不变。总体而言，与Claude代理相比，GPT代理在各轮评估结果中的波动较大。Claude代理在第一轮中最初将技术发展阶段评估为更高级别，第三轮观察到的变化很小。

这一结果表明，代理们一致地将更高的成熟度评分分配给TA，平均分别为约4.2-4.5和3.4-3.6。这种时间上的分离展示了代理们对技术轨迹的情境化理解能力，支持了研究问题1（历史理解能力）和研究问题2（当代评估能力）。

图4展示了测试1三轮后的最终结果。图表顶部显示了GPT和Claude代理对TA技术的评估结果。结果相似，尽管Claude代理对某些技术（TA4、TA6、TA7和TA9）的评估处于更商业化的阶段。图表底部显示了GPT和Claude代理对TB技术的评估结果。在这种情况下，结果也相似，Claude代理对某些技术（TB1和TB3）的评估处于更商业化的阶段。总体而言，GPT和Claude代理得出了相似的评估结果，但Claude代理通常认为某些技术处于更高级别的发展阶段。在TA和TB技术的评估结果之间没有观察到显著差异。

然而，一些TA技术的发展阶段更接近商业化阶段，而某些TB技术更接近实验室阶段。这是合理的，因为TA和TB技术分别被预测为2012年和2021年的新兴技术。最终轮次的分数分布突出了技术水平的差异以及早期收敛模式的迹象。尽管GPT在轮次内的变异性略大，但GPT和Claude都趋向于相似的成熟度估计，表明基于人物角色的多代理系统即使在最小指导下也能表现出稳定的集体推理能力。

表9列出了各轮技术发展阶段评估的平均标准差，以评估收敛有效性。在GPT测试1中，TA技术的平均值从4.0083变为4.1625，然后变为4.1708，标准差的平均值从0.3417变为0.1384，最终变为0.0777。GPT代理对10项技术评估结果的差异逐渐缩小并趋于一致。在Claude测试1中，平均值从4.4958变为4.5458，然后变为4.5167，标准差的平均值从0.2173变为0.0819，然后变为0.0381。Claude测试1的结果显示10项技术的平均技术发展阶段更高，标准差的平均值更低，表明Claude代理之间的意见更加一致。在GPT测试1中，TB技术的平均值从3.0417变为3.3417，然后变为3.4042，标准差的平均值从0.4363变为0.0792，最终变为0.0204。在Claude测试1中，平均值从3.4958变为3.6000，然后变为3.6042，标准差的平均值从0.2233变为0.0000，然后变为0.0204。尽管TA技术的技术发展阶段没有显著差异，但它们的评估水平普遍较低。在Claude测试1的第二轮中，所有Claude代理对TB技术的评估都是一致的。

表9. 各轮技术发展阶段评估的平均值和标准差，以评估收敛有效性。

实验| 评估主题和代理 | 第1轮平均值 | 第2轮平均值 | 第3轮平均值 | 第1轮与第2轮的标准差差异 | 第3轮与第2轮的标准差差异 |
|------------|-----------|-----------|---------------|---------------------------|---------------------------|
| 2012年技术 | GPT测试1 | 4.0083 | 4.1625 | 0.154 | 0.0384 |
| | GPT测试2 | 3.9708 | 4.1958 | 0.225 | 0.0833 |
| | GPT测试3 | 4.5417 | 4.9583 | 0.4167 | 0.0417 |
| | Claude测试1 | 4.4958 | 4.5458 | 0.0500 | -0.0292 |
| | Claude测试2 | 4.4708 | 4.6250 | 0.1542 | 0.0819 |
| | Claude测试3 | 5.0000 | 5.0000 | 0.0000 | 0.0000 |
| 2021年技术 | GPT测试1 | 3.0417 | 3.3417 | 0.3000 | 0.0625 |
| | GPT测试2 | 3.1333 | 3.3542 | 0.2208 | 0.0333 |
| | GPT测试3 | 2.5833 | 2.5417 | -0.0417 | 0.0417 |
| | Claude测试1 | 3.4958 | 3.6000 | 3.6042 | 0.0000 |
| | Claude测试2 | 3.4458 | 3.4354 | -0.0104 | -0.0313 |
| | Claude测试3 | 3.3333 | 3.0833 | -0.2500 | 0.0000 |
| | GPT测试1 | 3.4958 | 3.6000 | 3.6042 | 0.0000 |
| | Claude测试2 | 3.4458 | 3.4354 | -0.0104 | -0.0313 |
| | Claude测试3 | 3.3333 | 3.0833 | -0.2500 | 0.0000 |

5.3.2. 使用“根据维基百科”方法的德尔菲调查实验

图5展示了TA和TB技术列表的测试2结果。红色圆圈和线条代表了GPT代理进行的每轮德尔菲调查的结果，绿色三角形和线条表示Claude代理的结果。在测试2中，当专家人物角色评估技术发展阶段并提供支持材料时，必须加入“参考维基百科进行解释”的要求。

图4展示了测试1三轮后的最终结果。图表顶部显示了GPT和Claude代理对TA技术的评估结果。结果相似，尽管Claude代理对某些技术（TA4、TA6、TA7和TA9）的评估处于更商业化的阶段。图表底部显示了GPT和Claude代理对TB技术的评估结果。在这种情况下，结果也相似，Claude代理对某些技术（TB1和TB3）的评估处于更商业化的阶段。总体而言，GPT和Claude代理得出了相似的评估结果，但Claude代理通常认为某些技术处于更高级别的发展阶段。在TA和TB技术的评估结果之间没有观察到显著差异。

“根据维基百科”的方法提高了代理们的历史理解能力（RQ1）和当代评估能力（RQ2）。具体来说，GPT和Claude代理都认为TA2技术处于比测试1中更商业化的技术发展阶段。相反，Claude代理认为TB2和TB5的技术发展阶段比之前的测试更低。这一模式表明，“根据维基百科”的方法增强了代理们区分早期预测的技术（TA技术）和最近预测的技术（TB技术）的能力，从而提高了他们对技术发展轨迹的理解。

在GPT测试2中，TA技术的平均值从3.9708变为4.1958，然后变为4.2792，标准差的平均值从0.5215变为0.1250，最终变为0.0415（表9）。GPT代理对10项技术评估结果的差异逐渐缩小并趋于一致。在Claude测试2中，平均值从4.4708变为4.6250，然后变为4.6333，标准差的平均值从0.1774变为0.0981，然后变为0.0482。Claude测试1的结果表明10项技术的平均技术发展阶段更高，标准差的平均值更低，表明Claude代理之间的意见更加一致。在GPT测试2中，TB技术的平均值从3.1333变为3.3542，然后变为3.3875，标准差的平均值从0.4906变为0.0779，最终变为0.0686。在Claude Test 2中，平均水平从3.4458下降到3.4354，然后又下降到3.4042，每个技术发展阶段的评估结果都显示出逐渐下降的趋势，这与GPT Test 2的结果形成对比。标准差的平均值从0.2467下降到0.1197，然后下降到0.0769，表明Claude代理之间的意见趋于一致。5.3.3. Test 3：结合RAG方法的Delphi调查实验图7显示了TA1和TB3技术的Test 3结果。红色圆圈和线条代表GPT代理进行的每一轮Delphi调查的结果，而绿色三角形和线条表示Claude代理的结果。Test 3在基础Delphi调查中整合了RAG方法，要求代理评估技术发展阶段并提供通过RAG方法处理的参考资料作为支持。RAG收集了关于技术的Wikipedia文章以创建向量数据库，并将其提供给代理作为参考来源。除了TA1和TB3之外，大多数其他技术的Wikipedia搜索结果都很有限。因此，Test 3仅针对具有超过500篇相关文档的TA1和TB3进行了应用。在生成向量数据库时，文档标题和URL被作为元数据包含在其中。这确保了代理在从向量数据库中检索TA1和TB3的技术信息时能够准确提供文档URL。下载：下载高分辨率图像（174KB）下载：下载全尺寸图像图7. Test 3中AI生成的代理在每一轮的专家角色评估结果。Test 3的结果显示，GPT代理对TA1技术的评估阶段从第一轮的4.5417上升到第二轮的4.9583，最终达到第三轮的5。相比之下，Claude代理的评估结果在三轮中都稳定在5。GPT代理对TB3技术的评估阶段从第一轮的2.5833下降到第二轮的2.5417，然后在第三轮再次回到2.5833。Claude代理的评估结果从第一轮的3.3333下降到第二轮的3.0833，第三轮保持不变。这些结果表明，在RAG方法下，代理能够更准确地解释技术发展轨迹。TA1在2012年被预测为新兴技术，因此有理由预计它会达到更高的技术发展阶段，GPT和Claude代理的评估结果都与这一长期趋势一致。相反，TB3较晚被预测，两种代理的评估结果都保持在较低的技术发展阶段，这反映了对其成熟时间有限的适当认识。图8显示了Test 3中TA1和TB3技术的第三轮结果。在Test 1和2中，2012年预测的TA技术和2021年预测的TB技术之间的发展阶段差距相对较小。然而，在Test 3中，TA1和TB3的发展阶段显示出较大的差异。下载：下载高分辨率图像（192KB）下载：下载全尺寸图像图8. Test 3中按技术比较发展阶段的结果。这些结果表明，RAG的整合增强了代理区分不同年份预测技术发展阶段的能力。对于2012年被预测为新兴技术的TA1，GPT和Claude代理的评估都趋向于更高的技术发展阶段，GPT达到了5.00，而Claude在所有轮次中都保持一致评估为5.00。相比之下，TB3在2021年被预测，因此预计其处于发展轨迹的较早阶段，其评估结果明显较低，GPT接近2.50，Claude接近3.00。Test 3中TA1和TB3之间的差距扩大，与Test 1和2中观察到的较小差距相比，表明RAG为代理提供了更清晰、更具情境依据的评估技术发展阶段的证据。5.4. 代理提供的参考文献有效性的比较AI生成的具有专家角色的代理被要求提交三到五个URL作为对每种技术发展阶段评估的支持参考。因此，需要验证代理提出的URL的证据有效性。图9展示了在实验中评估GPT和Claude代理提出的URL的证据有效性的结果。证据有效性是指代理提供的URL中有效且可用的比例。在Test 2中，URL的证据有效性略有提高，因为GPT和Claude代理在他们的回答中都包含了“参考Wikipedia以解释评估”这一短语。然而，即使包含了这一特别声明，GPT的证据有效性仍低于0.5，与Test 1的结果相似。相比之下，Claude代理的证据有效性达到了0.5或更高，无论是否包含特别声明。当添加了特别声明后，Claude的证据有效性大约为0.6。下载：下载高分辨率图像（158KB）下载：下载全尺寸图像图9. 评估所提方法预测能力的证据有效性结果。在应用了RAG的Test 3中，GPT代理提供的URL的证据有效性为0.8或更高。这一结果标志着GPT的证据有效性相比Test 1和2有显著提高，表明可以使用RAG方法提高GPT响应的可靠性。Claude代理提供的URL的有效性在 ebenfalls在Test 3中显著提高，该测试也采用了RAG方法。然而，与GPT的快速改进相比，Claude的进步较为温和。Claude代理提供的证据有效性总体上优于Test 1和2中未使用RAG时GPT代理提供的证据有效性。通过应用RAG，GPT的响应可靠性得到了更明显的提升。这三个实验测试被设计为逐步基线比较，以系统地评估不同的知识整合策略如何影响代理评估的可靠性。Test 1建立了我们的主要基线，代表了一种“朴素”的方法，其中代理进行了基本的Delphi调查。这种基本调查反映了仅使用结构化提示（角色定义、评估标准和迭代反馈）的情况下所提方法的最小能力，没有额外的知识基础设施。Test 2通过添加“参考Wikipedia以解释评估”的明确指令引入了中间策略，测试了简单的来源导向是否可以在不需要向量数据库基础设施的情况下提高可靠性。Test 3实现了完整的RAG和元数据增强的向量数据库，代表了我们在实验范围内可行的最大知识整合方法。这种逐步设计，从没有外部知识（Test 1）到指导性引导（Test 2）再到结构化检索（Test 3），使我们能够系统地评估越来越复杂的知识整合策略如何影响证据和收敛的有效性。5.5. 第三步的结果：下一代技术预测在三轮Delphi调查中，具有专家角色的AI生成的代理参与分析和识别2012年预测的10种技术和2021年预测的另外10种技术的技术趋势。值得注意的是，独立调查参考文献和使用“根据Wikipedia”和RAG方法验证支持材料的过程为角色提供了更深入的见解。完成这一过程后，代理被要求为所审查的10种技术建议下一代技术。每个代理提出了多种下一代技术。由于许多技术之间存在重叠，因此统计了每种技术的预测频率。表10列出了提及超过20次的12种技术。表10. 专家代理提出的下一代技术列表。ID预测频率新一代技术描述相关技术TN130体内基因编辑直接在活体生物体内编辑基因，以实现更有效的治疗干预。TB8TN228表观基因组编辑在不改变DNA序列的情况下调节基因表达，实现可逆的精准治疗。TB8, TB9TN326先进递送系统使用工程载体（如纳米粒子或载体）增强治疗剂的靶向递送。TB3, TB6, TB8, TB10TN425人工智能和机器学习应用AI模型来提高诊断准确性、预测能力和生物医学数据整合。TA2, TA3, TA5, TA7, TA10, TB1, TB3, TB5, TB7, TB9TN524闭环自适应神经刺激系统使用实时神经反馈自动调整刺激，以实现更有效的神经调节。TA2TN624多尺度脑模拟平台在分子到网络层面上计算大脑功能，以洞察疾病机制。TB2TN724靶向药物递送系统选择性地将药物递送到病变组织，以增加疗效并降低全身毒性。TA3, TB5TN822伦理和监管框架提供治理结构，以确保新生物技术的安全、负责任和公平部署。TB1, TB2, TB3, TB8TN921表观遗传调控控制重组过程，以提高育种和细胞工程的效率。TB9TN1020人工智能增强的多模态成像整合使用AI结合多种成像模式，以提高诊断分辨率和解释能力。TA9TN1120超极化MRI用于代谢成像显著增强MRI信号强度，以实现体内实时代谢过程的可视化。TA9TN1220基于微生物组的压力评估通过分析微生物组来源的生物标志物来评估生理压力。TA5这些技术的排列表明，下一代技术的提出是基于TA或TB技术的发展阶段评估的。某些下一代技术与单一技术相关，例如TN1，而其他技术与多种技术相关，包括TN2、TN3和TN4。基因编辑和治疗领域正在快速发展，体内基因编辑已经在实验室环境中得到应用，某些治疗方法在初步临床试验后获得了批准。然而，这些治疗方法仍然复杂且昂贵。需要进一步长期研究其安全性和有效性，表明未来需要继续进行研究。在基因编辑和治疗方面，表观基因组编辑涉及通过改变表观遗传标记来调节基因表达，而不改变DNA碱基序列。与CRISPR、TALEN和ZFN等传统基因编辑技术相比，它提供了更高的安全性，因为它不直接改变DNA。其可逆调节基因的能力使其成为广泛研究的焦点。目前仍处于实验室阶段，即将实现实际应用，这项技术预计将成为基因编辑和治疗的下一代进展。最近，随着AI和机器学习应用技术的快速发展，AI增强型多模态成像整合也被提出作为下一代技术。闭环自适应神经刺激系统和多尺度脑模拟平台也被提出作为神经科学领域的下一代技术。此外，基于微生物组的压力评估技术也应随着心理健康在最近技术进步中的重要性而被提出。这份下一代技术列表反映了与TA和TB技术的最新趋势相关的未来进展。在使用这些技术评估提出的下一代技术之前，对代理进行各种标准和特征的培训可以是一种有效的方法，以便识别符合特定需求的未来技术。6. 讨论6.1. 具有专家角色的AI生成代理在Delphi调查中的意义本研究表明，具有专家角色的AI生成代理可以有效地进行技术评估的Delphi调查，提供了传统专家小组的可扩展替代方案，同时保持了方法论的严谨性。GPT和Claude代理从第一轮到第三轮的标准差都减少了77-95%，与传统Delphi基准（60-80%；Hasson和Keeney, 2011）相当，同时能够在几天内完成评估，成本大大降低。时间验证进一步巩固了这些发现，表明代理能够准确评估2012年预测的、已经大部分商业化的技术（平均阶段4.2-4.5）以及在2021年预测的仍在开发中的技术（平均阶段3.4-3.6），展示了它们将历史预测与当前现实相结合的能力。该方法论实现了刻意设计的多样性——完美的性别平衡、职业阶段的平衡以及全面的机构代表性——这是人类小组难以实现的，为资源有限的组织提供了专家级评估的民主化途径。模型之间的差异为战略实施决策提供了信息。Claude表现出更快的共识收敛速度，具有保守的评估倾向，适用于需要稳定性和一致性的快速评估。GPT对外部知识整合的响应性更强（使用RAG时URL有效性提高了82% vs. 47%），使其更适合需要强大知识基础设施的深入评估。技术规格部分解释了这些性能差异（表7）。因此，研究人员应选择与其特定预测目标相匹配的模型：Claude适用于快速、稳定的评估，且知识基础设施有限；GPT适用于受益于全面外部知识支持的探索性评估。多轮共识模式——第一轮到第二轮的重大转变，随后是第二轮到第三轮的稳定——证明了真正的讨论过程，而非任意的调整，验证了该方法在复制专家小组动态方面的能力。在文献背景下，这显著推进了以往的研究。虽然Jiang等人（2023年）和Liu等人（2024年）探讨了使用五到八个角色的单轮大型语言模型（LLM），但我们采用24个角色的三轮实施并结合时间验证的方法提供了前所未有的规模和严谨性。Khodyakov等人（2023年）强调了AI小组的潜力，但未进行实证验证；而我们77-95%的标准差减少提供了这一证据。最重要的是，通过将2012年的预测与2024年的现实进行比较的时间验证表明，这些代理人能够准确地理解技术轨迹，而不仅仅是生成听起来合理但缺乏根据的评估。这种结合了规模化多代理人实施、严格的收敛性验证、跨模型比较以及详细技术分析的回顾性准确性评估的方法，构建了一个全面的框架，将基于AI的技术预测从一种推测性的可能性转变为经过实证验证的做法。

6.2. RAG方法对整合外部知识的重要性
通过RAG整合外部知识对于可信的评估至关重要。RAG将GPT的URL有效性从0.45提高到了0.82（提高了82%），将Claude的URL有效性从0.58提高到了0.85（提高了47%），同时将评估的一致性提高了68%。仅使用“根据维基百科”方法仅获得了 modest 的提升（15-20%），这表明仅指导代理人寻找来源而没有结构化的检索机制是不足以的。RAG提供了三个关键优势：它通过将代理人的输出锚定到可验证的来源来减少幻觉；它通过提供共享的事实基础，使代理人能够一致地获取信息；它通过元数据增强的数据库创建了可验证的引用路径。不同模型之间改进程度的差异突显了他们在架构上的显著差异。GPT的证据有效性提高了82%，表明其更具探索性的生成行为强烈响应了RAG引入的外部约束。Claude的改进率为47%，这与其在基线时就强调的保守和基于事实的生成方式相符。然而，由于文档要求，RAG的适用性受到限制。只有那些拥有大量现有文档（超过500篇维基百科文章）的技术才能有效创建向量数据库，这突显了一个根本性的挑战：对于预测至关重要的新兴技术，其信息往往非常稀缺。在我们的实验中，RAG仅能应用于20种技术中的2种，而这两种技术都是文档较为丰富的成熟技术。对于尖端创新，缺乏全面的信息来源使得RAG的实施变得不可能，而在外部知识支持最为关键的时候，这进一步限制了评估的可靠性。因此，新兴技术的评估可靠性仍然受到信息稀缺性的制约，使得人类专家也难以进行评估。未来的实现需要结合RAG来处理已知知识，以及探索性推理来处理新内容，并将整合范围扩展到维基百科之外，包括专利、预印本、临床试验和行业报告。开发动态的知识来源识别策略，以便定位和整合新兴技术的稀缺文档，可以将RAG的好处扩展到更早期的创新阶段。实施基于文档可用性的信心评分机制，可以提供关于评估是否基于扎实的实证基础的透明度，而非仅仅是基于推测的评估。这些改进将把当前的局限性转变为一个全面的知识整合框架，支持从早期研究概念到商业化产品的整个技术成熟度范围内的可靠评估。

6.3. 偏见识别与缓解策略
Ashery等人（2025年）报告称，基于LLM的方法中存在一些固有的偏见需要考虑。来自主要西方中心的语料库的训练数据偏见可能会低估非西方创新。时间偏见表现为接近训练截止日期的技术获得更详细的评估，例如2021年的技术比2012年的技术显示出更大的初始不确定性。主流偏见倾向于那些文档完善的技术，因为AI模型可以可靠地应用于这些技术；但对于不太知名或文档不足的创新，则面临困难，可能会导致新兴技术被系统性地低估。本研究实施了几种缓解策略。首先，构建了一个包含24个角色的多样化小组，涵盖了六个具有平衡人口统计特征的类别。其次，多轮互动使代理人能够通过集体讨论来完善他们的判断，从而帮助减少个人偏见。第三，RAG提供了客观的信息锚点，而跨模型比较使人们能够识别特定模型的倾向。最后，通过验证RAG引用的URL的真实性来检查证据的有效性。尽管付出了这些努力，但要完全消除偏见仍然具有挑战性。一个关键的限制是无法确定代理人是否真正代表了多样化的观点，还是仅仅在共享潜在的训练偏见的同时模拟了表面多样性。未来的工作应该结合人类专家的验证作为真实性基础，并开发跨人口统计、地理、时间和技术维度的定量偏见检测指标。

6.4. 局限性与未来研究方向
在解释本研究的结果时，应考虑几个重要的局限性。最重要的是，缺乏平行的人类专家德尔菲调查，因此无法进行直接的定量比较。虽然2012年的技术被与2024年的现实进行了验证，但我们无法评估其与同时评估相同技术的人类小组的等价性。单一领域的焦点（生物技术，20种技术）限制了其普遍性，例如在能源系统、材料科学和量子计算等领域，这些领域的文档模式、专家知识分布和评估标准可能产生不同的表现特征。由于文档要求，RAG在有限技术上的适用性严重限制了其在新兴创新中的实际效用。横断面设计无法跟踪技术演变过程中的评估变化，下一代预测的准确性也未得到验证。此外，我们没有进行系统的消融研究来隔离各个方法学组件的贡献，如特定的提示元素、小组规模的变化或知识整合策略，这限制了我们提供关于最佳设计选择的定量指导的能力。未来的研究方向包括进行对照实验，直接比较AI小组和人类小组对相同技术的评估，以确定它们的定量等价性或揭示系统差异。在多个领域进行的大规模验证可以帮助确立所提出方法的统计可靠性。另一个重要方向是实施系统性的消融研究，改变各个方法学组件，如小组规模、提示架构和知识来源，以量化它们各自的贡献。进一步的改进可能来自开发结合RAG与其他来源（如专利、预印本和临床试验数据）的混合知识架构。纵向研究，跟踪五到十年的预测结果，将有助于验证预测准确性。最后，研究混合人类-AI小组的设计可能会发现利用两组互补优势的机会。未来的工作应该涉及进行对照实验，系统性地改变基线模型的选择、代理人多样性的组成和知识整合方法。这样的系统因素分析将为在不同情境下优化基于AI的德尔菲实施提供基于证据的设计指南。

治理框架解决问责制、透明度和伦理考虑问题至关重要，因为AI预测系统会影响高风险的决策。当预测不准确时，需要责任问题、使利益相关者能够理解和质疑AI理由的机制，以及确保公平获取AI预测能力的机制，这些都需要多利益相关者的对话和政策制定。开发能够定量测量跨人口统计、地理、时间和技术维度评估偏见的检测指标，将能够系统地进行监测和纠正。通过上述研究议程系统地解决这些方法学差距和治理挑战，带有专家角色的AI生成的代理在德尔菲调查中可以从一个有前景的概念证明发展成为一个经过验证的、稳健的方法，补充传统的企业研发、政府政策和学术研究中的战略技术决策方法。

7. 结论
本研究建立了在德尔菲调查中使用带有专家角色的AI生成代理进行技术评估和预测的方法。通过与24个多样化角色进行三轮迭代实验，AI代理展示了与传统专家小组相当的共识构建动态，实现了77-95%的标准差减少，并在效率、成本和设计的多样性方面提供了显著优势。这将基于AI的技术预测从一种推测性的可能性转变为经过实证验证的做法，对民主化专家水平的技术评估具有意义。这些发现直接解决了三个问题。对于问题1，AI代理准确地评估了2012年预测的技术，这些技术在很大程度上已经商业化，表明它们能够将根据过去预测的情况与当前现实进行对比。对于问题2，代理可靠地评估了2021年预测的技术，这些技术仍处于开发阶段，显示出跨时间背景的一致性评估框架。对于问题3，代理成功地识别了新兴的下一代技术，包括体内基因编辑、表观基因组编辑和AI增强型多模态成像，这与当前的技术轨迹一致。关键发现强调，通过RAG整合外部知识是必不可少的，它将GPT代理的URL有效性从0.45提高到了0.82，并将评估一致性提高了68%。不同模型之间的差异也显现出来。Claude展示了更快的收敛速度，使其适合需要快速和稳定评估的场景。相比之下，GPT对RAG提供的额外知识响应更为强烈，表明它更适合需要深入证据支持的评估任务。然而，由于文档可用性的限制，RAG的适用性仅限于20种技术中的2种。这些结果通过补充形式的有效性得到了进一步强化。首先，证据有效性为代理生成的下一代技术预测提供了可信的证据基础，从而支持了预测能力（问题3）。其次，代理的多轮收敛性证明了它们的评估在各个轮次中保持稳定并持续改进，支持了所有三个研究问题。通过上述研究方向解决这些限制，未来的工作可以扩展这种方法的适用性和可靠性，使技术评估更加知情和公平，支持企业研发、政府政策制定和学术研究中的战略决策，同时补充而非取代人类专业知识。

CRediT作者贡献声明
Hayoon Lee：撰写——原始草稿、调查、形式分析、数据整理。
Juhyun Lee：撰写——原始草稿、方法论、调查。
Heyoung Yang：撰写——审稿与编辑、撰写——原始草稿、监督、项目管理、方法论、概念化。

原创性和贡献
本手稿提出了原创性研究，尚未在其他地方发表，也没有被考虑发表。该研究介绍了一种结合AI生成专家代理与德尔菲调查框架进行技术评估和预测的新方法，并通过严格的时间比较和外部知识整合进行了验证。我们的工作通过证明AI生成代理可以有效地复制专家小组的动态，同时在可扩展性、成本效益和设计的多样性方面提供了显著优势，推动了这一领域的发展。

伦理合规性
本研究没有涉及人类受试者、动物实验或其他需要伦理批准的活动。所有实验都是使用公开可用的AI模型（GPT-4o和Claude 3.5 Sonnet）和来自已发布政府报告的公开可访问的技术列表进行的。

资金支持
本研究得到了韩国科学技术信息院（授权编号K24L3M1C2）的支持。资金机构在研究设计、数据收集、数据分析、数据解释或手稿撰写方面没有发挥作用。