TopicForest：基于嵌入驱动的分层聚类与标记方法在生物医学文献中的应用

《Journal of Biomedical Informatics》：TopicForest: embedding-driven hierarchical clustering and labeling for biomedical literature

生物医学文献中提出基于嵌入学习和LLM的层次化主题建模框架TopicForest，通过降维、二进制分区聚类和递归标签生成实现多粒度主题发现，在AMI指标和标签多样性上优于BERTopic和HyperMiner，支持大规模可扩展的文献分析。

　　在生物医学研究领域，文献资料的迅速增长给研究人员带来了前所未有的挑战。面对海量的文献，如何有效地组织、理解和探索这些信息成为了一个亟需解决的问题。传统的主题建模方法虽然在一定程度上能够帮助识别文献中的主题结构，但它们往往局限于单一层次的分类，无法充分反映科学文献本身所具有的多层次和嵌套特性。这种限制使得研究人员在处理复杂主题时感到困难，尤其是在需要对不同粒度的主题进行分析和比较的情况下。因此，开发一种能够同时处理多尺度主题结构的建模方法显得尤为重要。

为了应对这一挑战，研究人员提出了一种新的方法——TopicForest。这种方法结合了文本嵌入技术和大型语言模型（LLMs），旨在构建一个多层次的主题森林，每个主题树从广泛的主题领域逐步细化到具体的子领域。TopicForest不仅能够捕捉到文献中不同层次的主题关系，还能够提供直观的可视化方式，帮助研究人员更好地理解和探索文献的结构。这种方法的提出，标志着在生物医学文献分析领域的一个重要进展，为研究人员提供了一种更灵活、更高效的主题建模工具。

TopicForest的核心思想是利用文本嵌入技术将文献抽象为高维语义空间中的向量表示，然后通过降维技术将这些向量映射到更易于理解和分析的低维空间。接下来，采用二进制划分方法对文献进行层次化聚类，构建出一个层次化的树状结构。最后，通过递归的LLM驱动主题标注方法，为每个层次的主题生成简明且一致的标签。这种方法不仅能够有效捕捉到文献中不同层次的主题关系，还能够保持标签的多样性和语义上的连贯性。

在实验评估中，研究人员使用了一个包含24,366篇生物医学摘要的语料库，该语料库来源于Scientific Reports，并利用其人工构建的主题层次结构作为评估的基准。通过对比不同方法在聚类质量和标签生成方面的表现，TopicForest展现出了显著的优势。在聚类质量方面，TopicForest的树状图切割方法在多个降维策略下（如t-SNE和UMAP）表现优于传统的基于嵌入的聚类方法，如BERTopic（结合K-means或HDBSCAN）。同时，TopicForest在标签生成方面也表现优异，其递归的LLM标注方法不仅在标签多样性方面优于c-TF-IDF和HyperMiner，还在保持标签语义连贯性方面表现突出。此外，TopicForest在不同嵌入模型下的聚类质量保持稳定，显示出其方法的鲁棒性和通用性。

TopicForest的成功在于其独特的设计，它将层次化聚类与LLM驱动的嵌入和主题标注相结合，从而在生物医学文献分析中实现了多尺度主题的发现和可视化。这种方法不仅能够帮助研究人员更全面地理解文献的主题结构，还能够为临床实践和政策制定提供有价值的见解。通过提供一个灵活且高效的框架，TopicForest为生物医学文献的组织和探索开辟了新的可能性。

在实际应用中，TopicForest可以用于多种场景，如文献综述、研究趋势分析、跨学科研究的组织等。对于研究人员而言，这种方法能够帮助他们快速定位感兴趣的主题领域，并深入探索其子领域。对于临床医生来说，TopicForest可以辅助他们了解最新的医学研究成果，从而为临床决策提供依据。对于政策制定者来说，这种方法能够帮助他们识别关键的研究方向和热点问题，为资源配置和政策制定提供支持。

TopicForest的实施过程分为四个主要步骤：文献嵌入、降维处理、层次化聚类与树状图切割、以及主题标注。文献嵌入是通过训练过的大型语言模型将文本转化为高维语义空间中的向量表示，这一过程能够捕捉到文本之间的语义相似性。降维处理则将这些高维向量映射到低维空间，以便于后续的可视化和分析。层次化聚类通过二进制划分方法构建出一个树状结构，使得研究人员可以直观地看到不同层次的主题关系。最后，主题标注通过递归的方式，利用LLM为每个层次的主题生成简明的标签，确保标签的多样性和语义连贯性。

在实验评估中，研究人员发现TopicForest在多个方面都优于现有的方法。首先，在聚类质量方面，TopicForest的树状图切割方法在不同降维策略下均表现出色，其性能与传统的基于嵌入的聚类方法相当，甚至在某些情况下更为优越。其次，在标签生成方面，TopicForest的递归标注方法不仅在标签多样性上优于传统的c-TF-IDF和HyperMiner，还在保持标签语义连贯性方面表现出色。此外，TopicForest在不同嵌入模型下的表现保持稳定，这表明其方法具有较强的适应性和通用性。

这些结果表明，TopicForest在生物医学文献分析中具有重要的应用价值。它不仅能够帮助研究人员更有效地组织和理解文献，还能够为跨学科研究和多尺度分析提供支持。通过提供一个灵活且高效的框架，TopicForest为生物医学文献的组织和探索开辟了新的可能性，同时也为未来的研究提供了新的方向。

在讨论部分，研究人员进一步分析了TopicForest在不同研究问题中的表现。例如，在评估多尺度主题发现的能力时，TopicForest的树状图切割方法能够稳定地保持层次化聚类质量，这对于理解复杂主题结构至关重要。此外，研究人员还探讨了TopicForest在不同层次上的表现，发现其在生成层次化标签时能够保持良好的语义连贯性，这对于跨学科研究和多尺度分析具有重要意义。

TopicForest的创新点在于其能够动态捕捉多尺度的主题结构，同时保持标签的多样性和语义连贯性。这种方法不仅克服了传统单层主题模型的局限性，还为研究人员提供了一个强大的工具，帮助他们更全面地理解生物医学文献的结构。通过结合最新的文本嵌入技术和LLM，TopicForest在生物医学文献分析中展现出了显著的优势，为未来的研究和应用提供了新的思路和方法。

总之，TopicForest的提出标志着生物医学文献分析领域的一个重要进展。它不仅能够有效解决传统方法在多尺度主题发现和标签生成方面的不足，还能够为研究人员提供一个直观且高效的框架，帮助他们更好地理解和探索文献的结构。通过其独特的设计和强大的性能，TopicForest为生物医学文献的组织和分析提供了新的可能性，同时也为相关领域的研究开辟了新的方向。