社交问答平台的动态种子主题构建与LLM驱动的多主题识别

《Journal of Theoretical and Applied Electronic Commerce Research》：Dynamic Seed Topic Construction and LLM-Driven Multi-Topic Identification for Social Q&A Platforms

　　

社交问答平台产生简短、嘈杂且高度多样化的用户问题，使得粗粒度的主题标签不足以进行准确的信息组织。本研究提出了一种针对知乎平台健康科普问题的动态种子主题构建和多需求主题识别框架。利用2011年至2024年间清洗后的3529个问题，该框架结合了BERTopic（基于BERT的主题模型）聚类、基于LLM（大型语言模型）的主题命名以及整合语义相似度和频率的TOP-K（前K个）交叉过滤更新策略。然后，LLM执行主题识别、优化和分配，共现网络分析主题关联。该方法生成26个初始种子主题，扩展至51个主题实例，随后优化为36个主题。与LDA（潜在狄利克雷分配）、BERTopic和基于LLM的基线相比，研究人员的框架在保持良好主题多样性的同时，实现了最佳主题一致性和最低主题相似度。17名志愿者对30个问题进行的人类评估显示，该模型在相关性、全面性、清晰度、准确性和可读性方面至少与用户分配的标签表现相当，在相关性和准确性方面优势更明显。这些结果表明，该框架能够为社交问答平台识别细粒度、可解释且强关联的信息需求主题。

**论文解读：社交问答平台的动态种子主题构建与LLM驱动的多主题识别**

**研究背景与问题**
社交问答平台（如知乎）产生了大量用户生成内容（UGC），这些内容以简短、嘈杂且高度多样化的用户问题为特征。传统的粗粒度主题标签难以准确组织信息，尤其在健康科普领域，用户常将症状、饮食、治疗、医疗获取等多重信息需求隐含在同一问题中。现有主题识别方法存在三大局限：一是传统静态主题模型（如LDA）提取粗粒度主题，忽略次要或长尾需求；二是主题可解释性不足，自动化方法语义模糊，人工标注成本高；三是多主题识别任务缺乏一致性，识别与分类阶段独立，导致语义偏差。为解决这些问题，研究人员提出一种动态种子主题构建与多需求主题识别框架，旨在缺乏标准数据集和先验知识的情况下，自动识别细粒度、可解释且强关联的信息需求主题。该论文发表在《Journal of Theoretical and Applied Electronic Commerce Research》。

**主要技术方法**
研究人员采用以下关键技术方法：
1. **BERTopic聚类**：利用预训练语言模型（Sentence-BERT）提取文本嵌入，通过UMAP降维和HDBSCAN密度聚类，获取全局主题簇，并使用c-TF-IDF（基于类别的词频-逆文档频率）提取特征词。
2. **LLM主题命名与动态种子更新**：基于GLM-4-Plus大语言模型，通过提示工程（Prompt Engineering）对聚类结果进行语义命名，生成初始种子主题；随后提出TOP-K交叉过滤策略，综合主题频率和语义相似度，从种子主题库中检索全局高频和语义相关主题，构建动态种子集。
3. **多主题识别优化与分配**：LLM依次执行文本分析、主题生成、主题优化（基于语义相似度合并重复主题）和主题分配（为每个问题分配一个或多个主题），并输出主题关键词和分配理由。
4. **共现网络分析**：基于主题共现关系构建网络，计算网络密度、度中心性、加权度和邻域平均加权度，揭示主题间关联结构和关键节点。
数据来源：知乎平台“健康科普”话题下的3529个用户问题（2011-2024年），经清洗、分词（结合春雨医生疾病主题表和清华医学词典）后用于建模。

**研究结果**
**4. 动态种子主题构建**
- **4.1 概念定义与总体框架**：动态种子主题定义为根据数据集语境自动生成并持续更新的初始主题模板，用于解决LLM的冷启动和幻觉问题。
- **4.2 初始种子主题生成机制**：采用BERTopic对3529个问题聚类，经参数调优后生成26个初始种子主题，主题一致性（CV）得分达0.764。通过LLM命名，覆盖“中医与健康”、“饮食与健康食品”等主流需求，并保留1164个未明确分类的噪声文档。
- **4.3 动态种子更新策略**：受RAG（检索增强生成）启发，提出TOP-K交叉过滤策略（K=5），结合频率排序和语义相似度排序，取并集构成动态种子集。该策略避免了低频但语义重要主题（如“听力与耳健康”）被删除，同时保持了全局热点（如“身体健康”）的稳定性。结果显示，动态种子集在时间序列上表现出良好的稳定性和适应性。

**5. 多主题模型开发**
- **5.1 基于提示的多主题模型**：包含三个顺序阶段。
- **主题识别**：通过提示模板（角色、目标、约束、指令和示例）进行文本分析，去除170条无效语句（占比4.8%），最终从有效问题中识别出51个主题实例，涵盖38个不同主题，证明了动态扩展机制的有效性。
- **主题优化**：基于语义相似度和提示约束，对51个主题进行优化，合并重叠或边界模糊的主题，最终得到36个主题。优化后主题边界更清晰，语义区分度更高。
- **主题分配**：LLM为每个问题分配一个或多个主题，并输出关键词和分配理由。36个主题中，“疾病管理与健康”、“生活习惯与健康”、“饮食与健康”出现频率最高，分别占12%、10%、10%。
- **5.2 模型性能评估**：
- **定量评估**：与LDA、BERTopic、LLM-DST等基线模型对比，研究人员提出的BERTopic-LLM-DST方法在主题一致性（TC）上表现最佳，主题相似度最低，主题多样性（TD）为0.792，仅次于BERTopic（0.826），实现了三者间的平衡。
- **人类评估**：17名志愿者对30个问题的主题标签进行评分（相关性、全面性、清晰度、准确性和可读性，每项1分）。结果显示，该模型在五个维度上至少与用户原始标签相当，在相关性和准确性上优势更明显。

**6. 附加分析**
- **6.1 方法**：构建主题共现网络，采用网络密度、度中心性、加权度和邻域平均加权度分析网络结构。
- **6.2 结果**：网络密度为0.69，表明主题间连接紧密。“疾病管理与健康”在度中心性上排名第一，“生活习惯与健康”在加权度和邻域平均加权度上均最高。共现对中，“饮食与健康-生活习惯与健康”出现频率最高，其次是“饮食与健康-疾病管理与健康”，揭示了用户需求间的强关联模式。

**讨论与结论**
**总结**：研究人员提出的动态种子主题构建与多需求主题识别方法，有效实现了社交问答平台上细粒度、可解释且语义一致的多信息需求主题识别，并揭示了主题间的关联特征，为优化基于主题的信息聚合策略提供了支持。
**讨论**：该框架通过结合全局主题发现和文档级语义引导，改善了短文本和多需求问题的组织。从26个初始种子主题到51个识别实例再到36个优化主题的过程，反映了主题系统从粗粒度到细粒度扩展再回归高区分度结构的演进。定量结果和人类评估共同验证了主题质量。共现分析表明，健康相关通常结合疾病特定关注与行为需求，平台应支持多标签和关联感知的信息聚合。
**结论翻译**：本研究提出的动态种子主题构建与多需求主题识别方法，有效实现了社交问答平台上细粒度、可解释且语义一致的多信息需求主题识别，并揭示了主题间的关联特征，为优化基于主题的信息聚合策略提供了支持。其贡献在于：第一，创新性地提出动态种子主题构建策略，整合BERTopic聚类与LLM命名能力，为缺乏标准数据集和先验知识的社交平台提供可读的初始种子主题集，并通过TOP-K动态更新策略显著降低主题冗余和重复，提升语义区分度；第二，基于动态种子主题构建，提出自动化、集成的多需求主题识别方法，增强了主题识别与分类任务间的语义一致性，降低了人工标注的资源消耗和主观性，为优化社交问答平台的信息资源聚合提供了强有力指导。