SOFIA：一种知识注入的基于提示的推理框架用于社交媒体中的焦虑筛查

《Frontiers in Digital Health》：SOFIA: a knowledge-infused prompt-based reasoning framework for anxiety screening in social media

　　

基于语言的焦虑筛查已成为社交媒体中检测焦虑的广泛采用方法，预训练语言模型（PLMs）现已构成早期心理健康检测的最先进基础。然而，大多数现有PLMs并未针对焦虑检测（AD）进行显式优化，限制了其对细粒度心理语言学线索的适应性。为填补这一空白，研究人员引入了SOFIA（Anxious? SOFten-It-Out），一种新颖的基于提示的推理框架，可在无需全微调的情况下增强PLM的二进制AD能力。SOFIA将多种提示模板策略与双端截断方法相结合，该方法既保留初始上下文线索又保留结尾情感标记，从而为对话焦虑信号提供更丰富且更稳定的表示。此外，知识增强口头化器通过软、手动和自动口头化器整合结构化领域知识，改进了冻结PLM内的推理。研究人员在三个自我报告焦虑语料库（如Guo、SMHD和Kim）上，使用多个100M?300M参数PLM评估了SOFIA。实验结果表明，与传统的基线方法相比，在各自数据集上使用长度为20的软模板和知识库驱动的口头化器时，MentalBERT的F1分数分别提升了5.37%、5.40%和7.92%。这些发现强调了SOFIA作为一种可扩展、低资源且知识驱动的数字心理健康筛查应用框架的有效性。

研究背景：社交媒体在全球范围内广泛使用，COVID-19大流行进一步加速了这一趋势，使人们依赖数字平台进行交流、娱乐和社交联系。这种使用激增导致个人内容分享呈指数级增长，社交媒体成为人类思想和情感的庞大库，反映个体的心理状态。然而，近80%的个体延迟或避免寻求治疗，凸显了社交媒体表达作为心理福祉间接指标的价值。统计调查显示，焦虑在不同文化和教育背景中普遍存在，其发生率高于其他情绪障碍。基于语言的焦虑筛查因此成为社交媒体中检测焦虑的广泛方法，通过分析语言模式、词汇选择和上下文线索来识别心理困扰。预训练语言模型（PLMs）通过提供深层上下文理解，提升了检测精度，但大多数现有PLMs并未专门针对焦虑进行优化，而针对抑郁症等疾病已有专用模型。这凸显了需要在有限标注数据和多样化任务需求下，开发更具针对性的方法。基于提示的工程技术作为全微调的替代方案日益流行，但它们在焦虑筛查中的应用有限。为此，研究人员提出SOFIA（Anxious? SOFten-It-Out），一种新颖的基于提示的推理框架，旨在适应中等规模PLMs进行焦虑检测。该框架集成多种提示模板以捕获多样语言线索，并整合知识库以增强推理和预测透明度。主要贡献包括：修改OpenPrompt库适配PLMs至心理健康筛查任务；设计针对下游焦虑筛查的提示模板并改进截断方法；引入结合临床领域知识的知识库；在多个基准语料库上评估泛化性和鲁棒性；进行消融研究分析决策机制。该论文发表在《Frontiers in Digital Health》。

关键技术方法：研究人员使用OpenPrompt库实现基于提示的架构，采用手动模板、软模板和混合模板构建提示模板，并使用手动口头化器、软口头化器和自动口头化器实现知识库驱动的口头化器。提出双端截断策略，保留输入序列的初始上下文线索和结尾情感标记，同时保护提示模板令牌。知识库基于NRC WorryWords词典（包含超过44,000个与焦虑关联的词语）构建。样本队列来自三个自我报告焦虑语料库：Guo语料库（用户级标注）、SMHD语料库（用户级标注）和Kim语料库（帖子级标注），均来自Reddit和Twitter。所有PLMs在100M?300M参数范围内评估，包括BERT、DistilBERT、RoBERTa、DisorBERT、MentalBERT和PsychBERT。实验使用NVIDIA RTX 3060 Ti GPU进行训练，采用GELU激活函数和Adam优化器。

研究结果：
**指标与结果**：研究人员通过F1分数评估下游焦虑分类性能，优先考虑F1分数以平衡精确率和召回率。实验使用随机种子42，以软模板和口头化器配置运行。结果显示，MentalBERT在所有数据集上取得最佳总体性能。在Guo语料库上，使用长度为20的软模板和知识库驱动的软口头化器时，MentalBERT、PsychBERT和BERT的F1分数分别比基线提示调优方法提升5.37%、5.01%和5.48%。在SMHD语料库上，MentalBERT同样表现最佳，但模板长度从10增加到20的改进较小，反映较短帖子长度限制了更长模板的收益。在Kim语料库上，MentalBERT取得87.73%的F1分数，提升7.92%，表明框架在帖子级标注下能捕获更细粒度线索。McNemar检验证实大多数改进具有统计显著性。
**模板类型与截断的影响**：消融研究聚焦于提示长度20，比较不同模板类型和截断方法。软模板在所有配置中显著优于混合和手动模板，双端截断相比单端截断在Guo语料库上带来最高3.46%的F1提升，在Kim语料库上带来3.45%的提升。McNemar检验确认双端截断对BERT、PsychBERT和MentalBERT的改进具有统计显著性。
**知识库对不同口头化器类型的影响**：消融研究比较了有无知识库时手动、软和自动口头化器的性能。软口头化器始终最优，且移除知识库导致Guo语料库上F1分数下降1.63%–2.01%，Kim语料库上下降3.35%–3.73%，表明知识库在帖子级预测中贡献更大，增强模型推理能力。

总结讨论与结论翻译：
讨论部分指出，SOFIA通过任务驱动的提示转移设计（包括软提示模板、知识库驱动的口头化器和双端截断）显著提升了PLMs对焦虑分类任务的适应能力。MentalBERT表现最佳，模板长度20时收益最大，但长度30时出现饱和效应。与单端截断相比，双端截断有效保留关键上下文线索，提升稳定性。知识库的整合强化了标签语义关联，尤其在帖子级标注数据中效果更明显。挑战包括焦虑相关数据的稀缺性、数据匿名化与上下文完整性的平衡、提示组件设计中的潜在偏见，以及OpenPrompt框架的集成复杂性。局限性包括：仅测试了双端截断策略，未探索其他截断或注意力剪枝方法；仅评估了100M?300M参数模型，未与更大规模模型或全微调方法对比；仅关注二进制焦虑分类，未扩展到其他疾病；缺乏人口统计学元数据，无法进行公平性分析；推理机制未涉及更高级的思维链提示；数据集仅来自英语Reddit和Twitter，跨文化泛化性未知。伦理方面，研究为回顾性二次分析，遵循原始数据使用协议，强调模型仅用于研究及早期数字分诊，不应用于独立诊断。
**研究结论**：在本研究中，研究人员提出了SOFIA（Anxious? SOFten-It-Out），一种新颖的基于提示的推理框架，旨在高效地将PLMs适应于社交媒体帖子中的焦虑筛查。SOFIA集成了双端截断策略与多种提示模板类型，使得能够保留对准确焦虑检测至关重要的初始上下文线索和结尾情感表达。该框架进一步整合了富含临床领域知识的知识库，在保持计算效率的同时增强了模型推理。在基准自我报告焦虑语料库上的全面实验表明，SOFIA在所有测试的100M?300M参数PLM上均一致优于原始提示调优基线。结果，包括消融研究，证实了所提方法在心理健康相关文本理解中显著改善了知识转移、知识引导的模型推理和上下文适应性。未来工作可探索扩展至更大规模模型（超过1B参数）、与全微调方法对比、整合替代截断和采样策略、扩展至多类心理健康筛查、研究偏差缓解和公平性，以及集成可解释AI技术和跨语言评估，以推进SOFIA作为早期数字心理健康支持工具的可靠性。