《Frontiers in Artificial Intelligence》：Domain-informed density extraction for robust mental health classification of long social media posts
编辑推荐：
背景：机器学习与自然语言处理（Natural Language Processing, NLP）的近期进展使得从社交媒体内容中早期识别心理障碍成为可能。在这些平台中，Reddit以语言丰富、长篇叙述为特征，用户在其中描述其心理症状、情绪和个人经历。然而，这些数
背景：机器学习与自然语言处理（Natural Language Processing, NLP）的近期进展使得从社交媒体内容中早期识别心理障碍成为可能。在这些平台中，Reddit以语言丰富、长篇叙述为特征，用户在其中描述其心理症状、情绪和个人经历。然而，这些数据集给文本分类带来了显著挑战，因为帖子冗长、数量庞大且类别不平衡。本研究重新审视了基于分段、表情加权表示的概念，该表示强调临床相关语言的同时抑制无关内容。在调查过程中，研究人员发现传统预处理流程的一个关键缺陷——具体而言，在训练-测试划分之前应用分块和过采样——会导致数据泄漏，从而虚增报告的性能。为解决这一问题，研究人员提出了一种泄漏安全的评估协议，以及一种基于领域信息的密度提取方法，该方法使用仅从训练数据中导出的词典来识别临床密集段落。结果：所提方法使用逻辑回归、线性SVM、XGBoost、fastText、RNN和TextCNN，连同基于Transformer的基线（MentalBERT），均在泄漏安全评估协议下进行了评估。消除数据泄漏后，朴素加权分块的明显优势消失，标题性宏F1分数从约0.96降至0.67。相比之下，所提出的基于领域信息的密度提取方法在六个模型中的五个中持续优于固定窗口分块，并在若干情况下达到或超过全文本基线。对于逻辑回归、RNN和fastText，尽管仅使用输入文本的一小部分，仍观察到统计学显著改善。对于上下文受限的Transformer，基于密度的选择显著优于朴素截断（宏F1 +0.023，95% CI [+0.006, +0.041]，p = 0.008）。结论：研究人员的发现表明，泄漏安全评估协议对于从长社交媒体帖子进行心理健康分类产生可靠结果至关重要。这些发现进一步表明，基于领域信息的密度提取提供了一种稳健且实用的文本表示，其最大益处出现在模型无法处理整个帖子时。通过选择性保留临床信息内容同时减少输入长度，所提方法为日益复杂的模型架构提供了一种有效且计算高效的替代方案。
**论文解读**
社交媒体已成为心理健康信息的重要来源，特别是Reddit平台，用户以长篇叙事形式描述心理症状、情绪和个人经历，为自然语言处理（Natural Language Processing, NLP）提供了丰富语料。然而，这类数据对文本分类构成显著挑战：帖子长度大、数据量庞大且类别高度不平衡。以往研究常采用分块（chunking）和过采样（oversampling）来缓解模型输入长度限制和类别不平衡问题，但若这些操作在训练-测试划分之前执行，会导致数据泄漏（data leakage）——即源自同一帖子的多个分块或过采样产生的重复样本可能同时出现在训练集和测试集中，从而虚增模型性能。这种泄漏使传统评估结果失真，也掩盖了真实泛化能力。因此，该研究旨在提出一种泄漏安全的评估协议，并开发一种能自动提取临床相关段落的文本表示方法，以在严格条件下评估模型性能。研究发表于《Frontiers in Artificial Intelligence》。
研究人员使用公开的Reddit心理健康数据集，原始帖子701,783篇，筛选出词数≥500的27,690篇五类帖子（焦虑、抑郁、双相障碍、边缘型人格障碍、精神分裂症），按帖子级分层80/20划分训练/测试集，过采样仅用于训练集。利用带信息性Dirichlet先验的对数几率比估计，从训练数据中提取每类前75个判别词，合并为354词的无标签词典（排除疾病名称）。密度提取时，标记词典词出现位置，累计5次匹配启动区域，间隔超过60词终止，扩展40词上下文，合并重叠区域；无合格区域时回退到前导词。比较了全文本和固定窗口（256词窗口，64词重叠）两种参照。模型包括逻辑回归、线性支持向量机（Support Vector Machine, SVM）、XGBoost、fastText、循环神经网络（Recurrent Neural Network, RNN）、文本卷积神经网络（TextCNN）及Transformer基线MentalBERT；使用TF-IDF（100,000特征）和宏F1评估，附95%自举置信区间。
**4.2 数据泄漏的影响**：传统先分块后划分的流程使XGBoost等模型宏F1接近0.96；采用泄漏安全协议后，宏F1大幅下降至约0.67，表明原高性能来自泄漏而非泛化。
**4.3 机器学习模型**：逻辑回归在密度提取下宏F1为0.741，显著优于全文本0.636和固定窗口0.722（95% CI [0.709, 0.766]）。线性SVM密度提取得0.724，与全文本0.745相当，但优于固定窗口0.693。XGBoost密度提取0.753，与全文本0.762接近，且优于固定窗口0.735，同时输入文本更少。
**4.4 深度学习模型**：fastText密度提取宏F1为0.753，显著优于全文本0.701和固定窗口0.720。RNN（双向长短期记忆网络）密度提取0.637，显著优于全文本0.575，优于固定窗口0.621。TextCNN则出现性能下降，密度提取仅0.530，低于全文本0.702；因其依赖连续n-gram，碎片化文本损害性能。
**4.5 Transformer基线**：MentalBERT最大输入512 tokens，密度选择输入时宏F1为0.790，准确率0.866，显著优于头部截断的0.767和0.848（宏F1差+0.023，p=0.008）。
**4.6 比较分析**：六模型中密度提取在五个上优于固定窗口；在逻辑回归、RNN和fastText上统计显著优于全文本。类别表现方面，边缘型人格障碍（BPD）最高约0.92，双相障碍和精神分裂症因测试样本少而较低。
讨论部分指出，泄漏安全协议是可信评估的前提；密度提取的有效性边界与模型归纳偏置有关，TextCNN因依赖连续局部特征而受损。五类分析排除了泛化的mentalillness类，作为标签有效性修正。局限性包括帖子长度仍接近模型输入上限，子版块标签自我报告不精确，且仅在单一语料库评估。未来工作可扩展至更长的稀疏信号数据集，如CLEF eRisk。
结论翻译：本文重新审视了长Reddit帖子的心理健康分类中的加权分割，并表明传统的先分块、再过采样、再分割的流程会通过数据泄漏夸大性能。在泄漏安全协议下，朴素加权分块的明显优势不再持续。研究人员引入了一种基于领域信息的密度提取方法，利用从训练数据中导出的、无标签的判别性词典，从长帖中选择临床密集的多区域段落。在六种经典和深度学习模型及一个Transformer基线的严格置信区间评估下，密度提取一致优于固定窗口分块，并达到或超过全文本基线——对于逻辑回归、RNN和fastText显著——同时使用的文本更少。对于受上下文限制的MentalBERT，它也显著优于朴素截断。这些发现支持将泄漏安全评估协议作为长文档心理健康NLP的默认要求，并将基于领域信息的密度提取定位为一种实用的、模型无关的表示，其益处最明显时是在模型受输入长度限制时。
