《Machine Learning and Knowledge Extraction》：Encoder Mixing for Unsupervised Topic Discovery in Multi-Platform Chat: An Exploratory Study on Proxy Corpora
编辑推荐：
摘要
被扣押设备中的聊天数据量超出了人工审查的能力范围，且针对具体案件的专题列表无法预先获知。本研究扩展了SCOPE（语义一致性剪枝与提取，Semantic Coherence Pruning and Extraction）框架——该框架使用all-MiniL
摘要
被扣押设备中的聊天数据量超出了人工审查的能力范围，且针对具体案件的专题列表无法预先获知。本研究扩展了SCOPE（语义一致性剪枝与提取，Semantic Coherence Pruning and Extraction）框架——该框架使用all-MiniLM-L12-v2对每条消息及21个预定义主题标签进行嵌入——并以无监督发现取代该种子列表。被评分的系统是一个六阶段流水线（pipeline）。该流水线通过嵌入漂移（embedding drift）对聊天内容进行切分，对切分片段进行聚类并命名，构建逐用户主题时间线，并依据逐消息参考列对其进行评分。基线单元minilm-l12-v2为SCOPE编码器在冻结流水线中运行且不含种子列表的版本。研究在两个语料库及三种设置下尝试了49个编码器单元网格：66条消息的Sample演练（4个主题）、独立语料库CrystalClear（917条消息、7个聊天室、30个主题），以及Dataset 3核心子集（2999条消息、23个主题，其排名为暂定结果）。在49个单元中，37个在全部三种设置下完成评分，且无一在三种设置中均排名第一。CrystalClear语义人工网格由大语言模型（LLM）依据书面规则标注，随后由第二个模型通过阅读携带各参考标签的示例消息解决开放问题后修订一次；共有五个标签发生变更。没有人类检查过逐条标注。UAE-Large-V1在两个证据性语料库上均领先：在CrystalClear语义人工网格上取得总体F1（overall-F1）0.674，在Dataset 3核心子集上以自动匹配（auto ）取得宏平均F1（macro-F1）0.593（暂定结果）；而多对一定义匹配协议则将两项排名均反转至MiniLM-L6。以上为在所描述的具体评估程序下观察到的结果，而非一般性的编码器排名。能够在不同匹配器及设置间保持首位的混合方案仍是一个未解决的局限。
论文解读
一、研究背景与问题
数字取证（digital forensics）领域面临一个日益严峻的挑战：被扣押设备中的多平台聊天数据量远超人工审查能力。据统计，截至2024年1月，全球约62.3%的人口使用社交媒体，日均使用时长约2小时23分钟。智能手机使同一设备上积累大量用户生成及应用相关数据，这些数据往往在无意间被保留，并可能成为网络犯罪调查中的关键证据。ChitChat数据集包含约258,000条消息，如此体量的非结构化证据超出了调查团队的人工审查容量，造成案件积压。在美国，超过20,000台数字设备尚未接受检验。
现有方法存在两大缺口：其一，经典及神经主题分割方法通常假设存在标注主题或标注训练数据，而针对具体案件的被扣押语料库中，调查类别取决于案件本身，无法预先获知；其二，始终在线的生成模型成本高昂，且云端访问在扣押证据场景下往往不被允许，输出也难以在司法环境中审计。操作层面的核心需求是系统在承诺输出的子集上保持高精度——系统应拒绝低置信度预测而非犯错。
二、研究内容与结论
本研究扩展了SCOPE框架。SCOPE使用all-MiniLM-L12-v2对每条消息及21个预定义主题标签进行嵌入，并识别取证聊天中的时间主导主题。SCOPE自身指出，若无预定义标签，该框架将缺乏语义锚点用于相似度计算、softmax及剪枝。研究人员在无种子列表的条件下完成该任务：无监督切分、命名及时间线构建、语料外评分及编码器混合。
被评分的系统是冻结的六阶段流水线：阶段1清洗数据；阶段2通过嵌入漂移率进行切分；阶段3进行聚类、命名及逐主题阈值设定；阶段4构建逐用户主题时间线；阶段5构建参考标签与发现名称之间的等价网格；阶段6对每个时间线窗口进行评分。研究在两种语料库及三种设置下尝试了49个编码器单元网格，其中37个在全部三种设置下完成评分。核心结论是：没有任何配置在全部三种设置中均排名第一。在人工匹配下，UAE-Large-V1在CrystalClear上以总体F1 0.674领先；在自动匹配下，UAE-Large-V1在Dataset 3核心子集上以宏平均F1 0.593领先（暂定结果）。多对一定义匹配协议则将两项排名均反转至MiniLM-L6。匹配器是更尖锐的影响轴。
三、主要技术方法
研究人员构建了一个冻结的六阶段无监督发现流水线。阶段2采用漂移率切分算法：对消息按文件顺序编码，计算语义离散度的相对漂移率，当漂移率增加时声明候选边界，再通过局部散度准则放置切分点。阶段3使用HDBSCAN（层次密度聚类算法）对片段嵌入进行聚类，用KeyBERT结合MMR（最大边际相关性）提取1-2个词作为主题名称，并通过softmax将余弦相似度转换为隶属概率，对每个主题拟合Kneedle阈值。阶段4按用户合并符合条件的片段构建时间线。阶段5构建人工或自动等价网格。阶段6以窗口F1评分。语料库包括：Sample（66条消息，演练用）、CrystalClear（917条消息，7个聊天室，30个参考主题，独立语料库）及Dataset 3核心子集（2999条消息，23个主题，暂定排名）。
四、研究结果
4.1 同模型编码器
七个同模型编码器在三种设置下完成评分。L12基线在Sample演练上取得手工人宏平均F1 0.667、手工人总体F1 0.636。在CrystalClear上，L12基线手工人总体F1为0.495。UAE-Large-V1在人工匹配下以总体F1 0.674领先（较L12提高0.179）。BGE-Large在宏平均F1上领先（0.269），与总体F1领先者不同。CrystalClear上所有得分单元的严格匹配总体F1均为0.000，因为没有任何发现的主题名称与30个参考标签字面相等。在Dataset 3核心子集上，UAE-Large-V1自动匹配宏平均F1为0.593（暂定），发现66个主题，而L12仅发现3个。
4.2 混合切分与命名编码器
最强Sample演练单元为Qwen3-Embedding-0.6B切分配合MiniLM-L6命名，手工人总体F1达0.879。该混合在CrystalClear（手工人总体F1 0.636）及Dataset 3（自动匹配0.236，暂定）上均非首位。同模型UAE-Large-V1在两个证据性语料库上均保持领先。在37个完成全部三种设置评分的单元中，无一在全部设置中排名第一。
4.3 第二阶段窗口重标注
24个完成的s4x单元在CrystalClear上相对各自基线的宏平均F1均有所下降。在已发现名称之间进行重标注无法修复薄弱的阶段3清单。四个UAE-Large-V1 s4x单元因提示词使用A-Z共26个字母标注候选名称而UAE-Large-V1在Dataset 3上发现66个名称导致IndexError失败。
4.4 BERTopic与FASTopic作为阶段3替代
在CrystalClear上，BERTopic自动匹配宏平均F1为0.011（2个名称），FASTopic为0.018（11个名称），均未超越L12的0.046（22个名称）。在Dataset 3上，BERTopic为0.147（2个名称），FASTopic为0.105（19个名称），均超过L12的0.011（3个名称），但该语料库排名为暂定结果。
4.5 切分代理指标与逐聊天室检查
逐聊天室运行阶段2在Dataset 3上将MiniLM-L6总体F1从0.114提升至0.325，但在CrystalClear上从0.114降至0.092。该干预有助于280聊天室的语料库但损害7聊天室的独立语料库，因此不作为普遍改进呈现。
五、讨论与结论
讨论指出，编码器排名在两个语料库及三种设置间发生反转，这本身就是可泛化性结果：编码器排名不会从66条消息的演练文件迁移至7聊天室30主题文件或280聊天室核心子集。匹配器是决定领先者的关键轴。第二阶段的名称内重标注无法弥补阶段3清单的薄弱。CrystalClear的30个参考类别（包括Finance、Cryptocurrency及Finance_Cryptocurrency三个独立字符串）仍是困难案例。
结论部分确认：无监督切分、命名及时间线构建可以在无种子主题列表的条件下运行于多平台聊天。研究在代理语料库上证明了这一点，而非在扣押证据上。没有配置在全部设置中排名第一。未来工作包括Dataset 3人工网格、CrystalClear网格的独立人工验证、不依赖时间戳范围船体的阶段6成员连接、统一验证匹配器的评估，以及精度-覆盖率评估。Autopsy插件为持续工作，尚未交付。
