《Electronics》：Character, Word and Dual-Granularity TF-IDF Representations for Stance Detection in Low-Resource Manipuri (Meetei Mayek) Editorials: Near-Duplicate Leakage Reverses the Ranking
编辑推荐：
文档级立场检测（document-level stance detection）在数字文本稀少的文字系统所书写的低资源语言中受到的关注很少。研究人员比较了词级（word-level）、字符级（character-level）以及词与字符拼接（双粒度词汇融合，D
文档级立场检测（document-level stance detection）在数字文本稀少的文字系统所书写的低资源语言中受到的关注很少。研究人员比较了词级（word-level）、字符级（character-level）以及词与字符拼接（双粒度词汇融合，Dual-Granularity Lexical Fusion，DGLF）的TF-IDF（term frequency–inverse document frequency）表征，用于对1575篇Meetei Mayek文字书写的Manipuri社论进行三类立场检测。研究人员审计了继承自前期工作的交叉验证分组（cross-validation grouping），发现其漏掉了大多数近重复重印（near-duplicate reprints）：按字符5-gram相似度（character-5-gram similarity）分组时，385篇文档（24.4%）被归入近重复组，而非104篇，其中包括336篇FOR社论中的282篇。在近重复安全分组（near-duplicate-safe grouping）下，所有方法均在相同的八个随机种子和折（seeds and folds）上运行，三种表征的分数均下降，降幅为0.08至0.17 macro-F1，且其排序发生变化。仅字符特征（character-only features）从最后升至第一（文档级macro-F1：0.590），DGLF优于仅词特征（word-only features）（0.563 vs. 0.520；置换检验p < 0.001），但低于仅字符特征，在使用线性SVM（linear support vector machine，linear SVM）时差异明确（Holm校正p = 0.004），在使用逻辑回归（logistic regression）时具有提示性（p = 0.024，Holm校正：0.084），而弹性网正则化（elastic-net regularisation）、卷积网络（convolutional network，CNN）和冻结上下文嵌入融合（frozen contextual-embedding fusion）均未超过仅字符特征。在原始分组下，词n-gram（word n-grams）受益于记忆重印的社论。研究人员建议对小规模报纸语料采用基于相似度的近重复分组，并提出将字符n-gram TF-IDF作为需要超越的基线（baseline to beat）。
论文解读：低资源Manipuri（Meetei Mayek）社论立场检测中的表征比较与近重复泄漏审计
研究背景与问题：文档级立场检测（stance detection，判断文本对特定议题是支持、反对还是讨论）在高资源语言和社交媒体文本中研究较多，但在低资源语言、尤其是数字文本稀少的文字系统中关注不足。Manipuri以Meetei Mayek书写，该文字占有独立Unicode区块，近几十年才重新进入主流教育与印刷，在多语言预训练语料中代表性不足；多语言子词分词器（subword tokeniser）对预训练数据稀少的文字系统服务不足。早期工作构建并标注了Manipuri报纸社论三分类语料，简单稀疏模型在该语料上难以被超过。需要回答哪种稀疏表征最适合该语料：词n-gram把同一词根的屈折形式视为无关词元，字符n-gram可共享子词材料且不依赖子词分词器。更关键的是，早期交叉验证分组以每篇前12个规范化词的精确匹配为键，意图将重印和轻编辑副本放在同一侧，但报纸重印年度节日等社论时常只有小拼写或措辞变化，前12词中一个词改变即可分开近同文档；训练—测试重叠会膨胀评分并奖励记忆而非泛化。因此研究人员审计原分组，按字符5-gram相似度重新分组并重跑全部实验，比较三种表征及三种替代策略，报告修正后果。其意义在于：揭示泄漏不仅膨胀分数还会改变方法排序，并为小报纸语料提出近重复分组建议及字符n-gram TF-IDF基线。
方法概括（≤250字）：研究使用日报Sanaleibak于2019年至2024年中刊载、经四阶段过滤后的1575篇Meetei Mayek Manipuri社论（Discuss 698、Against 541、For 336；三名母语标注者多数投票，平均成对Cohen’s κ=0.76）。比较词级TF-IDF（unigram+bigram，minDF=2，sublinear TF）、字符级词边界感知字符n-gram TF-IDF（n=3–5，minDF=2，sublinear TF）及二者拼接DGLF；主分类器为类加权逻辑回归（L2，C=1），稳健性检验为类加权线性SVM（C=1）。采用按近重复组的5折StratifiedGroupKFold，固定8个种子共40个划分；近重复组由原12词精确键与字符5-gram余弦≥0.5的连通分量构成，并检验0.7、0.9阈值。统计采用文档级八种子折外预测聚合、组级置换检验、组bootstrap与McNemar检验，并对12项比较作Holm校正。替代策略含弹性网、Kim式CNN及冻结IndicBERTv2嵌入融合。
研究结果：
4.1 分组同时改变分数与排序（The Grouping Changes Both the Scores and the Ranking）：通过原12词键与近重复组在相同8种子下比较三种稀疏表征。原键下DGLF、词级、字符级文档级macro-F1分别为0.707、0.689、0.666（DGLF第一、字符最后）；近重复组下分别损失0.144、0.169、0.075，排序变为字符级0.590第一、DGLF0.563第二、词级0.520最后。下降集中于FOR类：原键下三种FOR F1为0.72–0.78，近重复组下词级0.31、DGLF0.43、字符级0.54，AGAINST与DISCUSS变化≤0.04；84% FOR社论有近重复，原键下测试折FOR社论训练折常有轻编辑副本，精确词n-gram最易识别。
4.2 近重复分组下所有方法比较（Comparison of All Methods Under Near-Duplicate Grouping）：通过同40折比较。字符级在两个分类器下最佳；DGLF优于词级但未达字符级，说明加词块降低性能。线性SVM排序同逻辑回归但整体较低（词级0.472 vs. 0.520）；弹性网改善词级但低于字符级；CNN最差（文档级0.386；FOR F1 0.02）；词特征与冻结上下文嵌入融合在首512 token时略优于词级（0.536；+0.016，置换p=0.014，Holm后不显著），全文档覆盖不显著（0.527；p=0.24），均远低于字符级0.590和DGLF0.563。
4.3 文档级检验（Document-Level Tests）：通过每文档每种子留出一次，八种子折外预测聚合后作配对比较。DGLF较词级+0.043（95%组bootstrap CI [+0.018,+0.071]；置换p=0.0008；McNemar p=0.003；校正折级p=0.002）；字符级较词级+0.071（CI [+0.037,+0.104]；置换p<0.001；McNemar p=0.005）；字符级较DGLF+0.027（CI [+0.005,+0.052]；置换p=0.024；校正折级p=0.018），McNemar不区分（p=0.41）因准确率差<1个百分点，macro-F1差异来自FOR类（字符0.54 vs. DGLF0.43）；线性SVM同模式且差距更大（DGLF低于字符0.036，置换p=0.0006）。12项比较Holm校正后，字符级和DGLF相对词级的增益、SVM的DGLF vs. 字符差异、CNN缺陷仍显著（校正p≤0.005），逻辑回归DGLF vs. 字符（校正p=0.084）、弹性网增益、嵌入融合增益不显著，视为提示性。原键下DGLF超字符+0.041（CI [+0.024,+0.061]；置换p<0.001；校正p=0.001），超词+0.018（置换p=0.024；校正p=0.084）。
4.4 分组阈值敏感性（Sensitivity to the Grouping Threshold）：通过重复阈值0.9、0.7、0.5（同8种子40划分）。每个阈值排序均为字符级>DGLF>词级，三者分数均远低于原键；字符级高于DGLF的折比例分别为82%、92%、88%，原键下2%；仅分组近同文档（cosine≥0.9）已移除大部分膨胀，说明效应主要来自紧密重印而非松散相似社论。
4.5 分类别结果（Per-Class Results）：通过近重复分组下每类F1。AGAINST与DISCUSS在三种表征间相似（0.60–0.64）；差异几乎全在FOR：词级0.31、DGLF0.43、字符级0.54；重印不可记忆后FOR最难，字符级帮助最大。
讨论部分总结：排序改变源于原键下测试折多数FOR社论在训练折有重印轻编辑副本；词unigram/bigram对线性模型识别副本最具体，词表征从泄漏获益最多（词级损失0.169 vs. 字符0.075），先前“融合优于字符”是分组伪影；近重复受控后词块给字符块加噪声多于信号，DGLF居中。字符n-gram在屈折和变体形式间共享子词材料（语料57%词型仅出现一次），免疫于预训练子词分词器词汇覆盖问题，且比精确词n-gram更稳健于重印间小拼写差异；但驱动分类的字符n-gram对应形态、正字法、命名实体还是反复社论措辞未确立，形态解释仅为假设。弹性网、CNN、嵌入融合均未达字符级；CNN最差且在FOR类崩溃，符合约每折1000训练文档时线性模型在稀疏特征上的样本效率优势；嵌入融合最多小幅增益，全文档嵌入不帮助，提示截断不是限制因素。实践上，小报纸语料交叉验证应按内容相似度分组而非文本前缀精确匹配；泄漏可达0.08–0.17 macro-F1并改变排序；该规模与脚本情境下，类加权线性分类器上的字符n-gram TF-IDF是待超越基线，控制泄漏后加词n-gram无助。局限包括单一语料/报纸/语言/脚本，泄漏效应依赖重印频率；近重复组由阈值定义，校正分数仍是上界；26组（86文档）含不同标签，指示标注噪声；形态归因未证明；神经模型各只测一种配置；早期实验同一原键，绝对分数可能同样膨胀，正在重评。
研究结论（第6节翻译）：研究人员比较了词级、字符级和拼接（DGLF）TF-IDF表征，用于Meetei Mayek书写的Manipuri文档级立场检测。审计继承自早期工作的交叉验证分组表明，它漏掉了大多数近重复重印，尤其在FOR社论中。在基于相似度的近重复分组下，所有方法均在相同八个种子和折上运行，所有分数下降0.08至0.17 macro-F1，表征排序改变：仅字符特征从最后升至第一（文档级macro-F1：0.590），DGLF优于仅词特征（0.563 vs. 0.520；p < 0.001）但低于仅字符特征，在线性SVM中明确（Holm校正p = 0.004），在逻辑回归中具有提示性（p = 0.024，Holm校正：0.084），弹性网正则化、CNN和冻结上下文嵌入融合未超过仅字符特征。先前融合词与字符特征的优势来自词n-gram识别重印社论。研究人员建议在小报纸语料评估中采用基于相似度的近重复分组，并将字符n-gram TF-IDF作为该情境下立场检测的基线。未来工作包括字符块的特征归因、在近重复分组下重评早期实验，以及在其它低资源、脚本边缘语料上复现。
