《Applied Sciences》：A DIKWP-3No-4S Semantic White-Box Evaluation Framework for Chinese Dialect Recognition by Large Language Models
编辑推荐：
大语言模型（large language models, LLMs）的中文方言识别无法仅通过终端标签准确率得到充分评估，因为正确标签仍可能建立在薄弱证据、错误知识映射或校准不佳的不确定性之上。研究人员提出DIKWP-3No-4S作为语义白盒（semantic
大语言模型（large language models, LLMs）的中文方言识别无法仅通过终端标签准确率得到充分评估，因为正确标签仍可能建立在薄弱证据、错误知识映射或校准不佳的不确定性之上。研究人员提出DIKWP-3No-4S作为语义白盒（semantic white-box）评估框架，其中外部编码的语义关系与评分规则具有可检视性，而被评估的LLM仍保持黑盒状态。原始受控实验使用六个基础案例，覆盖Clean及三种3-No条件，生成270次重复观测。为加强框架的前瞻性评估，研究人员新增18个独立案例，其参考标准在响应收集前冻结。三个LLM在Clean及一种预先指定的3-No扰动下接受测试，产生108条响应，由两位专家独立盲评。案例级置换检验（permutation test）、案例聚类自助法（case-clustered bootstrap）区间及Holm校正显示，终端标签准确率保持稳定，但判断边界与条件适应得分出现显著变化。评估者间分析显示，判断边界与条件适应得分具有较强一致性，而若干细粒度语义指标——包括证据解释质量、D → D激活、路径质量及SemA——显示出较低或接近零的评估者间信度，因此被视为探索性而非经过验证的指标。这些结果支持DIKWP-3No-4S用于外部语义审计与故障定位，但并未确立DIKWP结构化本身所带来的独立终端性能优势。
**一、研究背景与问题：为什么需要语义白盒评估**
大语言模型（Large Language Models, LLMs）的应用正从标准化书面语向多语言、区域及非标准语言场景扩展，中文方言识别是这一广泛挑战的代表性任务。方言识别并非简单的类别匹配：模型需要整合词汇、语法、体标记、否定形式、句末助词及正字法等多维线索，同时真实方言文本往往具有口语化、地域标记及正字法变异等特征，可能包含谐音替代、普通话混用、网络书写惯例及语境省略等现象。
然而，传统方言识别评估主要聚焦于预测类别与参考标签的一致性，使用准确率、召回率等指标。对于生成式LLM而言，模型还能引用证据、比较候选方言、解释语言学依据、报告置信度并陈述不确定性。将这类响应简化为单一标签会丢弃大量具有诊断价值的信息。一个响应可能在达到正确标签的同时，将共享线索当作排他性证据使用、误读语法形式，或表达与证据不相称的置信度；反之，一个响应可能未完全匹配首选标签范围，却正确识别了多数语言现象并表达了恰当的不确定性。因此，终端正确性必须与响应中所表达的证据及判断的可靠性相区分。
这种区分在复杂方言输入下尤为重要。短文本可能省略诊断性形式，语境标签可能与语言学证据冲突，实际书写可能包含变体、谐音替代或非标准转写。这些情形分别对应3-No框架中的不完整（NoCP）、不一致（NoCS）与不精确（NoPR）条件。此类扰动可能在改变最终标签之前就已影响证据使用、冲突处理、置信度及判断边界。仅靠标签准确率不足以定位响应在何处受到影响。
DIKWP网络化语义表示为分析这些响应级差异提供了途径。该框架包含五个要素：数据（Data, D）、信息（Information, I）、知识（Knowledge, K）、智慧（Wisdom, W）与目的（Purpose, P），这些要素作为语义节点可形成25种有向交互模式。四个空间——概念空间（ConC）、认知空间（ConN）、语义空间（SemA）与意识空间（ConS）——分别评估概念边界、显性关系组织、语言-语义解释及社会风险/目的边界。由此，3-No界定输入条件，DIKWP指明被观测的语义关系，四个空间规定评估该关系的属性维度。
需要强调的是，"语义白盒评估"中的"白盒"属性属于评估侧——即基于DIKWP的显式语义评估表征及其文档化评分程序，而非被评估的LLM本身。评估者将可观测的文本证据映射到任务适用的DIKWP关系，并分别评估关系适用性、显式激活以及已激活且适用关系的质量。这些映射是评估者构建的分析表征，并非对LLM内部推理的观测或重建。被评估的LLM仍为黑盒：模型参数、注意力状态、隐藏表征及私有推理轨迹均不被访问。
**二、研究内容与主要结论**
本研究包含两个互补的实证组成部分。原始受控实验使用粤语/粤方言、闽南语及客家话三个方言群的六个基础短文本案例，每个案例在Clean、NoCP、NoCS和NoPR四种条件下实例化，在五个LLM上评估，经反馈及等信息消融分析后共产生270条重复观测。独立的前瞻性验证则引入18个新构建案例，其参考标准在模型响应收集前冻结，每个新案例在Clean及一种预先指定的3-No条件下于三个LLM上测试，产生108条响应，由两位专家独立盲评后再行裁定。主要前瞻性分析以18个案例为独立单元，采用案例级置换检验、案例聚类自助推断及多重性校正。
研究得出以下核心结论：终端标签准确率在扰动条件下保持相对稳定，但判断边界与条件适应得分出现显著变化；3-No扰动主要改变模型如何表达证据限制、冲突处理及任务要求的完成程度，而非直接导致标签错误。NoCS条件下最突出的错误是冲突处理不足，NoPR条件下最突出的错误是非标准形式识别不足。证明性数据确立了DIKWP-3No-4S作为外部语义审计与响应级故障定位的评估侧框架价值，但未确立DIKWP结构化本身带来独立的终端性能优势。评估者间分析显示，判断边界与条件适应指标具有较强一致性，而证据解释质量、D → D激活、路径质量及SemA等细粒度语义指标信度较低，仅应作为探索性诊断指标。
**三、关键技术方法**
研究人员主要采用以下关键技术方法：（1）3-No受控扰动体系——NoCP删除关键语言形式以降低证据完整性，NoCS在提示中注入与文本证据冲突的错误方言先验，NoPR通过最小替换构建非标准表达，三者均不提前告知模型；（2）DIKWP关系编码与四空间评估——将响应文本映射至25种有向交互关系中的任务相关子集（D → D、P → D、D → I、I → K、K → W、W → P），对每个适用关系先判定激活再评估质量，并以ConC、ConN、SemA、ConS四个空间从不同属性维度评估关系质量；（3）前瞻性冻结验证设计——18个新案例的文本、可接受标签范围、核心线索、置信度区间、判断边界、适用关系及评分规则均在模型响应收集前由两位专家审阅并冻结，产生108条响应并由两位专家以不同随机顺序和盲标识独立评分；（4）双专家独立盲评与裁定——两位专家在互不知晓对方评分及模型身份的情况下独立完成全部评分，原始评分文件在比较前锁定，评估者间一致性仅基于裁定前独立评分计算；（5）案例级统计推断——以18个案例为独立单元，采用精确符号翻转置换检验、10,000次重复案例聚类自助法及Holm多重性校正。
**四、研究结果**
**4.1 总体表现：终端准确率掩盖的过程差异。** 原始实验（120条初始响应，六案例×五模型×四条件）的总体检验显示，标签准确率无显著条件差异，但判断边界得分存在显著总体效应，NoCP显著高于Clean；错误计数方面NoPR显著高于NoCP。NoCS下最突出的错误为冲突处理不足（E2，26.67%），NoPR下为非标准形式识别不足（E3，36.67%）。3-No使响应变长但证据密度降低。前瞻性验证中，Clean与合并3-No的响应级标签准确率分别为100.0%与96.3%，差异不显著；判断边界得分从1.259升至1.796（Holm校正后显著），条件适应得分从3.870降至3.389（Holm校正后显著）。
**4.2 DIKWP路径与四空间结果。** D → I和I → K在各条件下持续激活；K → W的条件质量在各条件下均低于W → P；NoCS下P → D并非每条响应均激活；NoPR下D → D存在明显的激活缺口，但激活后条件质量普遍较高。四空间响应级平均条件质量为ConC = 2.6458、ConN = 2.6306、SemA = 2.2667、ConS = 2.3014，ConC和ConN显著高于SemA和ConS。前瞻性验证中，NoPR条件下D → D仅在18条响应中的2条（11.1%）被判定激活。
**4.3 三种反馈类型的修复效果。** 传统语言学反馈（LF）、DIKWP基础反馈（DF）与DIKWP引导语言学反馈（DLF）的对比显示：路径质量存在显著总体差异，LF的路径质量显著高于DF；DLF的路径质量显著高于DF，但与LF无显著差异；三种反馈类型的终端标签准确率均无显著差异。DLF在证据密度上呈描述性优势但未达显著水平。当前数据不支持"DIKWP引导语言学反馈显著优于传统语言学反馈"的强主张。
**4.4 等信息消融结果。** 当平实反馈（PF）与DIKWP结构化反馈（SF）包含相同核心语言学事实时，11项预设主要比较在Holm校正后无一显著。SF在路径质量、线索复合得分及证据密度上有微小正向数值趋势，但PF在残余错误、控制成功率、归一化修复增益及复合质量上数值更优。当前设计未确立DIKWP结构化的独立性能优势；这些非显著结果也不构成PF与SF等价性的证据。
**4.5 专家一致性与裁定结果。** 原始20响应子样本中，标签、置信度、输入条件识别、判断边界及条件适应等相对客观条目的一致性较高，而细粒度证据解释与路径质量的一致性较低。前瞻性108响应全样本中，标签状态原始一致性98.1%，判断边界与条件适应得分的ICC(3,1)分别为0.844与0.819；证据解释质量加权κw接近零，SemA的ICC(3,1) = 0.044，D → D激活的κ = 0.049。裁定前共对92条响应中的517个评分单元分歧进行联合裁定。
**4.6 前瞻性验证结果。** 12项预设总体结局中有两项通过Holm校正：判断边界得分上升（平均差=0.537，95%CI [0.370, 0.685]，pHolm = 0.0018），条件适应得分下降（平均差=-0.481，95%CI [-0.778, -0.222]，pHolm = 0.0430）。线索复合得分下降在多重性校正前显著（p = 0.0095）但校正后不显著。NoCP、NoCS、NoPR各条件内子组分析均为探索性，无一通过条件内Holm校正。
**4.7 参考标准敏感性分析。** 对全部120条阶段一响应进行S0（初始冻结标准）与S1（专家共识最终标准）审计，核心评分矩阵零变化；30条父级初始响应的S0得分与最终共识值完全一致（30/30）。参考标准的语言学校准改变了若干标准的措辞与范围，但未改变任何阶段一报告得分的条件均值或推断结论。
**五、讨论与结论总结**
讨论部分指出，正确标签可掩盖可观测语义证据的薄弱环节——终端标签准确性比证据论证与限定方式更为稳定。SemA与ConS应被解释为探索性薄弱信号而非固有空间排序：NoPR对SemA尤为苛刻，因为非标准形式恢复与语义解释必须同时进行；ConS更关乎校准，通用性限定语如"可能"或"存在风险"若未指明当前输入特有的局限则不足为凭。DIKWP语义组织与领域特定语言学知识具有互补作用，但DIKWP结构化使语义关系更可见、可追溯的能力与稳定提升终端表现的能力是两个独立命题。等信息消融将证据边界限制为"该样本中未发现稳定的独立性能增益"。
本研究结论为：DIKWP-3No-4S作为LLM中文方言识别的语义白盒评估框架，"白盒"指外部语义编码与评分的可检视性而非对被评估模型内部机制的访问。实证证据支持该框架主要用于外部语义审计与响应级故障定位，而非重建LLM内部推理。评估者信度分析显示若干任务级指标具有较强一致性，但多项细粒度指标信度较低或接近零，应保持探索性地位。研究局限性包括受控短文本案例而非大规模自然语料库基准、方言覆盖面有限、未使用多轮独立随机重跑、参考标准校准时序及细粒度评分锚点待加强等。未来研究应扩展独立案例覆盖、强化评分锚点与信度验证、实施更严格的版本控制与重复模型运行，并在更广泛的语言与语义任务中测试该框架。
