《Materials Today Communications》：The statistical unit determines the result: Image-level versus specimen-level evaluation in a 41-image liquid crystal microscopy case study
编辑推荐：
液晶（LC）相识别是材料科学中一项常规但要求较高的任务。向列相（Nematic）和近晶相（Smectic）中间相具有独特的分子排列方式，在偏光显微镜（PLM）下产生特征织构，而人工识别具有主观性、速度慢且依赖专家经验。卷积神经网络（CNN）能够以较高准确率对液
液晶（LC）相识别是材料科学中一项常规但要求较高的任务。向列相（Nematic）和近晶相（Smectic）中间相具有独特的分子排列方式，在偏光显微镜（PLM）下产生特征织构，而人工识别具有主观性、速度慢且依赖专家经验。卷积神经网络（CNN）能够以较高准确率对液晶织构进行分类，这证实了自动化相识别在技术上是可行的。然而，这些演示依赖于包含数万至数十万提取帧的偏光显微镜视频语料库，这种数据规模并不能反映大多数单一实验室液晶研究获取和标注数据的实际情况。在单一实验室环境中，采集和专家标注速度缓慢，一项研究可能仅积累几十幅已标注的静态图像。该领域的研究通常报告在单个图像上计算的单一交叉验证准确率。研究人员关注的担忧主要不在于这种估计不精确——尽管在如此小的样本量下必然不精确——而在于该估计可能回答的并非研究者本意的问题。几十幅偏光显微镜图像的语料库很少是几十个独立制备样本的语料库。单个样本的多个视野、温度或时间点通常被存储为独立的图像文件。当交叉验证在图像层面划分此类语料库时，同一制备样本的相关视图可能同时出现在训练分区和测试分区中。由此产生的估计在未知程度上反映的是模型识别其已见过的制备样本的能力，而非识别该制备样本所呈现相态的能力。这两者中哪一个被测量，取决于划分方案所假定的统计单元，而这一假设很少被明确陈述。这带来的后果不仅限于表面准确率。如果统计单元被错误设定，那么从留出预测中推导出的每一个量都会继承这一错误设定：鲁棒性曲线、校准估计、可解释性证据以及模型选择所做出的超参数选择。因此，一项研究可以内部一致、实现正确，却仍然报告一组连贯的数字，这些数字共同高估了模型在面对从未见过的制备样本时的表现。本研究在一个语料库上、在刻意狭窄的条件下实证检验了这一问题。研究人员保持架构、训练方案、超参数和图像固定不变，仅改变数据划分方式。这从许多研究中存在差异的其他因素中隔离出了统计单元的贡献。该语料库规模较小，结论相应地具有局部性；研究人员不声称存在某个数据集规模阈值，低于该阈值特定做法就变得强制。研究贡献如下：对典型单一实验室液晶语料库的样本结构进行了刻画：41幅图像组织为12个表观样本组，其中向列相类别仅由两组代表，并明确陈述了该分组的不确定性；在相同语料库和流程上对四种评估方案进行了受控比较，仅划分方式不同，显示图像层面与样本感知估计之间存在29个百分点的差异，后者接近多数类基线；留一样本外评估显示退化强烈依赖于样本而非均匀分布，并识别出语料库中导致该现象的特定结构特征；对替代分组定义进行敏感性分析，确立结论源于按制备样本分组这一行为本身，而非所推断的具体分组边界；证据表明在样本感知评估下该语料库不支持稳定的模型选择，嵌套交叉验证的内循环在外层折间选择了三种不同配置；鲁棒性和校准从所有折和种子的汇总留出预测中计算，而非从任何选定的检查点计算，并采用定量定义的损坏算子和适当评分规则；对先前工作中报告的结果进行受控诊断，识别出训练准确率检查点选择步骤——而非数据稀缺——足以复现该结果。
论文解读文章
一、研究背景与问题
液晶（LC）相识别是材料科学中一项常规但高度依赖专家经验的任务。向列相（Nematic）与近晶相（Smectic）中间相因分子排列方式不同，在偏光显微镜（PLM）下呈现特征性织构，人工识别存在主观性强、速度慢且依赖专家的问题。已有研究证明卷积神经网络（CNN）能够以较高准确率对液晶织构进行分类，但这些研究依赖包含数万至数十万帧的偏光显微镜视频语料库，这一数据规模与大多数单一实验室液晶研究的实际数据获取情况不符。在单一实验室环境中，采集和专家标注速度缓慢，一项研究可能仅积累几十幅已标注的静态图像。此类研究通常报告在单个图像上计算的单一交叉验证准确率。然而，几十幅图像的语料库很少是几十个独立制备样本的语料库——同一制备样本的多个视野、温度或时间点通常被存储为独立图像文件。当交叉验证在图像层面划分语料库时，同一制备样本的相关视图可能同时出现在训练和测试分区中，导致估计反映的是模型识别已见制备样本的能力，而非识别新制备样本所呈现相态的能力。这一统计单元假设极少被明确陈述，且其错误设定会波及所有从留出预测中推导的量：鲁棒性曲线、校准估计、可解释性证据以及模型选择的超参数选择。开展这项研究的动因正是量化这一效应在一个真实小规模语料库上的具体大小。
二、研究内容与主要结论
研究人员在41幅偏光显微镜图像上，保持架构（ResNet18）、训练方案、超参数和图像完全固定，仅改变数据划分方式，系统比较了四种评估方案。结果显示，图像层面5折交叉验证（20个种子重复）达到90.7%的准确率，而样本感知3折交叉验证在完全相同条件下仅为61.6%，汇总留出预测准确率为56.6%，接近53.7%的多数类基线，且60个折中有23个低于该基线。留一样本外评估显示退化高度依赖具体样本：未加权平均准确率78.2%，而图像加权平均仅为56.6%，两者相差21.6个百分点，源于最大的向列相螺纹织构组（16幅图像，占语料库39%）仅被正确分类8.7%。对分组定义的敏感性分析表明，两种合理的样本分组方案均给出56%至61%的结果，仅当完全放弃分组（即图像层面评估）时准确率恢复至约92%，证明结论取决于是否按制备样本分组这一行为本身。嵌套样本感知交叉验证中，内循环在20个外层折间选择了三种不同的超参数配置，无任何一种占多数，表明模型选择不稳定。校准分析显示，样本感知评估下81%的留出预测携带高于0.9的置信度，但正确率仅58%，模型在遇到未见样本时不会变得犹豫，而是保持接近最大置信度同时正确率仅略高于常数预测器。鲁棒性分析中，高斯模糊（Gaussian Blur）是三种损坏算子（模糊、噪声、对比度）中破坏性最强的，但样本感知评估下的鲁棒性曲线因起点已接近基线而缺乏实际信息价值。受控双组实验进一步证明，先前报告的结果可由训练准确率检查点选择步骤充分复现，而非数据稀缺所致。
三、关键技术方法
研究采用以下主要技术方法：使用ImageNet预训练的ResNet18作为固定骨干架构，冻结前三个残差块，微调layer4及分类头；采用Adam优化器、固定10轮训练预算、无提前停止或基于验证性能的检查点选择；图像层面5折交叉验证使用StratifiedKFold，样本感知3折使用StratifiedGroupKFold，嵌套交叉验证为4外折×3内折，留一样本外评估逐一留出12个样本组；20个种子（42至61）重复主要方案，5个种子（42至46）用于嵌套和留一方案；鲁棒性评估采用定量定义的三种损坏算子（高斯模糊半径2像素、σ=0.2的加性噪声、对比度因子0.2）；校准采用预测类别约定和正类别约定两种方式，以Brier分数和负对数似然作为主要证据；受控双组实验比较保留最高训练准确率检查点与固定轮数预算两种流程。样本队列来源为单一实验室积累的41幅氢键铁电液晶（HBFLC）复合物偏光显微图像，按文件名词干推断为12个表观样本组。
四、研究结果
4.1 报告准确率取决于统计单元。 图像层面5折交叉验证（20种子）达到90.7%（折标准差8.0%，95%置信区间[89.2, 92.2]），100个折无一低于75.0%；样本感知3折交叉验证在相同条件下仅61.6%（折标准差23.3%，95%置信区间[58.4, 64.8]），汇总留出准确率56.6%接近53.7%的多数类基线。差异集中在向列相类别：向列相召回率从0.977降至0.423，而近晶相仅从0.826降至0.732，与该类别仅有两个样本组有关。
4.2 退化依赖样本而非均匀分布。 留一样本外评估中，未加权平均准确率78.2%与图像加权平均56.6%相差21.6个百分点。16幅螺纹向列相组被留出时准确率仅8.7%，而6幅液滴向列相组被留出时准确率100%，两个向列相组表现方向相反。7个仅含1至3幅图像的小组被完美分类，拉高了未加权平均值。
4.3 对分组定义的敏感性。 粗分组（9组）给出56.3%，严格文件名分组（12组）给出60.7%，无分组（41组，即图像层面）给出92.4%。结论取决于是否按制备样本分组，而非具体分组边界。
4.4 模型选择在样本感知评估下不稳定。 嵌套交叉验证给出70.3%（95%置信区间[62.2, 79.0]），内循环在20个外层折间选择了三种不同配置，无一种占多数，表明所选超参数是特定分区的属性而非任务的属性。
4.5 留出评估下的校准。 期望校准误差（ECE）从图像层面的0.090升至样本感知的0.391，Brier分数从0.162升至0.786，负对数似然从0.613升至2.920。样本感知评估下81%的预测携带高于0.9的置信度，平均置信度0.99，但正确率仅0.58，模型对未见样本保持过度自信。
4.6 留出评估下的鲁棒性。 图像层面评估下，高斯模糊（半径2像素）将准确率从90.7%降至75.9%，是三种损坏中最具破坏性的；样本感知评估下曲线从61.6%开始，模糊后降至基线以下，加性噪声下准确率反而从61.6%微升至66.2%，因起点已接近基线，曲线缺乏实际信息价值。
4.7 对先前训练流程的诊断。 受控双组实验证明，保留最高训练准确率检查点的一臂复现了先前报告的均值85.28%（标准差11.87%，50折中1次近晶类崩溃），而固定轮数预算的一臂给出90.94%（标准差7.67%，无崩溃）。先前归因于数据稀缺的不稳定性实为训练流程选择所致。
4.8 次要观测。 树莓派4上单幅图像推理耗时120至156毫秒（约每秒6至8幅），峰值内存约200MB，证明推理成本非此场景的约束条件。Grad-CAM显著图定位在向列相螺纹缺陷和近晶相带状结构上，但定性显著图证据不能确立泛化能力。架构比较因基线未微调而无法支持结论，已从论文中移除。
五、讨论与结论
讨论部分指出，两个看似合理的评估方案在相同图像、相同模型、相同超参数下产生90.7%和61.6%的准确率，差异源于一个通常隐含的假设——什么构成一次观测。图像层面数字并非算术错误，它正确回答了"给定训练期间可获得同一制备样本的其他图像，模型对留出图像的分类效果如何"这一问题，但读者通常将其解读为对新制备样本的泛化能力，而后者在本语料库上仅为56.6%。"41幅图像"不足以描述该数据集——它同时也是12个表观制备样本，其中两个承载整个向列相类别，以及至多12个真正独立实验单元。统计单元的错误设定波及所有衍生量：嵌套评估下超参数选择不稳定，校准严重过度自信，鲁棒性曲线因起点接近基线而缺乏信息。研究人员将结论分为三个置信层级：在本语料库上已证实的内容（准确率强烈依赖划分单元、结论对分组定义不敏感但对是否分组敏感、逐样本准确率高度不均、超参数选择不稳定、校准急剧退化、训练准确率检查点选择足以复现先前统计）；合理解释（退化与模型依赖训练样本特有特征一致，但无法与仅两个向列相组导致的外推任务区分）；未来工作假设（样本多样性而非图像数量是最值得增加的资源）。研究结论为：在本语料库上，报告准确率由统计单元的选择决定，该选择通常隐含，仅凭图像数量不足以描述此类数据集以供其报告性能被合理解释。凡图像可能源自共享制备样本之处，制备样本数量、划分方案和简单基线应伴随任何报告的准确率一同呈现。
