《International Journal of Molecular Sciences》：Entropy Estimation: From Statistical Physics to Classification
编辑推荐：
受统计物理（statistical physics）与信息论（information theory）中共同熵（entropy）形式体系的驱动，研究人员在此表明，为分子构象系综（molecular configurational ensembles）分析所开发的
受统计物理（statistical physics）与信息论（information theory）中共同熵（entropy）形式体系的驱动，研究人员在此表明，为分子构象系综（molecular configurational ensembles）分析所开发的方法可成功用于分类（classification）。熵通过k-th最近邻方法（k-th nearest neighbor method）结合最大信息生成树方法（Maximum Information Spanning Tree, MIST）进行估计，以考虑变量间的互信息（mutual information, MI）。该形式体系利用新样本与训练集之间估计的交叉熵（cross-entropy）对新样本进行分类。该方法在手写数字MNIST（Modified National Institute of Standards and Technology）数据集与功能基因组学（functional genomics）CuMiDa（Curated Microarray Database）数据集上进行了测试。在这些多样化数据集上获得的结果与机器学习（machine learning, ML）方法所得结果相当，或在样本数量较少时更优。与其他分类方法相比，所述方法的优势在于将变量及变量对直接与所分配类别关联；当旨在识别特征与类别之间的因果（causal）关系（例如基因与疾病之间的关系）时，这是一项有价值的特性。
研究背景与问题：统计物理旨在将物质宏观性质与其微观组分物理联系起来，并借助概率规律对自由度取平均以描述宏观性质；熵（entropy，系统无序度或平均信息量的度量）可由微观坐标平均描述。信息论中Shannon熵与经典统计物理熵具有相同形式，熵可解释为获知一个符号或一个微观态后获得的平均信息量。分类任务是将由m个特征表示的样本赋予G个可能标签之一。机器学习（ML）常以交叉熵（cross-entropy，衡量估计分布与真实分布差异的量）为准则，但高维小样本数据易导致过拟合（overfitting，模型过度拟合训练数据而泛化差），且许多方法难以直接将特征及特征对与类别关联。已有研究将熵作为分类解释变量或用于图像分类等。研究人员不是把统计学习映射为统计物理问题，而是利用为分子构象系综（molecular configurational ensembles，分子构象的统计集合）开发的熵估计方法进行分类：将每个标签视为宏观态、未标记样本视为微观态，估计样本归入各可能类别时的熵，并赋予最小熵标签；其意义在于提供与ML可比、尤其适用于小样本且可解释的分类途径，并可直接联系特征和特征对与类别。
关键方法概括（不超过250字）：主要采用k近邻熵估计（k-th nearest neighbor entropy, kNNe，由第k近邻距离估计局部概率密度进而估计熵），并结合最大信息生成树（Maximum Information Spanning Tree, MIST，利用成对互信息构造树以给出熵上界）；SUM-kNNe假设变量独立并求边缘熵和，JOINT-kNNe在多维空间用欧氏距离估计联合熵；以估计交叉熵选择类别，k默认取1至5并取熵估计中位数。样本队列包括随机化像素索引的MNIST手写数字数据集（60,000幅28×28图像、784个像素、10类）和CuMiDa（Curated Microarray Database）手工整理微阵列数据集（源自Gene Expression Omnibus，覆盖多种癌症，至少6样本/类；实际使用69个数据集）。采用ANOVA（analysis of variance，方差分析）+Logistic Regression（LR，逻辑回归）或Random Forests（RFs，随机森林）进行特征选择，奇异值分解（singular value decomposition, SVD）进行特征提取，并以分层K折交叉验证评估准确率。
研究结果：
2.1 Analysis of the MNIST Dataset（MNIST数据集分析）：由于MNIST像素强度离散，kNNe因许多强度距离为0而不适用，研究改用直方图估计每类各像素概率分布，并用Kullback–Leibler散度比较类间像素分布；示例涉及易区分类0与1、最易混淆类3与8及4与9。简单应用该方法达到0.850准确率，线性建模为0.860；考虑像素对的互信息并经MIST后准确率达到0.934，较前者提高0.084；SVD投影约100个主成分时准确率趋于0.854，降维未显著改善。比较标准kNN与kNNe分类可见，第一最近邻时二者分类完全相同；k增大时标准kNN准确率快速下降，而kNNe略升后下降更慢。结论是熵分类可与线性建模相比，纳入成对互信息可显著提升准确率。
2.2 Analysis of CuMiDa Datasets（CuMiDa数据集分析）：
2.2.1 Benchmark（基准测试）：CuMiDa数据集合有少量样本，部分每类仅6个样本，ML易过拟合；该方法还能指出哪些基因及基因对最有助于分类。利用CuMiDa网站提供的指标比较，MIST-kNNe在多数情况下准确率较高，尤其在每类样本数减少时；SVM仅在样本多、类别少的左端区域略优于MIST-kNNe。CuMiDa参考准确率未降维，而MIST需降维；比较使用经ANOVA+LR筛选的80个特征。结论是MIST-kNNe与经典kNN、MLP、RF、SVM等ML分类器总体可比，并在小样本情形下常更优。
2.2.2 Features Dependencies（特征依赖）：全特征时仅进行SUM-kNNe和JOINT-kNNe分析，MIST因需成对MI矩阵而须降维；降维后评估20至100个保留特征。选取9个代表数据集（3个样本多且二类、3个样本多且多类、3个样本少）。在Leukemia GSE28497和Brain GSE50161等多类数据集中，MIST-kNNe和JOINT-kNNe系统性优于仅边缘熵的SUM-kNNe；SUM-kNNe对特征数更敏感，超过40个特征常使其性能下降，MIST常通过成对互信息项缓解该效应，但改善并非普遍；Breast GSE45827中增加特征可提升SUM-kNNe甚至超过MIST-kNNe。全特征时前三个数据集仍可较好分类，类别增加或样本减少时SUM-kNNe准确率下降数个百分点，Breast GSE45827例外。用RF替代ANOVA预过滤后接LR，准确率高度可比但计算成本明显增加（尤其10,000棵树），未继续。SVD特征提取中，超过10个成分导致准确率骤降，2至10个成分结果至少与ANOVA+LR可比；平均而言SVD准确率低于特征选择，多类小样本时下降更明显，甚至差于全特征，但SVD计算速度更快。JOINT-kNNe常为最佳方案，但可解释性降低；MIST-kNNe提供基因间主导互信息链接的稀疏表示，适合同时考虑预测准确率与生物学可解释性的肿瘤应用。结论是特征依赖和降维策略显著影响性能，MIST在可解释性方面具有价值。
讨论总结与结论翻译：讨论指出，用于分子构象系综熵估计的kNNe方法可用于分类，并可逐样本估计熵；以测试样本与各类训练样本概率密度函数之间的估计交叉熵进行分类。不同样本数和类别数的数据集结果显示，该方法与ML方法可比，尤其样本少时更优，因为大量可调参数的方法易过拟合。实际应用MIST需所有特征对的互信息，故须降维；本研究中简单ANOVA与计算更密集的RF结果相似。采用特征选择及MIST处理互信息，是为了突出相关特征相对于噪声无关特征的作用。该方法的主要优势在于以直接且有理论依据的方式将特征与所赋类别联系，不仅分类样本，也可识别样本中最相关特征及特征对；方法完全可解释，可作为现有分类方法的替代或补充工具。研究结论翻译：为分子构象系综熵估计而开发的k-th最近邻熵估计方法（kNNe）已被应用于分类任务；该方法能够从每个样本估计熵，并利用测试样本与各类训练样本概率密度函数之间估计的交叉熵对测试样本分类。在样本数和类别数差异很大的多样化数据集上获得的结果表明，该方法与ML方法可比，尤其当样本数较少时；在此情形下，基于大量可调参数的方法预期易发生过拟合。为实际应用该方法，特别是需要所有特征对互信息的MIST，必须降低样本维度；在所考虑情形中，简单ANOVA分析给出的结果与计算更密集的Random Forests方法相似。采用特征选择以及选择MIST考虑互信息而非其他熵近似方法，是出于突出相关特征相对于噪声无关特征贡献的需要。与其他分类方法相比，kNNe方法的主要优势在于以直接且有理论依据的方式将特征与所赋类别联系起来，使该方法不仅可用于分类样本，也可用于识别样本中最相关特征（及特征对）。因此该方法完全可解释，可作为现有分类方法的有用替代或补充工具。
