《Frontiers in Plant Science》：Selection-aware metrics provide complementary decision-level information in plant genomic prediction
编辑推荐：
育种项目越来越需要能够在异质环境中支持可靠选择的预测系统，这使得跨环境基因组预测成为多环境作物改良的重要组成部分。然而，模型评估仍然严重依赖皮尔逊相关系数（Pearson’s r），这是一种全局性汇总指标，可能无法完全反映哪些排名靠前的候选材料会被推进。研究人
育种项目越来越需要能够在异质环境中支持可靠选择的预测系统，这使得跨环境基因组预测成为多环境作物改良的重要组成部分。然而，模型评估仍然严重依赖皮尔逊相关系数（Pearson’s r），这是一种全局性汇总指标，可能无法完全反映哪些排名靠前的候选材料会被推进。研究人员利用玉米和柳枝稷数据集作为聚焦案例研究，在环境内和定向跨环境评估中，比较了rrBLUP/岭回归（rrBLUP/ridge）、轻量梯度提升机（LightGBM）、多层感知器（MLP）以及混合效应深度神经网络（MeNet）的全局预测能力与表型参照候选诊断指标。本研究并非提出新的选择指标，而是采用条件比较框架，区分名义上的指标反转与具有相似Pearson’s r的模型之间严格的决策层面不一致性。在以r为最优的模型与以候选指标为最优的模型中，有25%–55%的评估情境存在分歧，但在近r模型（|Δr| ≤ 0.02）中，候选指标的大幅差异并不常见。尽管如此，具有几乎相同r值的模型并不总是优先考虑相同的候选材料：在玉米中，LightGBM和rrBLUP/ridge平均共享72.9%的前5%候选材料，在柳枝稷中则为68.8%。这些结果表明，Pearson’s r对于广泛的模型比较仍具参考价值，但不能完全描述决策层面的行为。因此，表型参照候选诊断最适合作为有针对性的补充工具，用于模型具有相似预测能力、选择强度高或候选材料身份在跨环境中具有重要意义的情况。
论文解读：基于选择感知指标的植物基因组预测决策层评估
一、研究背景与问题
基因组预测已成为现代植物育种的核心工具，它能够利用全基因组标记信息对表型表现或育种值进行早期预测。随着育种项目需要在多个环境（environment）中评估材料，如何在不同环境下做出稳定可靠的选择决策成为一个关键挑战。基因型与环境互作（genotype-by-environment interaction）不仅影响性状表达，也可能改变候选材料的排序，使得多环境基因组预测不仅是预测能力（predictive ability）问题，更是决策一致性问题。
目前最常用的模型评估指标是皮尔逊相关系数（Pearson’s r），即预测值与观测表型之间的相关性。这一指标因其简单、尺度无关且可跨数据集比较而被广泛采用。然而，实际育种决策往往关注的是更窄的问题——哪些个体应当被推进？以往研究已开始关注选择集的一致性、排序质量等指标，但对于一个更精细的比较问题尚未充分回答：当竞争模型在全局预测能力上已经非常接近时，它们在决策层面产生足够大的差异的频率有多高？在定向跨环境转移下，相同的候选材料能否被保留？
针对上述问题，本研究开展了一项聚焦的实证评估，旨在建立一个条件性框架，用于判断何时已有的表型参照候选诊断指标能提供超越全局预测能力的额外信息。
二、研究方法与技术路线
研究人员采用了两个环境内预测任务和一个玉米跨环境预测任务。数据来源包括：源自CUBIC相关NCII杂交资源（Xiao et al., 2021）的玉米F1杂交种穗重（ear weight, EW）数据集，包含5831个样本和5000个SNP标记；以及源自公共G3基因组预测基准（Azodi et al., 2019）的柳枝稷高度（height, HT）数据集，包含514个个体和10000个SNP标记。跨环境分析使用了来自北京、河南、河北、吉林和辽宁五个地点的玉米穗重数据。
关键技术方法包括：（1）四种预测模型的比较：rrBLUP/岭回归（rrBLUP/ridge）作为线性收缩基线，轻量梯度提升机（LightGBM）代表非线性梯度提升树集成，多层感知器（MLP）作为通用神经网络比较器，以及在定向跨环境分析中加入的混合效应深度神经网络（MeNet）；（2）五重复×五折嵌套交叉验证（nested cross-validation）用于环境内评估，超参数通过内层五折交叉验证以均值Pearson’s r为准则进行选择；（3）定向跨环境评估采用20个训练≠测试环境对，模型拟合仅使用源环境数据，目标环境表型不参与调参或验证；（4）选择性能指标包括：观察到的top-k恢复率（observed top-k recovery）、标准化观察选择差（standardized observed selection differential, OSD@k）以及预测候选集重叠度（predicted candidate-set overlap），选择强度k取5%、10%和20%。
三、研究结果
3.1 环境内模型表现呈现清晰的模型层级模式
在玉米数据集中，rrBLUP/ridge和LightGBM表现出非常相似的预测能力（均值Pearson’s r分别为0.803和0.796），而MLP较低（0.749）。在k=5%时，三个模型的top-k恢复率分别为0.479、0.468和0.416。柳枝稷数据集预测难度更大，LightGBM的Pearson’s r最高（0.581），其次为rrBLUP/ridge（0.558），MLP最低（0.312）。这表明明显较弱的模型实现通常在全局和候选诊断指标上都较弱。
3.2 跨环境预测保留了广义的模型层级模式
在20个定向训练-测试环境对中，LightGBM、rrBLUP和MeNet的均值Pearson’s r大致重叠（分别为0.408、0.402和0.396），而MLP较低（0.345）。在k=5%时，四个模型的均值top-k恢复率分别为0.202、0.193、0.183和0.173。尽管总体层级相似，但具体环境对的变异较大。
3.3 以r为最优的模型并非总是选择最优模型
在环境内任务中，以r为最优的模型与以恢复率为最优的模型之间的名义不一致性在k=5%、10%和20%时分别出现在40.0%、42.0%和48.0%的情境中。在跨环境任务中，这一比例为45.0%、55.0%和25.0%。这些反转率表明不同指标可能指向不同的最佳模型，但需注意名义反转可能由极小的差异驱动。
3.4 严格的近r不一致性存在但不频繁
将比较范围限定在|Δr| ≤ 0.02的近r模型对后，环境内分析中严格恢复不一致性在k=5%、10%和20%时分别占9.1%、15.2%和15.2%；跨环境分析中则更低，仅在k=5%时有2.1%的不一致性。敏感性分析证实，强近r不一致性始终属于少数模式。
3.5 代表性不一致案例揭示了两种决策层面路径
第一个路径是恢复不一致，即候选材料周转改变了表型定义的高表型候选材料的回收数量。第二个路径是组成不一致，即使恢复率相同，非共享的候选材料在观察表型上存在差异，从而影响OSD@k。跨环境案例进一步显示，模型在全群体中保持强秩相关，但在选择的上尾部分一致性急剧下降。
3.6 相似r值的模型选择了部分不同的顶级候选材料
在玉米中，LightGBM和rrBLUP/ridge的平均|Δr|仅为0.0077，但其预测前5%集的平均重叠度为72.9%，意味着约四分之一的候选材料身份不同。柳枝稷中的平均重叠度为68.8%，最小值仅为50.0%。
四、讨论与结论
本研究的贡献在于建立了一个条件性评估框架，将全局预测能力与表型参照候选行为联系起来。研究表明，Pearson’s r对于广泛的模型比较仍具参考价值，但近r不一致性和候选集分析能够识别出那些全局性能相似但选择结果不同的比较子集。这种条件性工作流的主要实践创新在于：当r差异很小或选择强度很高时，添加表型参照候选诊断指标；当候选材料身份本身具有重要意义时，进一步检查候选重叠和案例层面的上尾排序。
研究结论明确指出：观察到的top-k恢复率、OSD@k和预测top-k重叠度应被视为对已有预测能力、误差、偏差、校准和排序指标的针对性回顾性补充。由于这些诊断指标是针对观察或调整后的表型进行评估的，它们本身并不能证明恢复了最高的真实育种值、实现了遗传增益或未来世代的选择响应。此类补充性诊断指标可能有助于在异质环境中做出更透明和稳定的基因组选择决策，并在多环境育种项目中发挥作用。
