《Scientific Reports》：An informed regression-based knowledge distillation framework for simultaneous prediction of physical and mechanical properties of thermoset epoxy polymers
编辑推荐：
由于具有多功能特性，环氧聚合物被广泛使用，然而其复杂的三维分子结构、多组分性质以及缺乏经过整理的数据集限制了机器学习 (ML) 在这些材料中的应用。现有的 ML 研究很大程度上局限于模拟数据、特定性能或狭窄的成分范围。为了解决这些局限性，研究人员开发了一种 i
由于具有多功能特性，环氧聚合物被广泛使用，然而其复杂的三维分子结构、多组分性质以及缺乏经过整理的数据集限制了机器学习 (ML) 在这些材料中的应用。现有的 ML 研究很大程度上局限于模拟数据、特定性能或狭窄的成分范围。为了解决这些局限性，研究人员开发了一种 informed regression-based knowledge distillation (R-KD) 框架，用于预测热固性环氧聚合物的多种物理性能（玻璃化转变温度、密度）和力学性能（弹性模量、拉伸强度、弯曲强度、粘合强度）。该模型在涵盖不同单体类别（9种树脂和37种固化剂）的实验文献数据上进行了训练。每个目标性能的最佳单任务回归模型被用作教师模型，用于捕捉非线性特征-性能关系，而统一的神经网络学生模型则同时学习所有性能的精炼知识。通过将目标性能编码为输入特征，学生模型利用了跨性能相关性。使用 RDKit 从 SMILES 表征中提取的分子级描述符创建了一个 physics-informed 模型。对比分析表明，与多任务神经网络 (NN) 基线模型和传统 ML 模型相比，其预测精度更优或相当。通过在相关性能之间共享信息，同时进行的多性能预测进一步提高了准确性。所提出的框架能够加速具有定制性能的新型环氧聚合物的设计。
环氧聚合物作为一种热固性材料，凭借高强度、优异附着力、绝缘性、低收缩率及耐化学性等多功能特性，在航空航天、 marine、汽车、基础设施及电子电气等行业中具有广泛应用。各行业对其功能需求差异显著，例如航空航天强调粘合强度与轻量化，而基础设施领域则关注拉伸与断裂性能。环氧聚合物的基本组分为树脂与固化剂，两者交联形成致密三维网络，其最终性能高度依赖于组分类型、比例、固化条件及聚合度。传统的试错型实验方法严重制约了具备多功能特性的高性能环氧聚合物的研发进程。
尽管基于大数据的机器学习 (ML) 方法在均聚物和共聚物的性能预测与设计中已得到广泛应用，但环氧聚合物由于涉及多种成分、具有复杂的三维结构，且缺乏经过整理的大型数据集，使得ML在该领域的应用极为受限。现有的ML研究多依赖于分子动力学 (MD) 的模拟数据，或仅针对单一目标性能、狭窄成分范围进行预测，鲜有涵盖广泛实验数据的多性能同步预测模型。为了解决这些局限性，研究人员开展了一项创新研究，旨在开发一种能够仅依托组分类型与工艺参数，即可同步预测热固性环氧聚合物多种物理与力学性能的ML模型。该研究提出了基于回归的知识蒸馏框架，并发表于《Scientific Reports》。该研究得出结论，通过教师-学生网络架构与分子级特征嵌入，能够有效克服数据稀缺难题，实现跨性能知识转移，显著提升预测精度。这一成果为加速设计具备定制特性的新型环氧聚合物开辟了新路径，对推动材料基因组学及高通量筛选具有重要意义。
在关键技术方法方面，研究人员从多篇文献中收集了包含213个数据点的实验数据队列，涵盖9类树脂与37类固化剂。研究采用回归知识蒸馏 (R-KD) 架构，首先利用网格搜索与五折交叉验证为每个目标性能筛选出最优的单任务传统回归模型作为教师模型。随后，构建了一个多任务神经网络作为学生模型，通过引入可学习的目标性能嵌入向量实现多性能同步预测。针对部分性能数据稀缺问题，利用高精度教师模型生成合成标签以进行数据增强，并基于知识蒸馏损失函数进行训练优化。最后，利用 RDKit 开源工具从单体分子的 SMILES 字符串中提取包含原子、化学键、环状结构等在内的分子级描述符，替换原有的类别标签，构建了 informed physics-informed 模型。
**Improvement due to informed configuration**
通过对比包含分子描述符的 informed 模型与仅使用标签编码的非 informed 模型的预测精度，研究发现 informed 模型在大多数目标性能上表现更优。其中弯曲强度 (\(\Delta R^2\) = +0.38)、玻璃化转变温度 (\(\Delta R^2\) = +0.30) 和粘合强度 (\(\Delta R^2\) = +0.27) 的提升最为显著，证明了将化学结构信息以物理意义明确的分子描述符形式作为输入，能够大幅增强学生模型对结构-性能关系的泛化能力。
**Improvement due to simultaneous prediction of properties**
通过比较多任务同步训练与单任务独立训练的性能表现，研究发现同步预测由于跨性能知识转移机制，在多数性能上获得了更高的预测精度。特别是对于实验数据较为稀缺的粘合强度、弯曲强度和弹性模量，其预测精度显著提升。这表明共享的多任务骨干网络起到了隐式正则化的作用，使得数据丰富性能的梯度更新能够有效规范数据稀缺性能的学习过程。
**Improvement due to knowledge distillation**
通过将 R-KD 框架与未包含合成数据增强与知识蒸馏模块的多任务神经网络 (MT-NN) 基线模型进行对比，证实了知识蒸馏机制对整体预测精度的关键贡献。R-KD 框架在所有六个目标性能上均优于基线模型，尤其在粘合强度和拉伸强度上取得了极大提升，有效解决了传统MT-NN模型无法泛化的难题。
**Comparison with conventional ML models**
通过与传统单任务回归模型进行性能对比，研究发现 R-KD 框架在多数性能上实现了相当或更优的预测精度。对于数据稀缺的性能，R-KD 框架表现出明显优势；对于数据较丰富的性能，也保持了高精度。此外，该框架仅需单一统一模型即可同步预测所有目标性能，消除了维护多个独立模型的需要。
在研究结论部分，研究人员总结道，该研究成功开发了一种 informed regression-based knowledge distillation (R-KD) 框架，实现了对热固性环氧聚合物多种物理与力学性能的预测。该框架采用了混合教师-学生架构，利用最佳单任务回归模型指导多任务神经网络，通过蒸馏损失函数在继承教师模型泛化能力的同时保持与实验观测的一致性。该模型通过引入分子描述符和可学习的性能嵌入，实现了跨性能知识转移，仅需分子的 SMILES 表征与工艺参数即可高效评估新型配方。尽管该研究取得了显著成果，但由于实验数据源自多篇独立文献，存在测试条件及制备工艺差异导致的变异性。未来研究将聚焦于预测配方的实验验证、向其他热固性聚合物体系的拓展，以及定量敏感性分析，以进一步强化模型的可解释性并推动可持续材料设计的发展。
