《Evolutionary Computation》:Lamarckian Inheritance Improves Robot Evolution in Dynamic Environments
编辑推荐:
自然启发方法(如进化计算和终身学习)在推进自主机器人设计方面显示出巨大潜力。然而,在动态环境中,进化与学习联合优化机器人形态和控制器(controllers)的整合仍未被充分探索。本文通过研究拉马克遗传(Lamarckian inheritance,一种允许后
自然启发方法(如进化计算和终身学习)在推进自主机器人设计方面显示出巨大潜力。然而,在动态环境中,进化与学习联合优化机器人形态和控制器(controllers)的整合仍未被充分探索。本文通过研究拉马克遗传(Lamarckian inheritance,一种允许后天特征编码到基因型并传递给后代的机制)在非平稳环境中改进机器人进化的有效性来填补这一空白。研究人员比较了拉马克系统与传统达尔文系统(Darwinian system,后天特征不遗传)。使用模拟模块化机器人在六种不同环境设置中,分析了两个系统的适应度(fitness)进展、学习能力(learning ability)和亲子相似性(parent-offspring similarity)。结果表明,拉马克系统始终优于达尔文系统,在最困难条件下适应度提高高达33%。拉马克系统也从环境变化中恢复更快,在切换到复杂地形时立即显示适应度增益,而达尔文系统适应较慢。真实世界测试验证了拉马克方法的鲁棒性(robustness),因为在最具挑战性环境中进化出的最佳机器人表现出最小的现实差距(reality gap)。这些发现凸显了拉马克遗传作为在动态环境中保持高性能的适应性机器人系统工程工具的潜力。
**论文解读文章**
**研究背景与问题**
在自然界中,生物体与环境的持续交互塑造了其形态、行为及跨代适应能力。受此启发,进化机器人学(Evolutionary Robotics, ER)利用进化算法优化机器人控制器和/或形态,以在特定环境中执行任务。然而,真实世界环境常是动态且不可预测的,要求机器人具备灵活应对变化的能力。现有ER研究大多聚焦于固定形态、单一静态环境下的控制器进化,即使有少数研究探索了多静态环境,也几乎全部基于达尔文进化框架(Darwinian evolution),即后天学习特征不遗传给后代。拉马克遗传(Lamarckian inheritance)允许后天习得特征编码入基因型并传递给后代,在生物学中虽有争议,但在ER中已被证明在简单环境中优于达尔文系统。但此前无研究探讨动态环境中拉马克系统与达尔文系统的对比,也缺乏真实世界验证。因此,研究人员开展本研究,旨在填补这一空白,探究拉马克遗传在动态环境中改进机器人进化的有效性,为工程自适应机器人系统提供新思路。论文发表在《Evolutionary Computation》。
**关键技术与方法**
研究人员采用模拟模块化机器人,基于RoboGen的3D打印组件构建形态,使用组合模式产生网络(Compositional Pattern Producing Network, CPPN)编码形态基因型,控制器基于中央模式发生器(Central Pattern Generator, CPG)网络。进化与学习整合框架中,外层进化循环同时优化形态和控制器,内层学习循环使用可逆差分进化(Reversible Differential Evolution, RevDE)优化控制器参数。拉马克系统通过逆基因型-表型映射将学习后的控制器参数编码回基因型并传给后代,达尔文系统则无此机制。实验设置包括六种环境条件:静态(Flat_0, Rugged_0)、动态慢速(Flat_2, Rugged_2)和动态快速(Flat_5, Rugged_5),每种重复10次独立实验。真实世界验证使用3D打印的物理机器人,在平坦和崎岖地形上交叉验证最佳机器人。
**研究结果**
**任务性能(Task Performance)**
通过点导航任务(target point navigation)评估适应度。结果显示,在所有六种环境设置中,拉马克系统始终优于达尔文系统。在最具挑战性的Rugged_5环境中,拉马克系统的最佳机器人适应度达到2.5,比达尔文系统高约33%。当从简单(平坦)地形切换到复杂(崎岖)地形时,拉马克系统在下一代表现出立即恢复,适应度迅速回升;而达尔文系统则适应缓慢,继续下降一到两代后才开始恢复。从复杂到简单地形切换时,两系统均无明显适应度下降。这表明拉马克系统在复杂动态环境中具有更强的适应性和快速恢复能力。
**学习能力(Learnability)**
通过学习增量(learning delta,学习后适应度减去学习前适应度)量化机器人学习能力。两系统的平均学习增量随世代稳定增长,表明终身学习引导进化搜索向更高学习潜力的形态发展。在环境变化时,学习增量曲线波动,拉马克系统波动更剧烈,且从简单到复杂地形时学习增量明显下降,下降幅度随变化次数增加。拉马克系统的学习增量始终高于达尔文系统,证明拉马克机器人拥有更好的学习能力。
**亲子相似性(Parent and Offspring Similarity)**
控制器相似性:使用余弦相似度(cosine similarity)比较学习后最优亲本与子代脑基因型(CPG权重)。在静态环境中,两系统脑基因距离逐渐减小。在环境突变时,拉马克系统子代脑与亲本相似性突然增加,环境稳定后逐渐下降;达尔文系统则无此变化。这表明拉马克系统中脑不仅适应形态,还适应环境,后天特征对环境变化更敏感。
形态相似性:使用树编辑距离(tree-edit distance, td)计算形态结构亲子相似度。所有环境中,形态相似性随进化逐渐增加,且环境变化时拉马克系统形态相似性保持稳定,因为拉马克继承仅应用于控制器,形态仅通过遗传传递。
**真实世界验证(Real World Validation)**
从不同环境设置中选出最佳机器人,在物理平坦和崎岖地形上交叉验证。拉马克系统在Rugged_5环境中进化的最佳机器人(Lamarckian_Best_Rugged)在两种地形中均表现最佳,且现实差距(sim-to-real gap)最小(0.6867)。双因素ANOVA结果显示,机器人因素显著影响适应度(p<0.001),而地形因素影响不显著(p=0.362),且无交互作用。这证实了拉马克系统进化的机器人在最具挑战性环境中具有最强鲁棒性。
**讨论与结论**
本研究凸显了拉马克遗传在ER中的显著优势,特别是在动态环境中。通过深度整合进化与学习,拉马克系统使机器人能更快地从环境变化中恢复,在适应度(反映任务性能)上优于传统达尔文系统。环境变化显著影响机器人性能,从复杂到简单地形时两系统均能适应,但拉马克系统更快;从简单到复杂地形时,拉马克系统表现出更优的恢复能力。两个关键机制贡献了拉马克系统的成功:1)新生个体具有更高的学习增量,能更有效地积累和优化有利特征;2)在动态环境中,拉马克系统维持更高的遗传连续性,子代控制器和形态更接近亲本,结合后天特征继承实现快速适应。研究结论明确指出:拉马克式的进化与终身学习结合为开发动态环境中的自适应机器人系统提供了明显优势,包括增强性能、提高适应性和减小现实差距。此外,本研究作为拉马克进化的“如果”实验,虽底物为人工而非自然,但进化和学习机器可为“生命可能是什么”提供新见解。