微型发育技能方法驱动的资源受限毫米机器人自主发育研究

《IEEE Transactions on Cognitive and Developmental Systems》：tinyDSM: A Framework for Skill Modeling and Development for Resource-Constrained Millirobots

　　在本研究中，我们探讨了使小型资源受限系统（如厘米级毫米机器人）能够在全生命周期内自主探索、学习并适应其能力的发育机制。通过我们提出的微型发育技能方法（tinyDSM），将内在动机与基于适应度的评估相结合，利用强化学习算法引导智能体的技能获取与适应。我们力求最小化硬编码技能，同时鼓励在预定义的知识图谱内自主发展新技能，无需外部指定的任务序列。我们方法的一个关键重点在于编码最少的先验通用知识，作为系统的起点，使其在此基础上进一步学习系统特定的依赖关系。因此，从设计上看，我们的方法旨在覆盖通用应用领域。该方法论基于：（a）具有内在动机的发育机制，以及（b）认知架构（知识、推理、学习），同时（c）利用最少资源。它采用层次知识图谱和运动学推理器来建模和评估简单及高级运动相关技能。在实验中，我们使用体积为36立方厘米的资源受限毫米机器人，搭载树莓派Pico 32位微控制器，在9KB内存中集成了除摄像头系统外的所有描述功能和能力。从学习最基本的运动技能开始，该毫米机器人自主地从简单线性和角运动发展到复杂几何图案，整个过程仅需15分钟。为补充物理实验，我们进行了基于仿真的分析，以实现跨学习算法和内在动机参数的系统比较。