基于Q学习和神经网络的双足机器人控制

摘要

被动动力学理论认为双足行走是双足机器人的固有特性，可以充分利用机器人自身的动力学特性提高能效。由于机器人结构的多样性，行走时的动力学特性存在差异，很难把人类或者其他机器人的轨迹作为参考步态。而Q学习在不断试错中积累经验，使机器人可以充分利用自身的动力学特性，在和环境的交互中自主学习行走。双足步行是一个连续变化的过程(除了碰撞瞬间)，本文针对双足机器人行走控制进行研究，采用基于神经网络的Q学习控制器，实现连续状态的学习，并开发动力学仿真平台和机器人实验平台。本文的主要工作如下：
　　 1、在双足行走过程中机器人的状态基本上是连续变化的(除了碰撞瞬间)。为了实现对连续状态的控制，本文采用一种基于神经网络的Q学习控制方法。该方法以多输入多输出BP神经网络取代离散的Q值表，计算连续状态对应的Q值。Q学习利用资格迹来解决时间信度分配问题，将资格迹思想融入梯度下降算法中，实现了连续状态的Q学习控制。为降低神经网络的维数，本文提出一种倒立摆位姿-动能模型。采用ε衰减贪婪算法来降低Q学习陷入局部最小的概率。仿真得到了稳定、自然和周期的动态步态，验证了算法的有效性。
　　 2、为简化操作，提高研究效率，开发适合双足行走研究的仿真平台。采用ADAMS建立参数化模型库，其中包含2连杆、3连杆、4连杆、5连杆和7连杆5种模型。通过自定义菜单和界面可进行模型的加载、初始化、参数修改和结果显示等操作。利用ADAMS和MATLAB的接口模块ADAMS/Controls，实现基于ADAMS和MATLAB的双足步行联合仿真。仿真实验表明该仿真平台避开了复杂的建模过程，简化了繁琐的操作，明显地提高了仿真效率。
　　 3、基于被动动力学控制理论，试制8自由度欠驱动2D双足行走机构。膝关节是被动关节，具有锁紧机构。髋关节和踝关节是主动关节，采用一个直流伺服电机和一个虚拟的柔性执行机构驱动。实验平台采用典型的集中式控制系统，使用CAN总线实现快速通信。实时控制软件具有初始化、周期控制、数据采集、通讯、数据保存、故障处理、结束处理等功能。本文设计的双足行走机器人实验平台具有简单、易用、高精度的特点。