使用循环神经网络的机器人末端执行器的视点不变的视觉伺服

摘要

训练和/或使用循环神经网络模型用于机器人的末端执行器的视觉伺服。在视觉伺服中，该模型可以用于在多个时间步中的每个生成动作预测，该动作预测表示应如何移动末端执行器以使末端执行器向目标对象移动的预测。该模型可以是视点不变的，因为它可以跨在各种视点具有视觉组件的各种机器人使用，和/或即使机器人的视觉组件的视点剧烈改变，也可以用于单个机器人。此外，可以基于大量的模拟数据来训练模型，该模拟数据基于关于模型执行模拟片段的模拟器。可以基于相对较少数量的真实训练数据来进一步训练模型的一个或多个部分。