对物理系统的未来状态进行对象级预测

摘要

一种由一台或多台计算机实施的系统包括视觉编码器组件，该视觉编码器组件被配置为接收表示图像帧序列的数据作为输入，特别是表示该序列的场景中的对象的数据，并输出对应的状态码序列，每个状态码包括向量，一个向量用于每个对象。每个向量表示其对应的对象的相应位置和速度。该系统还包括动态预测器组件，该动态预测器组件被配置为采用例如来自视觉编码器的状态码序列作为输入，并且预测下一个未观察帧的状态码。该系统还包括状态解码器组件，该状态解码器组件被配置成将预测状态码转换成状态，该状态包括场景中每个对象的相应位置和速度向量。该状态可以表示每个对象的预测位置和速度向量。