一种基于对象状态预测的图像生成方法及装置

摘要

本说明书实施例提供了一种基于对象状态预测的图像生成方法及装置。在该方法中，获取多个图像帧按照时间序列形成的图像集，图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；将图像集输入特征提取模型，得到图像集的第一特征，其中包括对象的静态参数和环境的静态参数；从所述图像集中确定所述对象的第二特征，其中包含所述对象在图像集中的指定时刻的运动状态；将第一特征和第二特征输入状态预测模型，得到对象在指定时刻之后的至少一个目标时刻的预测运动状态；采用解码器，基于预测运动状态，生成在目标时刻的预测图像。

说明书

技术领域

本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种基于对象状态预测的图像生成方法及装置。

背景技术

随着科技的不断发展，图像采集技术也在不断地进步，例如使用手机、摄像头等设备进行图像采集的应用也越来越广泛。基于图像的各种处理，发展方向也非常广泛。通常，可以基于采集的图像进行车辆追踪、人物锁定等应用。在图像视觉等技术领域，基于已经采集的部分图像来预测未来一段时间内的可能图像，是图像视觉技术领域的新研究方向。

因此，希望能有改进的方案，可以基于已经采集的部分图像更加准确地生成新图像。

发明内容

本说明书一个或多个实施例描述了一种基于对象状态预测的图像生成方法及装置，可以基于已经采集的部分图像更加准确地生成新图像。具体的技术方案如下。

第一方面，实施例提供了一种基于对象状态预测的图像生成方法，通过计算平台执行，所述方法包括：

获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

在一种实施方式中，所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

在一种实施方式中，所述图像集还包括多个图像帧中所述对象的多个位置信息；所述将所述图像集输入特征提取模型，得到所述图像集的第一特征的步骤，包括：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。

在一种实施方式中，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

基于变分自编码器，从所述图像集中确定所述对象的第二特征；

或者，基于循环神经网络RNN，从所述图像集中确定所述对象的第二特征。

在一种实施方式中，所述从所述图像集中确定所述对象的第二特征的步骤，包括：

从所述图像集中选取指定时刻的第一图像帧和所述第一图像帧的前一图像帧，从所述第一图像帧和所述前一图像帧中确定所述对象的第二特征。

在一种实施方式中，在训练所述特征提取模型和状态预测模型时，基于多步预测损失函数进行训练。

在一种实施方式中，所述对象的静态参数包括所述对象的质量和体积中的至少一个，所述环境的静态参数包括所述环境中地面摩擦力和空气阻力中的至少一个。

在一种实施方式中，所述特征提取模型采用卷积神经网络CNN、深度神经网络DNN或多层感知机MLP实现；所述状态预测模型基于随机状态空间模型得到。

第二方面，实施例提供了一种基于对象状态预测的图像生成装置，部署在计算平台中，所述装置包括：

图像获取模块，配置为，获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

特征提取模块，配置为，将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

特征确定模块，配置为，从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

运动预测模块，配置为，将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

图像生成模块，配置为，采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

在一种实施方式中，所述特征提取模块，具体配置为：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

在一种实施方式中，所述图像集还包括多个图像帧中所述对象的多个位置信息；所述特征提取模块，具体配置为：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。

在一种实施方式中，所述特征确定模块，具体配置为：基于变分自编码器，从所述图像集中确定所述对象的第二特征；或者，

所述特征确定模块，具体配置为：基于循环神经网络RNN，从所述图像集中确定所述对象的第二特征。

在一种实施方式中，所述特征确定模块，具体配置为：

从所述图像集中选取指定时刻的第一图像帧和所述第一图像帧的前一图像帧，从所述第一图像帧和所述前一图像帧中确定所述对象的第二特征。

在一种实施方式中，在训练所述特征提取模型和状态预测模型时，基于多步预测损失函数进行训练。

在一种实施方式中，所述对象的静态参数包括所述对象的质量和体积中的至少一个，所述环境的静态参数包括所述环境中地面摩擦力和空气阻力中的至少一个。

在一种实施方式中，所述特征提取模型采用卷积神经网络CNN、深度神经网络DNN或多层感知机MLP实现；所述状态预测模型基于随机状态空间模型得到。

第三方面，实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面中任一项所述的方法。

第四方面，实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面中任一项所述的方法。

本说明书实施例提供的方法和装置中，可以通过特征提取模型提取图像集中包含静态参数的特征，并提取图像集中包含对象在指定时刻的运动状态的特征，将两个特征输入状态预测模型，得到对象在指定时刻之后的目标时刻的预测运动状态，实现对对象的运动状态的预测；采用解码器，基于该预测运动状态可以生成目标时刻的预测图像。通过上述各个实施流程的结合，本说明书实施例能够基于已经采集的图像集中的图像更加准确地生成新图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书披露的一个实施例的实施场景示意图；

图2为实施例提供的一种基于对象状态预测的图像生成方法的流程示意图；

图3为生成预测图像的一种示意图；

图4为实施例提供的一种基于对象状态预测的图像生成装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书披露的一个实施例的实施场景示意图。其中，图像集中包含t1、t2、t3、t4、…、tn等多个时刻的图像帧，n为大于1的整数，图像帧中包含运动的对象，并以图像集中包含的指定时刻为tn为例。基于图像集可以分别确定第一特征和第二特征，将第一特征和第二特征分别输入状态预测模型，以得到tn时刻之后的各个目标时刻的预测运动状态，例如得到tn+1，tn+2和tn+3等时刻的预测运动状态；基于解码器和各个预测运动状态进行解码，可以得到对应的目标时刻的预测图像。其中，通过特征提取模型可以确定图像集的第一特征，第一特征中包括对象的静态参数和环境的静态参数；第二特征包含图像集中的指定时刻tn的运动状态。上述预测图像可以是一个也可以是多个，本说明书实施例对此不作具体限定。

基于上述实施流程，本说明书实施例可以通过对图像集中对象的运动状态进行预测，基于预测运动状态，采用解码方式，生成后续时刻的预测图像。下面通过具体实施例进行详细说明。

图2为实施例提供的一种基于对象状态预测的图像生成方法的流程示意图。该方法通过计算平台执行，具体可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来执行。该方法包括以下步骤S210~S250。

步骤S210，获取多个图像帧按照时间序列形成的图像集。该图像集包括在多个图像帧中位置发生移动的对象和该对象之外的环境。

上述多个图像帧可以从一段视频中采样得到，也可以是图像采集设备在多个时刻连续采集的图像。图像采集设备包括普通摄像头、监控摄像头和摄像机等。

在图像集中的多个图像帧中，每个图像帧可以包含对应的时间戳，该时间戳可以是图像帧的图像采集时刻。图像集中的多个图像帧，可以按照时间戳的先后顺序排列。多个图像帧中可以包含位置发生移动的对象，该对象的数量可以是一个或者多个。该对象并不限于存在于图像集的每个图像帧中，只要图像集的多个图像帧中包含不同位置处的对象即可。

图像集中的对象，可以包含很多种类，只要符合位置会发生移动这个条件即可，例如对象可以是人、车辆、自行车、动物、飘动的气球、飞翔的鸟等等。在图像帧中的对象之外，还可以包括环境，也就是环境区域。该图像中的环境区域可以包含任何的背景区域，本申请对此并不进行限定。

步骤S220，将图像集输入特征提取模型，得到图像集的第一特征，该第一特征中包括对象的静态参数和环境的静态参数。此处第一特征中的“第一”，以及下文中相应的“第一”，仅仅是为了区分和描述方便，而不具有任何限定意义。

特征提取模型可以预先采用样本进行训练。在训练过程达到收敛条件时，应用于本实施例中，用于提取图像集的第一特征。

特征提取模型可以采用卷积神经网络（Convolutional Neural Networks，CNN）、深度神经网络（Deep Neural Networks， DNN）或多层感知机（Multilayer Perceptron，MLP）进行训练，并实现本实施例中特征提取模型的功能。

对象的静态参数包括对象的质量和体积中的至少一个，对象的静态参数还可以包括能够表征对象的不随时间而变化的其他参数。环境的静态参数包括环境中地面摩擦力和空气阻力中的至少一个，地面摩擦力包括对象与地面之间的摩擦力。环境的静态参数还可以包括能够表征对象与环境之间的相互作用力的其他参数。

在将图像集输入特征提取模型时，可以将图像集中的多个图像帧和对应的时间戳输入特征提取模型。特征提取模型可以基于图像集中对象在多个图像帧中的位置变化以及图像帧之间的时间变化，通过内部的多个计算层提取对象和环境的静态参数。在提取图像集中对象的静态参数和环境的静态参数时，特征提取模型内部可以采用对应的特定参数矩阵来表示上述静态参数。

本步骤中，将图像集输入特征提取模型，特征提取模型在确定图像集的第一特征时，具体可以通过特征提取模型，确定图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到图像集的第一特征。

在一个例子中，图像集中包含的6个图像帧a1~a6，特征提取模型可以首先分别确定a1和a2，a3和a4，a5和a6的子特征，然后将三个子特征进行特征聚合，得到图像集的第一特征。

连续两帧，是指按照时间序列排列的多个图像帧中的连续两帧。在确定两帧图像的子特征时，可以将两个图像帧进行拼接，形成拼接图像，将拼接图像输入特征提取模型的计算层中。

将各个子特征进行特征聚合时，可以采用常规方式进行聚合，例如多个子特征求平均值或者求加权均值等。

步骤S230，从图像集中确定对象的第二特征，其中包含对象在图像集中的指定时刻tn的运动状态。其中，指定时刻可以是从图像集中选取的时刻，例如可以为除图像集的第一个时刻之外的任意时刻。在一种实施方式中，指定时刻可以为图像集中的最晚时刻。

图像集中的指定时刻，可以从图像集包含的多个图像帧对应的时间戳中确定。此处，将指定时刻采用tn表示。该指定时刻tn可以是多个图像帧中的最晚时间戳。对象的位置移动过程被记录在多个图像帧中，可以通过多个图像帧中对象相对于环境的位置变化确定对象的运动状态，并从多个运动状态中确定指定时刻tn的运动状态。

对象的运动状态，包括对象的位置、速度、加速度、角速度等中的至少一个。

在从图像集中确定对象的第二特征时，可以采用图像集中的所有图像帧进行确定，也可以从图像集中选取指定时刻tn的第一图像帧和第一图像帧的前一图像帧，从第一图像帧和前一图像帧中确定对象的第二特征。

在从图像集中确定对象指定时刻的运动状态时，可以采用预设的信息提取算法。例如，可以基于变分自编码器，从图像集中确定对象的第二特征；或者，可以基于循环神经网络（Recurrent Neural Networks，RNN），从图像集中确定对象的第二特征。变分自编码器和循环神经网络可以预先基于样本图像进行训练得到。

其中，变分自编码器采用神经网络算法架构，可以把图像经过多层神经网络压缩到中间表示，然后再从中间表示还原到原图像，可以用于提取图像的低维表示。本实施例中可以采用变分自编码器提取图像集中图像帧的中间表示，基于该中间表示确定对象的运动状态；具体的，可以采用变分自编码器提取上述第一图像帧及其前一图像帧的中间表示。

步骤S240，将第一特征和第二特征输入状态预测模型，得到对象在指定时刻之后的至少一个目标时刻的预测运动状态。状态预测模型可以用于基于输入的第一特征和第二特征确定对象在目标时刻的运动状态，将该运动状态作为预测运动状态。

其中，状态预测模型可以基于随机状态空间模型而训练得到。随机状态空间模型可以通过建立的对象状态随时间的动力学演化过程，以及建立的真实观测量到状态的映射，实现基于第一特征和第二特征预测对象在目标时刻的运动状态。

第二特征包括对象在图像集中指定时刻tn的运动状态，可以将该运动状态作为初始状态。在指定时刻tn之后的目标时刻，可以理解为，在指定时刻tn之后，与指定时刻tn间隔预设时长的时刻。预设时长可以包括一个或者多个预设时长，例如1s、2s和3s等中的至少一个时长。例如，目标时刻可以包括tn+1，tn+2，tn+3等时刻，基于初始状态可以确定该对象在这些目标时刻的运动状态。

步骤S250，采用解码器，基于预测运动状态，生成在目标时刻的预测图像。具体的，可以采用解码器，基于预测运动状态以及图像集中的图像帧，生成在目标时刻的预测图像。此处图像集中的图像帧可以但不限于采用指定时刻的第一图像帧。本步骤中的生成预测图像的过程属于解码过程，所采用的解码器可以包括变分自编码器，即采用变分自编码器可以基于低维的中间表示还原图像的解码过程，能够实现基于预测运动状态生成预测图像的过程。

例如，图3为生成预测图像的一种示意图。其中，已有的图像集中包括tn-1时刻的图像帧和tn时刻的图像帧，采用上述实施例可以生成tn+1时刻的预测图像等。在这些图像中，足球场的草地为背景区域，足球为处于运动中的对象。生成的预测图像包括背景和对象，以及对象的合理状态，包括合理的姿势、合理的形状、合理的位置等。

在本说明书的另一实施例中，上述图像集还可以包括多个图像帧中对象的多个位置信息。例如，针对每个存在该对象的图像帧，都预先获取到该对象在该图像帧对应的时刻的位置信息。该位置信息可以是对象在某个地面坐标系中的位置，也可以是该对象在相机坐标系或者图像坐标系中的位置。该位置信息可以预先基于对象在图像中的位置、相机内参以及相机外参等数据确定。这样，图像集中存在图像帧、时间戳、位置信息之间的对应关系。

在步骤S220中，将图像集输入特征提取模型，得到图像集的第一特征时，具体可以将图像集中的图像帧和对应的位置信息输入特征提取模型，通过特征提取模型确定图像集的第一特征。基于对象的位置信息，从图像帧中提取对象和环境的静态参数，能够提高所提取的静态参数的准确性。

在本实施例中，将图像集中的图像帧和对应的位置信息输入特征提取模型时，具体可以通过特征提取模型，基于图像集中每个连续两帧图像以及对应的位置信息，确定对应的子特征，将各个子特征进行特征聚合，得到图像集的第一特征。

在执行上述步骤S210~S250所示的实施例之前，可以先对特征提取模型和状态预测模型进行训练。这两个模型均可以采用经过训练的神经网络实现。在一种实施方式中，两个模型可以联合训练。在训练特征提取模型和状态预测模型时，可以采用大量样本图像集进行训练，样本图像集中包含多个样本图像帧，以及其中位置发生移动的对象和对象之外的环境。将样本图像集输入特征提取模型，得到样本图像集的第一样本特征，该第一样本特征中包括对象的静态参数和环境的静态参数。从样本图像集中确定对象的第二样本特征，第二样本特征包括对象在样本图像集中的指定时刻的运动状态。将第一样本特征和第二样本特征输入状态预测模型，得到指定时刻之后的至少一个目标时刻的预测运动状态，采用解码器，基于预测运动状态，生成目标时刻的预测图像。基于该预测图像和样本图像集中目标时刻的样本图像帧之间的差异，确定预测损失，向减少该预测损失的方向更新特征提取模型和状态预测模型。

在训练模型时，也可以先对状态预测模型进行训练，当状态预测模型训练完成时，再采用与上述联合训练类似的方式训练特征提取模型。

在一种实施例中，在训练特征提取模型和状态预测模型时，可以基于多步预测损失函数进行训练。例如，在预测运动状态时，可以基于对象的初始状态进行多步预测，预测对象在指定时刻之后多个目标时刻的运动状态，并分别得到多个目标时刻的预测图像，在确定预测损失时，基于多个时刻的预测图像与对应的样本图像集中的图像帧之间的差异进行确定。在本实施例中，损失函数可以采用多步预测损失函数，以此来提高长期预测的稳定性。

本说明书提供的上述实施例中，可以通过对图像集中对象的运动状态进行预测，基于预测运动状态，解码生成后续时刻的预测图像。本实施例可以应用在自动驾驶、机器人等技术中。在自动驾驶领域，可以基于生成的预测图像进行车辆状态预测或障碍物预判。在机器人领域，可以基于生成的预测图像对障碍物进行预判。

在另一种应用场景中，一些视频数据由于年代久远，部分视频数据可能发生损坏，导致该部分视频无法显示。采用本说明书的上述实施例，可以对损坏数据进行修复，使得视频能够正常显示。

基于上述实施例，损坏的视频数据可能常常出现在一段视频中间的某个位置，因此，指定时刻可以是图像集的中间某个时刻，例如ti至tj为损坏数据的时间段，指定时刻可以损坏数据的时间段之前的时刻，例如可以是ti-1或者ti-2等时刻，指定时刻之后的目标时刻可以是损坏数据的时间段之间的时刻，例如为ti至tj之间一个或多个时刻。

在从图像集中确定对象的第二特征时，该第二特征除了包括对象在指定时刻的运动状态之外，还包括对象在图像集中的第一时刻的运动状态，该第一时刻为图像集中损坏数据的时间段之后的时刻。例如，ti至tj为损坏数据的时间段，第一时刻可以为tj+1或者tj+2等时刻。

在将第一特征和第二特征输入状态预测模型时，状态预测模型可以基于第一特征中对象的静态参数、环境的静态参数，第二特征中对象在指定时刻的运动状态以及对象在第一时刻的运动状态，确定对象在目标时刻的预测运动状态。采用这种方式确定的预测运动状态，能够考虑损坏数据前后的对象运动状态，使得预测运动状态能够较好地贴合损坏数据两端完好数据中对象的运动状态，也使得生成的预测图像更准确。

上述内容对本说明书的特定实施例进行了描述，其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行，并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的，或者可能是有利的。

图4为实施例提供的一种基于对象状态预测的图像生成装置的示意性框图。该装置400部署在计算平台中，该计算平台可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。该装置实施例与图2所示方法实施例相对应，该装置400包括：

图像获取模块410，配置为，获取多个图像帧按照时间序列形成的图像集，所述图像集包括在多个图像帧中位置发生移动的对象和所述对象之外的环境；

特征提取模块420，配置为，将所述图像集输入特征提取模型，得到所述图像集的第一特征，其中包括所述对象的静态参数和所述环境的静态参数；

特征确定模块430，配置为，从所述图像集中确定所述对象的第二特征，其中包含所述对象在所述图像集中的指定时刻的运动状态；

运动预测模块440，配置为，将所述第一特征和所述第二特征输入状态预测模型，得到所述对象在所述指定时刻之后的至少一个目标时刻的预测运动状态；

图像生成模块450，配置为，采用解码器，基于所述预测运动状态，生成在所述目标时刻的预测图像。

在一种实施方式中，特征提取模块420具体配置为：

通过所述特征提取模型，确定所述图像集中每个连续两帧图像对应的子特征，将各个子特征进行特征聚合，得到所述图像集的第一特征。

在一种实施方式中，图像集还包括多个图像帧中所述对象的多个位置信息；特征提取模块420，具体配置为：

将所述图像集中的图像帧和对应的位置信息输入特征提取模型，得到所述图像集的第一特征。

在一种实施方式中，所述特征确定模块430具体配置为：基于变分自编码器，从所述图像集中确定所述对象的第二特征；或者，

特征确定模块430具体配置为：基于循环神经网络RNN，从所述图像集中确定所述对象的第二特征。

在一种实施方式中，特征确定模块430具体配置为：

从所述图像集中选取指定时刻的第一图像帧和所述第一图像帧的前一图像帧，从所述第一图像帧和所述前一图像帧中确定所述对象的第二特征。

在一种实施方式中，在训练所述特征提取模型和状态预测模型时，基于多步预测损失函数进行训练。

在一种实施方式中，所述对象的静态参数包括所述对象的质量和体积中的至少一个，所述环境的静态参数包括所述环境中地面摩擦力和空气阻力中的至少一个。

在一种实施方式中，所述特征提取模型采用卷积神经网络CNN、深度神经网络DNN或多层感知机MLP实现；所述状态预测模型基于随机状态空间模型得到。

上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图1至图3任一项所述的方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图1至图3任一项所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储介质和计算设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。