基于运动目标生成视频摘要的方法、系统及网络存储设备

摘要

本发明公开了基于运动目标生成视频摘要的方法、系统及网络存储设备，其中，该方法包括：分离视频码流中的背景图像和运动目标，生成并存储运动目标信息；接收视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中。本发明方案能够节省成本，减小生成视频摘要的存储容量。

说明书

技术领域

本发明涉及多媒体视频处理技术，尤其涉及基于运动目标生成视频摘要的方法、 系统及网络存储设备。

背景技术

在视频监控方案中，视频监控设备对监控场景进行视频采集，将获取的视频码流 发送给网络存储设备进行存储。视频监控的应用场景包括公安、司法、重要会议记录 等。

之后，当需要查看监控场景的视频信息时，便可提取存储的录像数据，以获 取关于某指定运动目标的视频信息。近年来随着监控行业存储技术的不断发展， 导致海量监控视频数据的出现，而目前的网络存储设备仅仅是将视频数据存下来， 如果想查找某个需要的运动目标相关内容，则需要播放网络存储设备中存储的视 频码流，进行慢慢观看，以找到相应的运动目标，犹如大海捞针。该方案存在以下 缺陷：操作繁琐，所用时间长，效率低。

为了克服上述缺陷，目前，出现了基于运动目标生成视频摘要的方案，该方案基 于图1所示的系统实现，该系统包括视频监控设备、网络存储设备和视频摘要生成服 务器，视频摘要生成服务器即图中的PC；

网络存储设备接收并存储来自视频监控设备的视频码流，并将接收的视频码 流实时传送给视频摘要生成服务器；

视频摘要生成服务器实时对接收的视频码流进行解析，分离出运动目标图像， 将从各视频帧中提取的运动目标图像反馈给网络存储设备进行存储。

之后，当需要生成视频摘要时，从网络存储设备获取存储的运动目标图像， 划分成至少两组运动目标图像，叠加显示在背景图像中，得到视频摘要，播放视 频摘要。如图2所示，为播放的视频摘要实例，该实例将运动目标图像划分成三 组，按照各组的相对时间，将三组运动目标图像叠加被背景图像中，得到图2右 端的视频摘要示例。

这样，通过查看视频摘要，便可获知监控场景中运动目标的情况，并可点击浏览 的运动目标，进行切换，以查看包含运动目标的原始视频码流。

现有基于运动目标生成视频摘要的方案存在以下缺陷：该方案需要PC协助生成 视频摘要，相应地，需要在该PC上安装关于视频摘要的管理软件和视频摘要生成软 件，导致成本较高，且信息交互繁琐；并且，网络存储设备需存储视频码流中的所有 运动目标图像，其容量很大。

发明内容

本发明提供了一种基于运动目标生成视频摘要的方法，该方法能够节省成本，减 小生成视频摘要的存储容量。

本发明提供了一种基于运动目标生成视频摘要的系统，该系统能够节省成本，减 小生成视频摘要的存储容量。

本发明提供了一种基于运动目标生成视频摘要的网络存储设备，该网络存储设备 能够节省成本，减小生成视频摘要的存储容量。

一种基于运动目标生成视频摘要的方法，该方法包括：

接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生 成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频 图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像；

接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标信息，按照 设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相 对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；

按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧 号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提 取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作 为视频摘要，将视频摘要发送给视频点播客户端进行播放。

一种基于运动目标生成视频摘要的系统，该系统包括视频监控设备、网络存储设 备和视频点播客户端，所述网络存储设备包含处理器和存储器；

所述视频监控设备，进行视频图像监控，将获取的视频码流发送给所述网络存储 设备的处理器；

所述处理器，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图 像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运 动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点； 并在存储器中存储接收的视频码流和分离的背景图像；接收来自所述视频点播客户端 的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运 动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各 组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹 信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取 相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动 目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视 频点播客户端；

所述存储器，用于存储运动目标信息、视频码流和背景图像；

所述视频点播客户端，向所述处理器发送视频摘要生成请求，接收来自所述处理 器的视频摘要，进行播放。

一种基于运动目标生成视频摘要的网络存储设备，该网络存储设备包括处理器和 存储器；

所述处理器，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和 运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目 标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并 在存储器中存储接收的视频码流和分离的背景图像；接收来自视频点播客户端的视频 摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标 信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动 目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中 的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的 视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图 像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给视频点播客户 端；

所述存储器，用于存储运动目标信息、视频码流和背景图像。

从上述方案可以看出，本发明中，接收来自视频监控设备的视频码流，分离视频 码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目 标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码 流和分离的背景图像；接收视频摘要生成请求，提取存储的运动目标信息，按照设定 时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时 间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读 取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频 码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中 截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要。本 发明中，由网络存储设备独立生成视频摘要，无需另设PC以协助其完成，这样，简 化了信息交互，也节省了成本；并且，网络存储设备只存储运动目标信息，运动目标 信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点，相对 于大量的运动目标图像，其容量大大降低。

附图说明

图1为现有技术基于运动目标生成视频摘要的系统结构示意图；

图2为现有技术播放的视频摘要实例；

图3为本发明基于运动目标生成视频摘要的方法示意性流程图；

图4为本发明基于运动目标生成视频摘要的方法流程图实例；

图5为本发明基于运动目标生成视频摘要的系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图， 对本发明进一步详细说明。

本发明中，由网络存储设备独立生成视频摘要，无需另设PC以协助其完成， 这样，简化了信息交互，也节省了成本；并且，网络存储设备只存储运动目标信息， 运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及 时间点，相对于大量的运动目标图像，其容量大大降低。

参见图3，为本发明基于运动目标生成视频摘要的方法示意性流程图，其包括 以下步骤：

步骤301，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运 动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标 位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像。

针对某一视频监控设备的视频码流，逐帧进行运动目标的检测提取，分离视频帧 中的背景图像和运动目标，生成并存储运动目标信息，并存储视频码流和分离的背景 图像；一般地，针对某一视频监控设备，其背景图像恒定不变，只需存储一帧背景图 像。

步骤302，接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标 信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信 息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信 息。

在需要时，提取存储的运动目标信息以生成视频摘要。

将划分后的至少两组运动目标信息按照相对时间顺序进行叠加排序，融合成一条 摘要轨迹，得到摘要轨迹信息。叠加排序的方法有多种，例如，可以将各组运动目标 信息的起始时间点对齐后直接进行排序；也可以先对各组运动目标信息的起始时间点 调整为相同时间点后进行排序，具体包括：将划分后各组运动目标信息中的时间点进 行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点； 按照调整后的时间顺序对各组运动目标信息进行叠加排序。

步骤303，按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包 含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐 标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景 图像中，作为视频摘要，将视频摘要发送给视频点播客户端进行播放。

根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像时， 可以采用一路提取的方式，逐一提取需要的视频图像；也可以采用多路并发提取的方 式，同时多路提取视频图像，以节省时间，例如，采用与划分组数相同的通道数，进 行多路提取。

之后，通过查看视频摘要，便可获知监控场景中运动目标的情况，并可点击浏览 的运动目标，进行切换，以查看包含运动目标的原始视频码流。具体地，所述运动目 标信息中还包含运动目标标识，播放摘要视频帧之后，该方法还包括：

接收包含指定运动目标标识的点播请求；

从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间 点确定出指定时间段，所述指定时间段包括起始时间和结束时间；

从存储的视频码流中提取与指定时间段对应的视频码流，反馈视频码流。

下面通过图4，对本发明基于运动目标生成视频摘要的方法进行实例说明，其 包括以下步骤：

步骤401，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和 运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中 的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的 背景图像。

接收视频码流，通过高斯建模，进行运动目标的检测提取，分离视频码流中 的背景图像和运动目标。对视频帧中的背景图像和运动目标图像进行分离后，记 录相应视频帧的帧号、监控设备采集该视频帧的时间点、以及运动目标在视频图 像中的坐标位置，该坐标位置具体可采用矩形区域表示，如图2所示的虚线框。

本实例中，运动目标信息中还包含运动目标标识，在进行图像分离时，还对运动 目标图像进行特征提取，为各视频帧中的同一运动目标设置一个相同运动目标标识。

现有技术是从已存储的视频码流中进行运动目标的检测提取，属于事后提取； 而本发明在存储时进行提取，避免了事后提取的时间消耗。

步骤402，接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标 信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信 息。

划分时，可采用相同时间段进行划分，也可采用不同时间段进行划分。例如，对 于3小时内采集的视频码流的运动目标信息，可用1小时作为设定时间段进行划分， 将其划分为3组运动目标信息。

步骤403，将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信 息的起始时间相同，并基于起始时间相应调整其他时间点。

同样以步骤402中关于3小时视频码流的实例进行说明，划分后，3组运动目标 信息的时间段分别为0点-1点，1点-2点，2点-3点；进行调整后，第二时间段的起 始时间1点，调整为相对时间0点，并相应对其他时间点进行调整，包括将结束时间 点2点调整为相对时间1点；类似地，进行调整后，第三时间段的起始时间2点，调 整为相对时间0点，并相应对其他时间点进行调整，包括将结束时间3点调整为相对 时间点1点。实际操作中，进行调整后，可对应各原始时间点记录其相应时间。

步骤404，按照调整后的时间顺序对各组运动目标信息进行叠加排序，得到排序 后的摘要轨迹信息。

将划分后的至少两组运动目标信息按照相对时间顺序进行叠加排序，融合成一条 摘要轨迹，得到摘要轨迹信息。叠加排序的方法有多种，例如，可以将各组运动目标 信息的起始时间点对齐后直接进行排序，同样以步骤402中关于3小时视频码流的实 例进行说明，划分后，3组运动目标信息的时间段分别为0点-1点，1点-2点，2点-3 点；将三个时间段的起始时间0点、1点和2点对齐，将0点、1点和2点的运动目标 信息进行叠加，而后依次将各时间段下一时间点的运动目标信息进行叠加。也可以先 对各组运动目标信息的起始时间点调整为相同时间点后进行排序，本实例就采用此方 式进行排序。

步骤405，按照排序读取摘要轨迹信息中的运动目标信息，按照运动目标信息包 含的视频帧号，采用多路并发的方式，从存储的视频码流中提取相应的视频图像，按 照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像。

步骤406，将截取的运动目标图像叠加在背景图像中，作为视频摘要，将视频摘 要发送给视频点播客户端进行播放。

播放视频摘要的实例可参见图2，该实例将运动目标图像划分成三组，按照各组 的相对时间，将三组运动目标图像叠加被背景图像中；进一步地，还可以在叠加后的 图中显示各运动目标图像的时间点，即采集A、B和C的时间点。

步骤407，接收包含指定运动目标标识的点播请求。

用户可点击视频摘要中的运动目标，发送点播请求。

步骤408，从存储的运动目标信息中获取指定运动目标标识对应的所有时间点， 由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间。

获取包含指定运动目标标识的运动目标信息，运动目标信息中包含时间点，便可 进一步获知指定运动目标对应的所有时间点，由获知的所有时间点确定出起始时间和 结束时间。

步骤409，从存储的视频码流中提取与指定时间段对应的视频码流，反馈视频码 流。

对运动目标信息进行划分和排序时，具体地，先确定视频码流中运动目标的总时 长，接着根据视频摘要密度将该总时长切分成多段，也就是，将运动目标信息划分成 多组，每段对应一组运动目标信息，这里假设划分成N段，N为自然数；从各段视频 中顺序提取出每帧运动目标图像，合成到背景图像中（即分别获取片段1、片段2、片 段3......片段N的第1帧视频中的运动目标图像，将获取的所有运动目标图像叠加到 背景图像中，生成视频摘要帧1；依次类推，生成其他视频摘要帧，再如，分别获取 片段1、片段2、片段3......片段N的第2帧视频中的运动目标图像，将获取的所有运 动目标图像叠加到背景图像中，生成视频摘要帧2），这样，可以保证同行的运动目标 不会被分隔开造成运动目标间相互关系的丢失。现有技术将网络存储设备上的大量运 动目标图像与背景图像进行合成，而本发明在摘要视频点播时多路并发获取码流数据， 然后根据存储的运动目标信息从存储的码流数据中提取运动目标图像，进而将运动目 标图像与背景图像进行合成，该过程中不产生任何硬盘数据。

参见图5，为本发明基于运动目标生成视频摘要的系统结构示意图，该系统包括 视频监控设备、网络存储设备和视频点播客户端，所述网络存储设备包含处理器和存 储器；

所述视频监控设备，进行视频图像监控，将获取的视频码流发送给所述网络存储 设备的处理器；

所述处理器，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图 像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运 动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点； 并在存储器中存储接收的视频码流和分离的背景图像；接收来自所述视频点播客户端 的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运 动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各 组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹 信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取 相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动 目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视 频点播客户端；

所述存储器，用于存储运动目标信息、视频码流和背景图像；

所述视频点播客户端，向所述处理器发送视频摘要生成请求，接收来自所述处理 器的视频摘要，进行播放。

较佳地，所述处理器包括运动目标信息生成模块、命令解析模块、信息提取模块、 信息排序模块、目标图像提取模块和视频摘要叠加模块；

所述运动目标信息生成模块，接收来自所述视频监控设备的视频码流，分离视频 码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到存 储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号 以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；

所述命令解析模块，接收来自所述视频点播客户端的视频摘要生成请求，发送给 所述信息提取模块；

所述信息提取模块，接收视频摘要生成请求，从所述存储器提取存储的运动目标 信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信 息，发送给所述信息排序模块；

所述信息排序模块，按照相对时间顺序对各组运动目标信息进行叠加排序，得到 排序后的摘要轨迹信息，发送给所述目标图像提取模块；

所述目标图像提取模块，按照排序读取摘要轨迹信息中的运动目标信息，根据运 动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标 信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将运动目标图像发送 给所述视频摘要叠加模块；

所述视频摘要叠加模块，将截取的运动目标图像叠加在背景图像中，作为视频摘 要，发送给所述视频点播客户端。

较佳地，所述网络存储设备为X86或X84构架的存储设备。现有技术中的网络存 储设备专注于存储，CPU资源应用极少。本发明充分利用了网络存储设备中处理器， 网络存储设备具体可采用X86或X84构架的存储设备，这种构架的设备常采用 Windows或者Linux操作系统，也方便了视频摘要生成功能从PC端移到该设备上。

较佳地，该系统还包括流媒体转发设备，与视频监控设备和网络存储设备连接， 接收来自视频监控设备的视频码流，由转发接口发送给网络存储设备。

视频监控设备的输出接口有限，一般为4-5路输出接口，只能同时向4-5个目的 地发送视频码流；而流媒体转发设备具有多路输出接口，一般可达到几百个输出接口， 采用流媒体转发设备之后，可将来自视频监控设备的视频码流同时发送给几百个目的 地。

较佳地，所述信息排序模块包括信息排序子模块，将划分后各组运动目标信息中 的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整 其他时间点；按照调整后的时间顺序对各组运动目标信息进行叠加排序，得到排序后 的摘要轨迹信息，发送给所述目标图像提取模块。

较佳地，所述处理器还包括目标点播模块；

所述命令解析模块，接收来自所述视频点播客户端的包含指定运动目标标识的点 播请求，发送给所述目标点播模块；

所述目标点播模块，接收点播请求，所述点播请求包含指定运动目标标识，从存 储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出 指定时间段，所述指定时间段包括起始时间和结束时间；从存储的视频码流中提取与 指定时间段对应的视频码流，反馈给所述视频点播客户端；

所述视频点播客户端，播放接收的视频码流。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围 之内。