视频图像分割方法、装置和视频图像控制方法及装置

摘要

本申请实施例属于视频图像处理技术领域，涉及一种视频图像分割方法、装置和视频图像控制方法及装置、计算机设备、存储介质及视频图像控制系统，所述视频图像分割方法包括：获取一帧视频图像并进行第一处理，得到第一处理图像；基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理；在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。通过对视频图像进行裁剪的第一处理，然后将显示区域进行对应的分割并标记，然后将裁剪后的视频图像对应绑定的第二处理到带标记的显示区域，从而可以便捷地实现图像的分割和标记，进而可以快速地通过控制带标记的显示区域来控制图像。

说明书

技术领域

本申请涉及视频图像处理技术领域，尤其涉及一种视频图像分割方法、装置和视频图像控制方法及装置、计算机设备、存储介质及视频图像控制系统。

背景技术

对于许多数字图像处理技术来说，图像的分割是重要的处理过程。例如，图像分割可被使用于生成用于三维成像的深度图、对象识别、人工着色等等。由操作员进行有效的交互式图像分割在例如数字照片和图像处理中、或在对于视频或数字图像的后期制作工作中都是重要的。例如，为具有立体效果的视频创建深度图或双眼像差异图需要对象边界的详细说明，以便精确地指派深度或差异。对于交互式分割提出的一个方法是让用户直接定义在不同对象之间的边缘。例如，用户可以跟踪图像对象的特定轮廓，且分割可以通过将轮廓一侧的像素指派给一个图段和将轮廓另一侧的像素指派给另一个图段，而使用这个轮廓作为在不同图段之间的边界的定义。然而，这个方法对于用户而言往往很费力，并且费时，以及需要用户手工地跟踪许多(或甚至全部)轮廓以便提供分割。因此，该分割方法是非常费力和麻烦的，也不利于图像的控制。

发明内容

本申请实施例的目的在于提出一种视频图像分割方法,以便提高图像分割和控制的便捷性。

为了解决上述技术问题，本申请实施例提供一种视频图像分割方法，包括下述步骤：

获取一帧视频图像并进行第一处理，得到第一处理图像；

基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理；

在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。

进一步的，所述第一处理包括图像解码和裁剪，所述第一处理图像包括多个解码和裁剪后的子图像。

进一步的，所述基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理的步骤包括：

获取所述视频图像的分辨率；

基于所述分辨率设置所述显示区域的大小；

根据所述第一处理图像的多个子图像将所述显示区域平均分割为对应多个子显示区域。

进一步的，在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像的步骤包括：

依次序对所述多个子显示区域进行标记，得到对应的多个标记子显示区域；

将所述第一处理图像的多个子图像对应绑定到所述标记子显示区域内，得到所述分割后的图像，所述分割后的图像包括对应多个带标记的显示区子图像。

为了解决上述技术问题，本申请实施例提供一种视频图像控制方法，包括下述步骤：

获取至少一帧视频图像；

基于所述的视频图像分割方法对所述至少一帧视频图像进行每一帧视频图像的分割，得到对应多个排好序的带标记的显示区子图像，并获取子图像次序；

将所述多个带标记的显示区子图像进行乱序处理；

获取对显示区域的操作指令，根据所述操作指令变换所述带标记的显示区子图像，直到所述多个带标记的显示区子图像的排序符合所述子图像次序，停止获取所述操作指令；

重复上述步骤，开始下一次视频图像的控制。

为了解决上述技术问题，本申请实施例还提供一种视频图像分割装置，采用了如下所述的技术方案：

一种视频图像分割装置，包括：

第一处理模块，用于获取一帧视频图像并进行第一处理，得到第一处理图像；

分割模块，用于基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理；

第二处理模块，用于在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。

为了解决上述技术问题，本申请实施例还提供一种视频图像控制装置，采用了如下所述的技术方案：

一种视频图像控制装置，包括：

获取模块，用于获取至少一帧视频图像；

分割模块，用于基于所述的视频图像分割方法对所述至少一帧视频图像进行每一帧视频图像的分割，得到对应多个排好序的带标记的显示区子图像，并获取子图像次序；

乱序模块，用于将所述多个带标记的显示区子图像进行乱序处理；

变换模块，用于获取对显示区域的操作指令，根据所述操作指令变换所述带标记的显示区子图像，直到所述多个带标记的显示区子图像的排序符合所述子图像次序，停止获取所述操作指令；

重复模块，用于重复上述步骤，开始下一次视频图像的控制。

为了解决上述技术问题，本申请实施例还提供一种视频图像控制系统，包括：视频图像分割装置、视频图像控制装置，所述视频图像分割装置用于执行所述的视频图像分割方法的步骤并获得图像分割结果，所述视频图像控制装置可基于所述视频图像分割装置获得的图像分割结果，执行所述的视频图像控制方法的步骤，实现对连续多帧视频图像的控制。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

所述计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现所述的视频图像分割方法的步骤或/和所述的视频图像控制方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的视频图像分割方法的步骤或/和所述的视频图像控制方法的步骤。

在本实施例中，获取一帧视频图像并进行第一处理，得到第一处理图像；基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理；在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。通过对视频图像进行裁剪的第一处理，然后将显示区域进行对应的分割并标记，然后将裁剪后的视频图像对应绑定的第二处理到带标记的显示区域，从而可以便捷地实现图像的分割和标记，进而可以快速地通过控制带标记的显示区域来控制图像。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请的视频图像分割方法的一个实施例的流程图；

图2是根据本申请的视频图像控制方法的一个实施例的流程图；

图3是根据本申请的视频图像分割装置的一个实施例的结构示意图；

图4是根据本申请的视频图像控制装置的一个实施例的结构示意图；

图5是本申请实施例提供的一种图像控制系统的结构示意图；

图6是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，图1示出了根据本申请的视频图像分割方法的一个实施例的流程图。上述的视频图像分割方法，包括以下步骤：

步骤101，获取一帧视频图像并进行第一处理，得到第一处理图像。

在本发明实施例中，上述视频图像数据可以通过带有摄像功能的设备获取，如通过交通探头、电脑摄像头、手机摄像头等自动实时获取，也可以通过其他可视化界面如GUI或者WEB网页等方式人工输入，还可以是程序自动读取的存储于内存或外部存储中的视频图像数据，然后进行音视频分离后得到。

其中，上述第一处理包括图像解码和裁剪，上述第一处理图像包括多个解码和裁剪后的子图像。具体的，检测上述获取到的视频图像的编码格式，然后进行相应的解码，例如检测到视频图像的编码格式为H264，则根据H264协议进行解码，得到解码后的视频图像以及该图像在视频中的时间戳；然后对该视频图像进行平均裁剪，裁剪成大小相同的多个子图像，例如，将一帧视频图像平均裁剪成9个或者4个大小相同的解码后的子图像等。

步骤102，基于上述视频图像的格式信息设置显示区域，并根据上述第一处理图像对上述显示区域进行分割处理。

在本发明实施例中，上述显示区域可以是各种电子设备的显示屏幕，例如手机、电脑、监视器等携带的显示屏幕，上述视频图像的格式信息包括视频图像的分辨率信息，上述基于视频图像的格式信息设置显示区域包括：

首先获取上述视频图像的分辨率；从上述获取的视频图像的格式信息中读取上述分辨率，例如可以是720p(720×1280)、1080p(1080×1920)、2k(2560×1440)等。

然后，基于上述分辨率设置上述显示区域的大小；在本实施例中，上述显示区域可以是手机的显示屏幕，例如可以在Android手机的显示屏幕上根据上述视频图像的分辨率设置上述显示区域的大小，以保证显示区域的长宽和上述获取到的视频图像的大小相同。

进一步的，根据上述第一处理图像的多个子图像将上述显示区域平均分割为对应多个子显示区域。例如上述第一处理图像包括9个大小相同的子图像，则在Android手机的显示屏幕调用手机里的OpenGL将上述显示区域平均分割为对应的9个大小相同的子显示区域，并为每个子显示区域分配一个GLSurfaceView控件，用来监听对相应子显示区域的滑动、点击等操作事件。

步骤103，在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。

在本实施例中，上述第二处理包括：

依次序对所述多个子显示区域进行标记，得到对应的多个标记子显示区域；具体的，可以在Android手机的显示屏幕上，从左到右、从上到下依次为上述每个子显示区域的GLSurfaceView控件分配一个标识符并进行捆绑，从而对上述多个子显示区域进行标记，并得到对应的多个标记子显示区域。

将上述第一处理图像的多个子图像对应绑定到上述标记子显示区域内，得到上述分割后的图像，上述分割后的图像包括对应多个带标记的显示区子图像。具体的，将上述第一处理得到的多个大小相同的子图像分别与上述标记子显示区域的GLSurfaceView控件对应地绑定在一起即可得到上述分割后的对应多个带标记的显示区子图像，从而实现视频图像的分割和标记，便于根据标记的显示区对图像进行操控，如果子图像与标记子显示区域大小不同，则调整子图像的分辨率以符合标记子显示区域的大小。

在本发明实施例中，通过对视频图像进行裁剪然后将显示区域进行对应的分割并标记，然后将裁剪后的视频图像对应绑定到带标记的显示区域，从而可以便捷地实现图像的分割和标记，进而可以快速地通过控制带标记的显示区域来控制图像。

进一步的，如图2所示，图2示出了根据本申请的视频图像控制方法的一个实施例的流程图。上述的视频图像控制方法，包括以下步骤：

201、获取至少一帧视频图像；

202、基于上述的图像分割方法对上述至少一帧视频图像进行每一帧视频图像的分割，得到对应多个排好序的带标记的显示区子图像，并获取子图像次序；

203、将所述多个带标记的显示区子图像进行乱序处理；

204、获取对显示区域的操作指令，根据上述操作指令变换上述带标记的显示区子图像，直到上述多个带标记的显示区子图像的排序符合上述子图像次序，停止获取上述操作指令；

205、重复上述步骤，开始下一帧视频图像的控制。

在本发明实施例中，具体而言，连续获取多帧视频图像，然后通过上述图像分割方法对上述多帧视频图像进行每一帧视频图像的分割，得到每一帧对应多个排好序的带标记的显示区子图像，并获取子图像次序，即上述子显示区域GLSurfaceView控件的标识符，以及获取每一帧图像在原视频中的时间戳，并将每一帧分割好的子图像次序打乱，即将所有GLSurfaceView控件的标识符乱序排列，例如对于9个子图像对应9个GLSurfaceView控件的标识符的初始次序为1,2，3,4,5,6,7,8,9，随机将顺序打乱为2，9，5,8,4,6,3，7，1；然后获取对上述显示区域的操作指令，该操作指令可以是滑动指令，根据上述滑动指令，定位到具体的带标记的子显示区，然后滑动变换上述相邻的两个带标记的显示区子图像，交换它们的位置，即交换两个上述相邻的GLSurfaceView控件；不断获取上述滑动指令并交换的GLSurfaceView控件的位置，直到上述多个带标记的显示区子图像的排序符合上述打乱前的子图像次序，即上述初始次序，则停止获取上述滑动指令，然后开始下一帧视频图像的控制。通过上述视频图像分割方法来连续分割多帧视频图像，可以便捷地实现图像的分割和标记，然后可以控制每一帧分割后的子图像显示区的标记来控制子图像的次序，从而可以快速地通过控制带标记的显示区域来控制图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图1所示的视频图像分割方法的实现，本申请提供了一种视频图像分割装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的视频图像分割装置300包括：

第一处理模块301，用于获取一帧视频图像并进行第一处理，得到第一处理图像；

分割模块302，用于基于所述视频图像的格式信息设置显示区域，并根据所述第一处理图像对所述显示区域进行分割处理；

第二处理模块303，用于在所述显示区域内对所述第一处理图像进行第二处理，得到分割后的图像。

本申请实施例提供的视频图像分割装置能够实现图1的方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

进一步参考图4，作为对上述图2所示的视频图像控制方法的实现，本申请提供了一种视频图像分割装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的视频图像控制装置400包括：

获取模块401，用于获取至少一帧视频图像；

分割模块402，用于基于所述的视频图像分割方法对所述至少一帧视频图像进行每一帧视频图像的分割，得到对应多个排好序的带标记的显示区子图像，并获取子图像次序；

乱序模块403，用于将所述多个带标记的显示区子图像进行乱序处理；

变换模块404，用于获取对显示区域的操作指令，根据所述操作指令变换所述带标记的显示区子图像，直到所述多个带标记的显示区子图像的排序符合所述子图像次序，停止获取所述操作指令；

重复模块405，用于重复上述步骤，开始下一帧视频图像的控制。

本申请实施例提供的视频图像控制装置能够实现图2的方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

进一步的，如图5所示，本申请实施例还提供一种视频图像控制系统500，包括视频图像分割装置501、视频图像控制装置502，所述视频图像分割装置501用于所述的视频图像分割方法的步骤并获得图像分割结果，所述视频图像控制装置502可基于所述视频图像分割装置获得的图像分割结果，执行所述的视频图像控制方法的步骤，实现对连续多帧视频图像的控制。通过上述视频图像控制系统，可以便捷地实现图像的分割和标记，进而可以快速地控制图像。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如所述的视频图像分割方法或/和所述的视频图像控制方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述视频图像分割方法或/和所述的视频图像控制方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有视频图像分割方法或/和所述的视频图像控制方法程序，所述视频图像分割方法或/和所述的视频图像控制方法程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的视频图像分割方法或/和所述的视频图像控制方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。