一种数字内容3D格式自动识别方法和系统

摘要

本发明公开了一种数字内容3D格式自动识别方法和系统，接收到视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式；根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。通过上述方法和系统，能够实现数字内容3D格式的自动判定，并进一步实现画面的重现，提高了3D播放的效率，避免了手动设置存在的诸多问题。

说明书

技术领域

本发明涉及3D视频技术领域，特别是指一种数字内容3D格式自动识别方法和系统。

背景技术

随着3D产业的发展，涌现出大量的3D视频格式，主要分为两大类，包括：帧兼容格式与非帧兼容格式。其中，帧兼容格式由于兼容目前2D数据传输、接收以及处理的流程而得到了广泛的采用。根据左右眼两路图像不同的抽取与拼接方法来区分，帧兼容格式可以分为：左右（Side by Side，SBS）格式、上下（Top-and-Bottom，TaB）格式、SENSIO高保真3D(SENSIO HiFi 3D)格式、棋盘格（Checkerboard）格式以及3D地板(3D Tile)格式。在实际应用中播放系统需要对上述五种格式以及2D格式进行有效的区分以确定后续处理。

当前动态图象专家组2（Moving Pictures Experts Group2，MPEG2）以及MPEG4等相关标准中已经增加了相应标识（Flag）对SBS格式、TaB格式以及SENSIO HiFi 3D格式进行区分。播放客户端在对视频流进行相应解码后，可以依据其中的Flag决定后续处理以正确恢复或显示3D内容。目前音视频编码标准（Audio Video coding Standard，AVS标准）能够支持SBS、TaB格式，进一步的在积极推进使得AVS标准也能够支持SENSIO HiFi 3D格式、Checkerboard格式以及3D Tile格式。此外，部分播放系统例如：微软的播放软件，以及LEONIS的LEC3DS播放系统，也支持用户自己依据各自公司的3D信息标准规范，针对素材添加格式信息并在本地建立相应格式数据库。

但是上述方法在应用中存在局限性：一方面视频数据解码后格式信息很难通过传输渠道向下级传递，其主要原因是没有现行标准和资源，并且成本相对较高；另一方面依赖用户自行添加的方式也很不方便且极容易产生误操作。一旦数据库丢失将很难执行后续操作。对于实时3D格式转换系统，在输入格式进行变换后，手工设定很容易产生错误且由于其延迟性无论对于素材的处理还是观看效果都会产生负面的影响。

发明内容

有鉴于此，本发明的主要目的在于提供一种数字内容3D格式自动识别方法和系统，能够解决数字内容3D格式无法自动判定及处理的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种数字内容3D格式自动识别方法，所述方法包括：

接收到视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式；

根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。

其中，所述根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，具体包括：

检测视频信息的中间列的连续性，如满足非连续性则判定视频信息为左右（SBS）格式或SENSIO HiFi 3D格式，如满足连续性则检测视频信息的中间行的连续性，如满足非连续性则判定视频信息为上下（TaB）格式，如满足连续性则构造视频信息的虚拟中间列，并检测其连续性，如满足连续性则判定视频信息为2D格式，否则判定视频信息为棋盘格（Checkerboard）格式。

其中， 在所述判定视频信息为SBS格式或SENSIO HiFi 3D格式之后，所述方法还包括：通过五点梅花形排法反锯齿算法（Quincux）区分SBS格式或SENSIO HiFi 3D格式。

其中，所述构造视频信息的虚拟中间列，具体为按照De-CheckBoard 的方式构造虚拟中间列。

其中，在判定视频信息所属的3D格式或2D格式之后，所述方法还包括：利用相似性确认的方式，对视频信息所属的3D格式或2D格式进行检查。

本发明还公开了一种数字内容3D格式自动识别系统，所述系统包括：信号接收模块、格式判定模块和信号处理模块，其中，

所述格式判定模块，用于接收到信号接收模块发送来的视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，将视频信息所属的3D格式或2D格式和视频信息发送给信号处理模块；

所述信号处理模块，用于根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。

其中，所述格式判定模块根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，具体包括：

格式判定模块检测视频信息的中间列的连续性，如满足非连续性则判定视频信息为SBS格式或SENSIO HiFi 3D格式，如满足连续性则检测视频信息的中间行的连续性，如满足非连续性则判定视频信息为TaB格式，如满足连续性则构造视频信息的虚拟中间列，并检测其连续性，如满足连续性则判定视频信息为2D格式，否则判定视频信息为Checkerboard格式。 

其中，所述格式判定模块，还用于在判定视频信息为SBS格式或SENSIO HiFi 3D格式之后，通过Quincux区分SBS格式或SENSIO HiFi 3D格式。

其中，所述格式判定模块构造视频信息的虚拟中间列，具体为按照De-CheckBoard 的方式构造虚拟中间列。

其中，所述格式判定模块，还用于在判定视频信息所属的3D格式或2D格式之后，利用相似性确认的方式，对视频信息所属的3D格式或2D格式进行检查。

本发明所提供的数字内容3D格式自动识别方法和系统，接收到视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式；根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。通过上述方法和系统，能够实现数字内容3D格式的自动判定，并进一步实现画面的重现，提高了3D播放的效率，避免了手动设置存在的诸多问题。

附图说明

图1为本发明一种数字内容3D格式自动识别方法流程示意图；

图2为针对SBS格式或SENSIO HiFi 3D格式进行中间列的连续性检测的示意图；

图3为针对TaB格式进行中间行的连续性检测的示意图；

图4为针对Checkerboard格式进行虚拟中间列的连续性检测的示意图；

图5为3D Tile格式的构成原理示意图；

图6为螺旋扫描式搜索的示意图；

图7为三布搜索法的示意图；

图8为本发明一种数字内容3D格式自动识别系统。

具体实施方式

本发明的基本思想是：接收到视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式；根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

图1为本发明一种数字内容3D格式自动识别方法流程示意图，如图1所示，所述方法包括：

步骤101，接收到视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式；

步骤102，根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。

进一步的，在步骤101之后，所述方法还包括：利用相似性确认（shift estimate）的方式，对视频信息所属的3D格式或2D格式进行检查。

具体的，所述步骤101中，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，具体包括以下步骤：

步骤101a，检测视频信息的中间列的连续性，如满足连续性则执行步骤101b，否则判定视频信息为SBS格式或SENSIO HiFi 3D格式；

具体的，图2为针对SBS格式或SENSIO HiFi 3D格式进行中间列的连续性检测的示意图，如图2所示，如果满足非连续性则可以判定视频信息为SBS格式或SENSIO HiFi 3D格式。

进一步的，在判定视频信息为SBS格式或SENSIO HiFi 3D格式之后，所述方法还包括：通过五点梅花形排法反锯齿算法（Quincux）区分SBS格式或SENSIO HiFi 3D格式。

步骤101b，检测视频信息的中间行的连续性，如满足连续性则执行步骤101c，否则判定视频信息为TaB格式；

具体的，图3为针对TaB格式进行中间行的连续性检测的示意图，如图3所示，如果满足非连续性则可以判定视频信息为TaB格式。

步骤101c，构造视频信息的虚拟中间列，并检测其连续性，如满足连续性则判定视频信息为2D格式，否则判定视频信息为Checkerboard格式。

具体的，所述构造视频信息的虚拟中间列，具体为按照De-CheckBoard 的方式构造虚拟中间列。所谓虚拟中间列是将数据重新组织，构造可以检测连续性的中间列。图4为针对Checkerboard格式进行虚拟中间列的连续性检测的示意图，如图4所示，如果满足非连续性则可以判定视频信息为Checkerboard格式。上述过程中，所述否则具体指满足非连续性。

进一步的，图5为3D Tile格式的构成原理示意图，如图5所示，只要检测L与R1之间列的连续性以及T与(R2,R3)之间行的连续性即可。

此外，本发明中连续性的检测具体为：边缘检测算法。其大致分为几类，微分法、曲面拟合法与最优算子法、多尺度算法等。由图2至图5可知本发明均需采用边缘检测来进行3D格式识别。微积分学中采用导数描述连续函数的变化，图像函数的变化用指向函数最大增长方向的梯度表示。图像                                                在位置处的梯度定义为,梯度的幅值,方向角梯度方向与边缘方向垂直。数字图像本质上是离散的，因此要得到偏导数可以用差分来近似。常见的给予梯度的边缘检测子有Robert、Prewitt、Sobel、Kirsch算子等，他们普遍计算量小，操作简单。其中Sobel算子通常应用于水平和垂直边缘。符合我们图像显示检测的需求。

Sobel边缘检测算法主要是由图像输入中得到水平梯度和垂直梯度，然后进行梯度结合，之后根据门限T进行门限处理则可以得到输出的图像。其中，主要是利用Sobel算子作边缘检测。其实质是一离散的差分算子，用来计算图像亮度函数的灰度近似值。在图像中的任意一点使用，都将产生对应的灰度矢量。一般包含如下两组3X3的矩阵，分别表示横向 （表1）和纵向 （表2）算子，将其与图像作平面卷积，即可分别求出横向和纵向的亮度差分近似值。

 

图像的每个像素的横向和纵向灰度值通过梯度公式结合，可计算该点的灰度大小：。一般为了提高计算效率，我们都采用更近似的公式：。进而通过根据像素点上下、左右邻点灰度加权差在边缘处达到极值这一现象检测边缘。

本发明中所述的相似性确认具体为从中心开始完全搜索，为了提高搜索速度，可以采用快速搜索算法。

完全搜索对搜索区域（对当前宏块+s）内的每个点计算其SAE（绝对误差和）值，优点是一定能够找到搜索区域内最小的SAE,缺点是计算量大，需要次的计算度量。通常采用的完全搜索策略有两种：一种是光栅扫描式搜索，从搜索区域的最左上角开始，光栅扫描并计算所有位置，计算量较大。而对于我们实际3D格式识别应用，大部分运动向量都在中心点周围，因此可以进一步简化为另一种螺旋扫描式搜索，从中心位置出发，采用螺旋块的形式顺时针搜索，越靠后的计算越可能被中断，从而节省了计算成本。图6为螺旋扫描式搜索的示意图。

而由于实际应用中计算资源或者功率受限，在采用采用螺旋扫描式搜索区域过程中，可以适当的采用快速算法，在区域内部仅计算一部分点的SAE，从而大大降低计算成本。一般采用TTS进行快速搜索，即三步搜索法。图7为三布搜索法的示意图，如图7所示，首先在中心点周围选取8个样点（通常取）计算其SAE，并标注序号1。在8个点中选出SAE最小的点，减少的搜索距离，继续搜索该点周围得8个样点计算其SAE，并标注序号2。进一步重复此操作，直到距离无法进一步缩小为止。从而计算量大幅度减少。

为了计算偏移量的大小，需要计算其能量。通常采用能量的度量有三种形式：MSE（平均平方误差）、MAE（平均绝对误差）和SAE（绝对误差和）。不同的度量影响着计算复杂度和估计的准确性。其中，SAE因其具有相对较低的计算复杂度而最为广泛的应用。公式为：SAE=. 在螺旋式完全快速搜索中采用的即为SAE。

图8为本发明一种数字内容3D格式自动识别系统的结构示意图，如图8所示，所述系统包括：信号接收模块81、格式判定模块82和信号处理模块83，其中，

所述格式判定模块82，用于接收到信号接收模块81发送来的视频信息后，根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，将视频信息所属的3D格式或2D格式和视频信息发送给信号处理模块83；

所述信号处理模块83，用于根据视频信息所属的3D格式或2D格式，对视频信息进行信号重组处理，得到还原的视频画面。

具体的，所述格式判定模块82根据视频信息的中间列、和/或中间行、和/或虚拟中间列的连续性，判定视频信息所属的3D格式或2D格式，具体包括：

格式判定模块82检测视频信息的中间列的连续性，如满足非连续性则判定视频信息为SBS格式或SENSIO HiFi 3D格式，如满足连续性则检测视频信息的中间行的连续性，如满足非连续性则判定视频信息为TaB格式，如满足连续性则构造视频信息的虚拟中间列，并检测其连续性，如满足连续性则判定视频信息为2D格式，否则判定视频信息为Checkerboard格式。

其中，所述格式判定模块构造视频信息的虚拟中间列，具体为按照De-CheckBoard 的方式构造虚拟中间列。

进一步的，所述格式判定模块82，还用于在判定视频信息为SBS格式或SENSIO HiFi 3D格式之后，通过Quincux区分SBS格式或SENSIO HiFi 3D格式。

进一步的，所述格式判定模块82，还用于在判定视频信息所属的3D格式或2D格式之后，利用相似性确认的方式，对视频信息所属的3D格式或2D格式进行检查。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。