立体视频的行交错和棋盘格的渲染方法及装置

摘要

本发明提出一种立体视频的行交错/棋盘格渲染方法，包括以下步骤：将立体视频的每一帧图像的左视图和右视图存入第一存储空间；对第一存储空间中的左视图和右视图分别进行平滑放缩，并将平滑放缩后的所述右视图和左视图分别存入第二存储空间和第三存储空间；以及根据第二存储空间中预先存入的行交错/棋盘格模板将平滑放缩后的右视图的对应像素点和行交错/棋盘格模板存入所述第三存储空间。本发明还提出一种立体视频的行交错/棋盘格渲染装置。通过该方法能够具有渲染速度快，渲染图像清晰的优点。另外，该装置结构简单，易于实现。

说明书

技术领域

本发明设计计算机多媒体技术领域，特别设计一种快速的立体视频的行交错和棋盘格的渲染方法及装置。

背景技术

立体视频的蓬勃发展带来影音播放技术的变革，三维立体视频将取代平面视频，成为多媒体科技的主要表现形式。《阿凡达》等3D立体大片风靡全球，预示着立体时代的到来。可知，立体视觉感知的基本原理是，左眼和右眼观看到的图像在水平方向上有一定的视差，从而在大脑中产生立体感。立体视频技术正是基于这一原理，通过一定的渲染、显示方式，使观众的左右眼分别看到不同的图像，从而达到立体的观看效果。

使用不同的立体显示设备播放立体视频需要不同的立体渲染方法。行交错立体渲染方式可直接用偏振立体显示设备(3D Polarizer LCD显示器)播放，但需要佩戴偏振眼镜观看。棋盘格立体渲染方式可直接用(3D-Ready HDTV(DLP)电视播放，同样需要佩戴主动式快门眼镜观看。

现有技术的缺点为，传统的立体视频的行交错和棋盘格渲染方法渲染速度慢，因此导致当播放高码率高清立体视频时，渲染运算速度慢，可能导致播放不流畅。另外，在边渲染边播放的过程中，总是由于渲染速度慢，导致播放停止，等待渲染，因此，观赏效果不佳，使用户处于总是处于间断等待过程中，影响观影效果。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种渲染速度快，渲染效果好的立体视频的行交错/棋盘格渲染方法。

本发明的另一目的在于提出一种立体视频的行交错/棋盘格渲染装置。该装置具有渲染速度快的优点，且设计简单，易于实现。

为了实现上述目的，本发明第一方面实施例提出的立体视频的行交错/棋盘格渲染方法，包括以下步骤：将所述立体视频的每一帧图像的左视图和右视图存入第一存储空间；对所述第一存储空间中的所述左视图和右视图分别进行平滑放缩，并将所述平滑放缩后的所述右视图和左视图分别存入第二存储空间和第三存储空间；以及根据所述第二存储空间中预先存入的行交错/棋盘格模板将所述平滑放缩后的右视图的对应像素点和所述行交错/棋盘格模板存入所述第三存储空间。

根据本发明实施例的立体视频的行交错/棋盘格渲染方法，对左视图和右视图分别进行平滑放缩，对左视图和右视图进行平滑能够消除左视图和右视图边缘的锯齿，使图像更加清晰，放缩以便显示设备能够正常显示图像，防止图像拉伸变形。接着根据行交错/棋盘格模板对右视图进行行交错/棋盘格立体渲染，使立体视频的每一帧图像间隔或者交错地显示左视图和右视图，从而产生立体效果，该方法其具有渲染速度快、渲染图像清晰的优点，因此，能够保证视频的流畅播放。

另外，根据本发明的立体视频的行交错/棋盘格渲染方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述第一存储空间、所述第二存储空间和所述第三存储空间存储的每一帧图像的格式包括：矩阵或数组格式的其中之一。

在本发明的一个实施例中，所述的行交错/棋盘格渲染方法，通过至少一个处理单元对所述矩阵或数组格式的每一帧图像的每一行进行并行处理。

在本发明的一个实施例中，所述行交错/棋盘格模板的每一像素点的像素值为0或1。

在本发明的一个实施例中，将所述行交错/棋盘格模板的像素值为0或1的像素点在所述右视图的对应位置像素点的像素值存入所述第三存储空间。

在本发明的一个实施例中，对所述第一存储空间中的所述左视图和右视图进行平滑放缩的方法包括：双线性插值方法、三次样条插值方法和卷积法的至少其中之一。

在本发明的一个实施例中，根据所述双线性插值方法对所述第一存储空间中的所述左视图和右视图进行平滑放缩。

在本发明的一个实施例中，将所述立体视频的每一帧图像的左视图和右视图存入第一存储空间前，对所述立体视频的每一帧图像的左视图和右视图进行区域截取，以提取所述区域截取后的左视图和右视图。

在本发明的一个实施例中，所述第三存储空间为显存。

本发明第二方面的实施例还提出一种立体视频的行交错/棋盘格渲染装置，包括：第一存储模块，用于存储所述立体视频的每一帧图像的左视图和右视图；放缩模块，用于对所述第一存储模块中的所述左视图和右视图分别进行平滑放缩；第二存储模块，用于存储所述平滑放缩后的所述右视图和预设的行交错/棋盘格模板；计算单元，用于根据所述行交错/棋盘格模板确定所述平滑放缩后的右视图的对应像素点的像素值；以及第三存储模块，用于存储所述平滑放缩后的所述左视图、所述计算单元中的行交错/棋盘格模板和所述计算单元所确定的所述平滑放缩后的右视图的对应像素点的像素值。

根据本发明实施例的立体视频的行交错/棋盘格渲染装置，能够快速地实现立体视频的行交错/棋盘格图像渲染，其具有渲染速度快的优点，从而能够保证视频的流畅播放。另外，该装置设计简单，易于实现。

另外，根据本发明的立体视频的行交错/棋盘格渲染装置还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述第一存储模块、所述第二存储模块和所述第三存储模块存储的每一帧图像的格式为矩阵或数组格式。

在本发明的一个实施例中，所述立体视频的行交错/棋盘格渲染装置还包括：至少一个处理单元，所述至少一个处理单元用于对所述矩阵或数组格式的每一帧图像的每一行进行并行处理。

在本发明的一个实施例中，所述行交错/棋盘格模板的每一像素点的像素值为0或1。

在本发明的一个实施例中，所述装置的所述计算单元用于确定所述行交错/棋盘格模板的像素值为0或1的像素点在所述右视图的对应位置像素点的像素值，并将其存入所述第三存储模块。

在本发明的一个实施例中，所述放缩模块对所述第一存储模块中的所述左视图和右视图进行平滑放缩的方法包括：双线性插值方法、三次样条插值方法和卷积法的至少其中之一。

在本发明的一个实施例中，所述放缩模块用于根据所述双线性插值方法对所述第一存储模块中的所述左视图和右视图进行平滑放缩。

在本发明的一个实施例中，第一存储模块存入所述立体视频的每一帧图像的左视图和右视图前，对所述立体视频的每一帧图像的左视图和右视图进行区域截取，以提取所述区域截取后的左视图和右视图。

在本发明的一个实施例中，所述第三存储模块为显存。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1A为本发明实施例的立体视频的行交错/棋盘格渲染方法的流程图；

图1B为本图1A所示行交错/棋盘格渲染方法的一个示例图；

图1C为本发明实施例的行交错与棋盘格模板的示意图；

图2为本发明实施例的行交错/棋盘格渲染装置的结构图；

图3A为本发明实施例的左视图和右视图区域截取的原理图；以及

图3B为图3A所示的一个实施例的区域截取的左视图和右视图。

具体实施方式

下面详细描述本发明的一些实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图1A-1C描述根据本发明实施例的立体视频的行交错/棋盘格渲染方法。

如图1A所示，为本发明实施例的立体视频的行交错/棋盘格渲染方法的流程图。根据本发明实施例的立体视频的行交错/棋盘格渲染方法，包括以下步骤：

步骤S101，将所述立体视频的每一帧图像的左视图和右视图存入第一存储空间。

具体地，分配一段第一存储空间，在本发明的一个实施例中，如图1B所示的第一存储空间F₁，令F₁的大小与立体视频每一帧图像的左、右眼子图像的总尺寸一致。并将立体视频的每一帧图像的左、右眼子图像数据写入F₁。

本发明实施例的立体视频的每一帧图像以左右排列形式为例进行描述，但是，在本发明的其它示例中，立体视频的每一帧图像的左、右眼子图像的排列方式还可以为上下排列、和分离方式等。

步骤S102，对所述第一存储空间中的所述左视图和右视图分别进行平滑放缩，并将所述平滑放缩后的所述右视图和左视图分别存入第二存储空间和第三存储空间。

具体地，如图1B，在本发明的一个实施例中，如第二存储空间F₂，F₂的大小与第三存储空间(图中未示出)的最大尺寸一致。例如，播放高清立体视频时，视频窗口可能达到的最大尺寸通常为1920*1080，将F₂的存储空间大小固定为1920*1080尺寸。F₂不仅要存储立体视频的右眼子图像经平滑放缩后的RGB图像，还要存储预置的行交错/棋盘格模板图。

在本发明的一些实施例中，如图1C所示，从左至右依次为行交错模板图31与棋盘格模板图32。

以下以行交错模板图31为例进行描述，由于F₂不仅要存储立体视频的右眼子图像经平滑放缩后的RGB图像，还要存储预置的行交错/棋盘格模板图，因此F₂可认为为两段连续的存储空间，分别记为F_2A(存储RGB图像)、F_2B(存储行交错模板)。将F₁中的左眼子图像数据进行平滑放缩，复制到第三存储空间(最终存储空间)，接着，将F₁中的右眼子图像数据进行平滑放缩，复制到F_2A。其中，右眼子图像放缩后的尺寸与F₁中的左眼子图像数据进行平滑放缩后尺寸应一致。

更为具体地，对第一存储空间F1中的左视图和右视图进行平滑放缩的方法可以采用如下方法：

双线性插值方法、三次样条插值方法或者卷积法，优选地，例如采用双线性插值方法对所述第一存储空间F₁中的所述左视图和右视图进行平滑放缩。当然，本发明的是实力并不限于此，还可以为其他平滑方法。

接着，将行交错模板图31写入F_2B中，需说明，当渲染模式不变、且第三存储空间的尺寸不超过预设的范围时(1920*1080)，则只需在立体视频的行交错渲染第一帧图像之前加载所述行交错模板31一次即可。

在本发明的一个实施例中，第一存储空间F₁、第二存储空间F₂和第三存储空间存储的每一帧图像的格式例如为矩阵或数组格式，优选地，可为矩阵格式。

因此，可将矩阵的每行视为一个子空间。对写入、存储、平滑放缩等操作，可理解为对每行数据都是独立操作，所以计算每行的数据值都不需要使用其它行的数据，也不会影响到其它行的数据，因此，适合并行操作。如在本发明的一个示例中，可采用多个处理单元对每个子空间进行并行计算，从而达到显著的加速效果。

如上所述，本发明实施例的行交错/棋盘格渲染方法通过多个处理单元对所述矩阵或数组格式的每一帧图像的每一行进行并行处理。通过并行处理可以显著提高处理速度，提高工作效率，因此保证了播放视频图像的连续性。

步骤S103，根据所述第二存储空间F₂中预先存入的行交错/棋盘格模板将所述平滑放缩后的右视图的对应像素点和所述行交错/棋盘格模板存入所述第三存储空间。

具体地，结合图1B，以上述行交错渲染方法实施例进行描述，将F_2B中存储的行交错模板31(不放缩)复制到第三存储空间的模板图存储区。

需理解，行交错模板图31的一个特性为，当从其左下角截取一个子区域时，始终保持偶数行的像素点的像素值全为0，奇数行的像素点的像素值全为1，可知，与子区域的尺寸无关，因此复制时根据最终存储空间的尺寸对F_2B的左下角区域进行截取即可。

将F2B中存储的RGB图像(不放缩)复制到第三存储空间，复制过程中需根据第三存储空间已存储的行交错模板图31进行判断。

其中，具体判断方法为，行交错模板图31相应位置点的像素值为0，则覆盖所述F_2A中存储的RGB图像的相应区域的像素值，否则保持原来的像素值。因此，其效果为偶数行被覆盖为放缩后的右眼子图像，奇数行仍保持为放缩后的左眼子图像，从而实现行交错渲染图像。

更为具体地，在本发明的一个实施例中，所述行交错模板图31的每一像素点的像素值为0或1，并将所述行交错模板的像素值为0或1的像素点在所述右视图的对应位置像素点的像素值存入所述第三存储空间，以完成行交错渲染图像。

但是，本发明的实施例并不限于此，用户可根据需要改变行交错模板图的奇、偶行的像素值，例如，可将奇、偶行的像素值进行对调，也可以将行交错模板图31相应位置点的像素值为1，则覆盖所述F_2A中存储的RGB图像的相应区域的像素值，否则保持原来的像素值，但是其原理不变。这些基于本发明思想的改变、变换均应属于本发明的保护范围。

另外，本领域的普通技术人员知道，将所述行交错模板图31替换为棋盘格模板图32后，其实现过程如上所述，为减少冗余，不做描述，从而实现最终的棋盘格渲染图像。

根据本发明实施例的立体视频的行交错/棋盘格渲染方法，对左视图和右视图分别进行平滑放缩，对左视图和右视图进行平滑能够消除左视图和右视图边缘的锯齿，使图像更加清晰，放缩以便显示设备能够正常显示图像，防止图像拉伸变形。接着根据行交错/棋盘格模板对右视图进行行交错/棋盘格立体渲染，使立体视频的每一帧图像间隔或者交错地显示左视图和右视图，从而产生立体效果，该方法其具有渲染速度快、渲染图像清晰的优点，因此，能够保证视频的流畅播放。

以下结合附图2描述根据本发明实施例的立体视频的行交错/棋盘格渲染装置。

如图2所示，为本发明实施例的立体视频的行交错/棋盘格渲染装置的结构图。根据本发明实施例的立体视频的行交错/棋盘格渲染装置200包括第一存储模块210、放缩模块220、第二存储模块230、第三存储模块240和计算单元250。

其中，第一存储模块210用于存储所述立体视频的每一帧图像的左视图和右视图。放缩模块220用于对所述第一存储模块210中的所述左视图和右视图分别进行平滑放缩。第二存储模块230用于存储所述平滑放缩后的所述右视图和预设的行交错/棋盘格模板。第三存储模块240用于存储所述平滑放缩后的所述左视图、所述计算单元中的行交错/棋盘格模板和所述计算单元250所确定的所述平滑放缩后的右视图的对应像素点的像素值。计算单元250用于根据所述行交错/棋盘格模板确定所述平滑放缩后的右视图的对应像素点的像素值并将所述行交错/棋盘格模板存入所述第三存储模块240。

具体而言，在本发明的一些示例中，所述行交错/棋盘格模板的每一像素点的像素值为0或1，且所述计算单元250用于确定所述行交错/棋盘格模板的像素值为0或1的像素点在所述右视图的对应位置像素点的像素值，并将其存入所述第三存储模块240。另外，放缩模块220对第一存储模块210中的左视图和右视图进行平滑放缩的方法可采用如下任意一种：

双线性插值方法、三次样条插值方法和卷积法。本发明的实施例并不限于此，还可以为其它图像平滑方法。

优选地，放缩模块220用于根据所述双线性插值方法对第一存储模块210中的左视图和右视图进行平滑放缩。

在本发明的一个实施例中，第二存储模块230和第三存储模块240存储的每一帧图像的格式为矩阵或数组格式。优选地，可以为矩阵。

在本发明的一些示例中，该装置200还可以包括至少一个处理单元(图中未示出)，至少一个处理单元用于对所述矩阵或数组格式的每一帧图像的每一行进行并行处理。

具体而言，在第一存储模块210、第二存储模块230和第三存储模块240中图像数据是以矩阵格式逐行存储的，因此，可将矩阵每行视为一个子空间。对写入、存储、平滑放缩等操作，可理解为对每行数据都是独立操作，所以计算每行的数据值都不需要使用其它行的数据，也不会影响到其它行的数据，因此，适合并行操作。可采用多个处理单元对每个子空间进行并行计算，从而达到显著的加速效果。

根据本发明实施例的行交错/棋盘格渲染装置200，能够快速地实现行交错/棋盘格立体渲染，其具有渲染速度快的优点，从而保证视频的流畅播放。

如上述实施例的立体视频的行交错/棋盘格渲染方法和立体视频的行交错/棋盘格渲染装置，可在对立体视频处理前，对立体视频进行区域截取，以增加立体显示效果。

具体地，可对立体视频的每一帧图像做视差调整，如图3A所示，结合图3B，其中，视差调整的原理如图3A所示，将左右眼子图像向相反方向微移，在本发明的一个示例中，左眼子图像51如图中向右的箭头方向移动，右眼子图像52向左箭头所指方向移动。因此，移动后，可使人眼感知到的视差增大或减小，从而改变观赏立体场景的景深，进而改变场景中物体的相对位置，给用户带来新鲜的立体观影体验。

其中，视差调整的过程如图3B所示。令视差调整的参数设为parallax，单位是像素，parallax＞0时表示视差增大，左眼子图像51向右微移，右眼子图像52向左微移；parallax＜0时则相反。假设parallax＞0，则左眼子图像51向右平移parallax个像素，右眼子图像52向左平移parallax个像素

在本发明的一个实施例中，微移之后立体显示有效区域53将减小，要保持有效区域图像的原始显示比例，则需要拉伸图像。本发明的实施例将左眼子图像51与右眼子图像52绘制到上述实施例所示的第一存储空间F₁中，以及对F₁的部分区域平滑放缩时，根据要调整的视差，截取一部分子区域作为左右眼子图像进行处理。

在本发明实施例的立体视频的行交错/棋盘格渲染方法下，将F₁的左、右半区域分别平滑放缩时，截取区域F₁₁、F₁₂分别用于存储截取的左、右子图像。

本领域的普通技术人员知道，当parallax＜0时，与parallax＞0的方法同理，为减少冗余，不做赘述。

可选地，还可以根据预设值对立体图像的左右眼子图像进行实时反转，即把原始立体图像的右半部分看作左眼视图，左半部分看作右眼视图。

具体地，在本发明实施例的立体视频的行交错/棋盘格渲染方法下，需同时根据显示屏幕光栅的奇偶数行以及左右眼视图是否反转来设置行交错/棋盘格模板图判断规则，若像素值为奇数且不反转，或偶数且反转，则设置为“1覆盖，0保持”；否则，设置为“0覆盖，1保持”。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。