三维视频转换记录装置、三维视频转换记录方法、记录介质、三维视频转换装置以及三维视频传输装置

摘要

本发明提供三维视频转换记录装置、三维视频转换记录方法、记录介质、三维视频转换装置以及三维视频传输装置。三维视频转换记录装置能够以削减数据量的方式将三维视频数据记录在记录介质中，该三维视频转换记录装置具有：分离部(10)，其将所输入的三维视频流分离为多个视频流；解码部(11)，其对分离后的多个视频流内的至少一个进行解码；帧间疏部(13)，其削减解码后的视频流的数据量；编码部(14)，其对削减了数据量的视频流进行编码；复用部(15)，其对分离后的多个视频流内的输入到解码部(11)的视频流以外的视频流即其他视频流、和编码后的视频流进行复用；以及记录部，其将复用后的视频数据记录在记录介质(21)中。

说明书

技术领域

本发明涉及以削减数据量的方式将立体显示用视频数据(三维视频数据)记录在记录介质中的三维视频转换记录装置和三维视频转换记录方法、记录有复用后的视频数据的记录介质、三维视频转换装置以及三维视频传输装置。

背景技术

三维视频数据的传输方法例如在专利文献1中进行公开。在该传输方法中，针对每一个像素，分别利用规定比特数来构成左眼用视频数据和右眼用视频数据，以一个像素单位在左眼用视频数据和右眼用视频数据的任意一方中附加另一方，以与像素时钟同步的定时进行传输。

专利文献1：日本特开2007-336518号公报(摘要、图4)

但是，利用这种传输方法传输的三维视频数据的数据量与二维视频数据的数据量相比，每一个像素为2倍。因此，在三维视频数据的记录中，与二维视频数据的记录相比，需要大约2倍的记录容量(盘容量)。所以，存在记录装置的可录像时间缩短、或需要大容量的记录装置这样的问题。特别地，在记录水平1920像素、垂直1080线以上(也称为“fullhigh vision”)的分辨率高的三维视频数据的情况下，由于记录装置的盘容量不足，无法对大量节目进行累积录像。

发明内容

因此，本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供能够以削减数据量的方式将三维视频数据记录在记录介质中的三维视频转换记录装置和三维视频转换记录方法、记录有复用后的视频数据的记录介质、三维视频转换装置以及三维视频传输装置。

本发明的三维视频转换记录装置的特征在于，该三维视频转换记录装置具有：削减单元，其削减构成三维视频的多个视频数据内的至少一个视频数据的数据量；编码单元，其对所述削减了数据量的视频数据进行编码，输出编码后的视频数据；复用单元，其对构成三维视频的所述多个视频数据内的所述削减了数据量的视频数据以外的视频数据和所述削减了数据量并进行了编码的视频数据进行复用；记录单元，其将由所述复用单元复用后的视频数据记录在记录介质中；设定存储单元，其存储用于确定所述削减单元进行数据量削减的方式的设定值；以及控制单元，其控制所述削减单元的动作，所述控制单元向所述削减单元输出基于存储在所述设定存储单元中的所述设定值的控制信号，所述削减单元根据所述控制信号削减视频数据的数据量，将所述削减了数据量的视频数据输出到所述编码单元。

并且，本发明的三维视频转换记录方法的特征在于，该三维视频转换记录方法具有以下步骤：设定存储步骤，在该步骤中，存储设定值，该设定值用于确定构成三维视频的多个视频数据的数据量的削减方法；削减步骤，在该步骤中，根据所述设定值，削减构成三维视频的所述多个视频数据内的至少一个视频数据的数据量；对通过所述削减步骤削减了数据量的视频数据进行编码，并输出编码后的视频数据的步骤；复用步骤，在该步骤中，对构成三维视频的所述多个视频数据内的削减了数据量的视频数据以外的视频数据和所述削减了数据量并进行了编码的视频数据进行复用；以及将通过所述复用步骤复用后的视频数据记录在记录介质中的步骤。

并且，本发明的记录介质的特征在于，该记录介质记录有通过上述三维视频转换记录装置或三维视频转换记录方法复用后的视频数据。

根据本发明的三维视频转换记录装置、三维视频转换记录方法以及记录介质，削减从三维视频数据中分离的多个视频数据内的至少一个的数据量，由此，能够削减由记录单元记录的三维视频数据的数据量，具有能够有效使用记录区域的效果。并且，根据本发明的三维视频转换装置，具有缩小了通过转换而生成的数据的尺寸的效果，根据本发明的三维视频传输装置，具有缩小了所传输的数据的尺寸的效果。

附图说明

图1是概略地示出本发明的实施方式1的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。

图2是示出从分离部输出到复用部的左眼用视频的帧列和从帧间疏部输出的右眼用视频的帧列的说明图。

图3是概略地示出图1所示的场景变换检测部的结构的框图。

图4是示出在实施方式1的三维视频转换记录装置中记录的文件和数据构造的一例的图。

图5(a)和(b)是示出在实施方式1的三维视频转换记录装置中记录的MPEG-2视频数据的序列头的构造和序列显示的构造的图。

图6(a)和(b)是示出在本发明的实施方式2的三维视频转换记录装置中分离的二维视频帧和深度信息帧的图。

图7是概略地示出本发明的实施方式3的三维视频转换记录装置(即实施实施方式3的三维视频转换记录方法的装置)的结构的框图。

图8是示出通过实施方式3的三维视频转换记录装置的修整部修整的修整区域的图。

图9是概略地示出本发明的实施方式4的三维视频转换记录装置(即实施实施方式4的三维视频转换记录方法的装置)的结构的框图。

图10是概略地示出本发明的实施方式5的三维视频转换记录装置(即实施实施方式5的三维视频转换记录方法的装置)的结构的框图。

图11(a)和(b)是示出将本发明的实施方式6的三维视频转换记录装置(即实施实施方式6的三维视频转换记录方法的装置)的帧像素间疏为黑白相间的方格花纹的图案和对扫描线进行间疏的图案的图。

图12是示出本发明的实施方式7的三维视频转换记录装置(即实施实施方式7的三维视频转换记录方法的装置)的3D_Type构造的图。

图13是概略地示出本发明的实施方式8的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。

图14是示出在实施方式8的三维视频转换记录装置中检测到的目标的移动的图。

图15是概略地示出实施方式1的三维视频传输装置(即实施实施方式1的三维视频传输方法的装置)的结构的框图。

具体实施方式

实施方式1

图1是概略地示出本发明的实施方式1的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。如图1所示，实施方式1的三维视频转换记录装置具有：分离部10，其将所输入的包含三维视频数据的输入流Sa分离为多个视频数据(流)；作为解码单元的解码部11，其对分离后的多个流内的至少一个流(例如右眼用视频数据(右眼用视频流)Sc)进行解码，并输出解码后的视频数据Sc1；帧缓冲器12，其临时存储视频数据Sc1；作为削减单元的帧间疏部13，其对帧进行间疏，以削减从帧缓冲器12输出的视频数据Sc2的数据量；作为编码单元的编码部14，其对削减了数据量的视频数据Sc3进行编码，输出编码后的视频数据Sc4；作为复用单元的复用部15，其对通过分离部10的分离而生成的多个视频数据内的输入到解码部11的视频数据Sc以外的视频数据即其他视频数据(流)(例如左眼用视频数据(左眼用视频流)Sb以及声音流和字幕流等Sd)、和由编码部14编码后的视频数据Sc4进行复用；以及作为记录单元的记录部(存储器)16，其将由复用部15复用后的视频数据Se记录在记录介质中。并且，实施方式1的三维视频转换记录装置具有：作为设定存储单元的设定存储部17，其保持预先设定或通过用户输入而设定的设定值；作为控制单元的控制器18，其对装置整体的动作(特别是分离部10和帧间疏部13的动作)进行控制；以及作为特征变化点检测单元的场景变换检测部19，其根据解码后的视频数据来检测视频的特征变化点。

分离部10例如从广播接收机(未图示)、可移动磁盘的再现装置(未图示)或网络(未图示)等，受理包含三维视频数据的内容的输入流Sa，作为输送流(TS)或程序流(PS)。分离部10进行将输入流Sa分离为例如视频流、声音流、字幕流等的处理、以及将视频流分离为多个流的处理。在视频流是对左眼用视频流和右眼用视频流复用后的流的情况下，分离部10例如根据输入流Sa来分离左眼用视频流和右眼用视频流。在实施方式1中说明如下情况：通过存储在设定存储部17中的设定，将由分离部10分离的左眼用视频流Sb输入到复用部15，将由分离部10分离的右眼用视频流Sc输入到解码部11，但是，有时也将右眼用视频流输入到复用部15，将左眼用视频流输入到解码部11。在视频流是将左眼用视频流和右眼用视频流作为不同流复用后的流的情况下，分离部10例如根据输入流Sa来分离左眼用视频流和右眼用视频流。在视频流是不将左眼用视频流和右眼用视频流作为不同流的流的情况下，例如在视频流是包含左眼用视频数据和右眼用视频数据的一个流的情况下，分离部10进行将包含左眼用视频流和右眼用视频流的流分离为左眼用视频流和右眼用视频流的处理。

在实施方式1中，在设定存储部17中存储有左眼用视频比右眼用视频受到重视或右眼用视频比左眼用视频受到重视的任意一个设定内容(例如设定值)，在左眼用视频比右眼用视频受到重视的设定中，不对左眼用视频流Sb进行加工而将其输入到复用部15，对右眼用视频流Sc实施加工处理(在实施方式1中为帧间疏处理)后将其输入到复用部15。另一方面，在右眼用视频比左眼用视频受到重视的设定中，不对右眼用视频流进行加工而将其输入到复用部15，对左眼用视频流实施加工处理后将其输入到复用部15。该设定内容预先存储在设定存储部17中或通过用户的输入操作而存储在设定存储部17中，控制器18输出基于设定存储部17的设定内容的控制信号，对分离部10和帧间疏部13的动作进行控制。另外，在实施方式1中，以进行了左眼用视频比右眼用视频受到重视的设定的情况为中心进行说明。

在设定存储部17中存储有重视左眼用视频和右眼用视频的某一方的上述设定内容和后述的画质的设定内容。三维视频转换记录装置在记录介质中记录根据存储在设定存储部17中的这些设定内容而削减了数据量的视频数据。

解码部11对右眼用视频流Sc进行解码，将其输出到帧缓冲器12。帧缓冲器12存储解码后的右眼用视频流Sc1。帧间疏部13根据来自控制器18的控制信号，从帧缓冲器12中读出右眼用视频流Sc2，进行帧的间疏处理，削减数据量，将数据尺寸小的流Sc3输出到编码部14。编码部14对流Sc3进行编码，将流比特率小的流Sc4输出到复用部15。因此，编码部14进行比特率的计算，进行重新附加比特率的值的处理。

复用部15受理未接受加工处理的左眼用视频流Sb和声音、字幕等的流Sd、以及接受加工处理后的右眼用视频流Sc，对它们进行复用，记录部(存储器)16在记录介质中记录从复用部15输出的复用后的流Se。

接着，说明帧间疏部13的动作。在三维视频转换记录装置的录像设定中，存在为了能够对大量节目进行录像(延长可记录时间)而降低画质再次进行编码来录像的方式、以及不极力降低画质而以高画质(不进行再次编码)进行录像的方式。例如，在存储于设定存储部17的设定中，在用户选择以高画质进行记录的情况下，也可以设置不将输入流Sa输入到分离部10而直接输入到记录部16的单元(未图示)。另一方面，在设定存储部17中存储有能够对大量节目进行录像的设定的情况下，利用分离部10取出右眼用视频流Sc，利用解码部11对右眼用视频流Sc进行解码，将其输入到帧缓冲器12。控制器18根据从设定存储部17中读出的画质的设定，对帧缓冲器12的更新定时进行控制。记录在设定存储部17中的设定值包含表示帧的间疏程度的值，通过控制器18的指示，利用帧间疏部13取入设定值指定数量的相同帧。在动态图像的压缩处理中，在前后帧的差分小的情况下，即使提高压缩率，针对画质的不良影响也少。例如，在对相同帧连续的视频数据进行编码的情况下，帧间的差分为0，所以，能够使该区间的压缩后的数据量为0。

图2是示出从分离部10输出到复用部15的由左眼用视频的帧(1L、2L、3L、4L、5L、6L、…)构成的左眼用视频的帧列100、和从帧间疏部13输出的由右眼用视频的帧(1R、1R、3R、3R、5R、5R、…)构成的右眼用视频的帧列200的说明图。另外，在图2中，t示出时间轴。在图2中，左眼用视频的帧101、102、103、104、105、106、…和右眼用视频的帧201、202、203、204、205、206、…是分别对应的帧。如图2所示，在实施方式1中，三维视频转换记录装置不对左眼用视频的帧进行间疏而直接输出，例如将第1个输入视频帧1L作为第1个左眼用视频的帧101输出，将第2个输入视频帧2L作为第2个左眼用视频的帧102输出，将第3个输入视频帧3L作为第3个左眼用视频的帧103输出，将第4个输入视频帧4L作为第4个左眼用视频的帧104输出，将第5个输入视频帧5L作为第5个左眼用视频的帧105输出，将第6个输入视频帧6L作为第6个左眼用视频的帧106输出。与此相对，如图2所示，在实施方式1中，帧间疏部13对右眼用视频的帧进行间疏并输出，例如将第1个输入视频帧1R作为第1个右眼用视频的帧201输出，将相同的第1个输入视频帧1R作为第2个右眼用视频的帧202输出，将第3个输入视频帧3R作为第3个右眼用视频的帧203输出，将相同的第3个输入视频帧3R作为第4个右眼用视频的帧204输出，将第5个输入视频帧5R作为第5个右眼用视频的帧205输出，将相同的第5个输入视频帧5R作为第6个右眼用视频的帧206输出。图2所示的右眼用的帧列200示出使相同帧重复2次来输出右眼用视频的帧的数据的情况，但是，在进一步提高数据量的削减率的情况下(降低画质的设定的情况下)，也可以采用增加相同帧的输出次数、例如使相同帧重复3次的方法。

并且，控制器18能够进行如下控制：不使帧间疏部13执行对由场景变换检测部19检测到特征变化点、例如场景变换的帧进行间疏的处理。如图2所示，针对右眼用视频帧，以使相同帧重复2次的方式进行动作时，如场景变换点P1所示在帧10R中检测到场景变换的情况下，作为右眼用视频的帧210，不重复帧9R(即帧间疏单元13不进行间疏处理)，而显示检测到场景变换的帧10R，然后，以使相同帧重复2次的方式进行动作。重复同一帧，由此，能够提高数据压缩率，但是，在左眼用视频的帧和右眼用视频的帧的视频差较大时(例如场景变换点)，视听者(用户)有时在视频中感觉到不自然(觉得不舒服)。采用如下方式：利用场景变换检测部19来检测场景变换，在检测到场景变换的情况下，输出新的帧数据(图2中的帧10R)，由此，排除左眼用视频数据和右眼用视频数据的差极端大的状态，由此，视听者不会感觉到视频的不自然。在帧的重复显示次数多的情况下(例如图2的帧列200中的相同帧的重复次数多的情况下)，使用场景变换检测部19的特征变化点的检测结果的控制特别有效。

图3是概略地示出图1所示的场景变换检测部19的结构的框图。如图3所示，场景变换检测部19具有：生成解码后的视频数据的柱状图的柱状图生成器191、保持由柱状图生成器191生成的柱状图的第1柱状图缓冲器192和第2柱状图缓冲器193、以及求出保持在第1柱状图缓冲器192中的柱状图和保持在第2柱状图缓冲器193中的柱状图的差异的差分提取器194。并且，场景变换提取部19具有：场景变换判定器195，其对由差分提取器194求出的差异值和预先设定的阈值进行比较；以及场景变换命令控制部196，其根据来自控制器18的场景变换检索开始命令等的控制信号，控制场景变换检测部19，在检测到场景变换时，向控制器18发送结果。

如上所述通过帧间疏部13对帧进行间疏，由此，例如在MPEG-2视频中，能够在编码部14中以高压缩率对右眼用视频流进行再次编码。编码部14对右眼用视频流进行再次编码时，附加计时印记。此时，为了使由分离部10分离的左眼用视频流Sb和进行转换处理后的右眼用视频流Sc4同步，作为右眼用视频流Sc4的解码前的计时印记，保持由解码部11提取的计时印记。计时印记存在PTS(Presentation Time Stamp)和DTS(Decoding Time Stamp)这两种，但是，这里保持PTS。DTS是在编码部14中新附加的。在编码部14中，使用所保持的计时印记进行再次编码处理。利用复用部15对该压缩后的右眼用视频流与左眼用视频流和其他声音、字幕等的数据进行复用，由此得到流Se，通过记录部16记录。

记录部16将表示数据的转换状况的元数据与流关联起来进行记录。图4是示出在实施方式1的三维视频转换记录装置中记录的文件和数据构造的一例的图。如图4所示，使用记录有构造流的文件和改变扩展符并附加相同文件名的CLIPINF(章节信息)文件303，对所记录的数据进行关联。CLIPINF文件303是配置在CLIPINF目录301下的文件，流文件304是配置在STREAM(流)目录302下的文件。在CLIPINF文件303中，在流的类型、流的种类从流的中途变化的情况下，记录该变化点。将CLIPLINF文件303的构造的一例作为文件构造305示出。在CLIPLINF文件303中，记录有将AV流文件的地址信息和时间信息关联起来的信息即CPI(Characteristic Point Information)。在CPI构造306内，新设置三维视频的类型“3D_Type”的标志，由此，表示该流与哪个形式的三维视频对应。例如进行如下定义：如果CPI构造306的“3D_Type”的值为二进制数的‘0000’，则所输入的流是仅为通常的二维视频(2D)的流，如果为二进制数的‘0001’，则所输入的流是削减了右眼用视频数据的数据量的三维视频流，如果为二进制数的‘0010’，则所输入的流是削减了左眼用视频流的数据量的三维视频流，如果为二进制数的‘0011’，则是等价地对左眼用数据和右眼用数据进行了处理的三维视频流，如果为二进制数的‘1011’，则是对二维视频数据和深度信息数据进行合并后的三维视频流，如果为二进制数的‘1010’，则是后述的对削减了深度信息的信息量的二维视频数据和深度信息数据进行合并后的三维视频流。从记录部16中读出流进行再现时，参照CLIPLINF文件303的CPI构造306内的“3D_Type”信息，从而能够知道是进行了用于削减数据量的转换的三维视频数据，还是削减了数据量的三维视频数据，对分配给左眼用的视频信道和分配给右眼用的视频信道进行切换，由此，能够正确地构成三维视频。

并且，将输入流作为二维视频进行显示时，仅对没有削减数据容量的单信道的流进行解码，在二维视频显示用的路径(未图示)中流过视频数据，由此，能够作为二维视频进行显示。

另外，在以上的说明中，说明了使用CLIPLINF文件303来记录流的信息的情况，但是，本发明不限于这种例子，也可以使用CLIPLINF文件以外的文件。例如，也可以采用在每个MPEG-2视频流的GOP(GroupOf Pictures)中包含的序列头中嵌入三维视频的信息的方法。图5(a)和(b)示出该例子的序列头的构造的一例。在图5(a)中，401表示SHC(Sequence Header Code)，402表示HSV(Horizontal Size Value)，403表示VSV(Vertical Size Value)，404表示ARI(Aspect Ratio Information)，405表示FRC(Frame Rate Information)，406表示BRV(Bit Rate Value)，407表示MRK(MarkerBit)，408表示VBSV(VBV Buffer Size Value)，409表示CPF(Constrained Parameter Flag)，410表示LIQM(Load IntraQuantizer Matrix)，411表示IQM(Intra Quantizer Matrix)，412表示LNIQM(Load Non Intra Quantizer Matrix)，413表示NIQM(Non Intra QuantizerMatrix)，414表示Sequence Extension(序列扩展)，415表示SequenceDisplay(序列显示)，416表示Sequence Scalable(序列伸缩)，417表示GOP层，418表示图像层，419表示SEC(Sequence End Code)。并且，在图5(b)中详细示出序列显示415。在图5(b)中，420表示ESC(ExtensionStart Code)，421表示UDSC(User Data Start Code)，422表示UD(UserData)，423表示ESCI(Extension Start Code Identifier)，424表示VF(VideoFormat)，425表示CD(Color Description)，426表示CP(Color Primaries)，427表示TC(Transfer Characteristics)，428表示MXC(Matrix Coeffients)，429表示DHS(Display Horizontal Size)，430表示MRK(Marker Bit)，431表示DVS(Display Vertical Size)。

在序列层中，追加在图5(b)中示出由UDSC 421所示的32比特长的用户数据的开始同步的同步码、UD(3D_Type)422所示的8的倍数的比特长的用户用数据。这些数据的位置只要是能够插入扩展数据的位置，则可以是任意位置，但是，作为一例，在图5(b)中示出配置在ESC420后的情况。作为UD 422，通过追加8比特的3D_Type信息，能够以GOP单位判别是三维视频流的图像类型，还是二维视频流的图像类型。这样，在记录将流的信息关联起来的数据的情况下，在视听时，用户能够选择是作为二维视频视听，还是作为三维视频视听。

如以上说明的那样，根据实施方式1的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的多个视频流内的至少一个的数据量，由此，能够削减由记录部16记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录三维视频数据的记录介质能够有效使用其记录区域。

削减了信息量的二维视频数据的视频看起来画质降低，但是，三维视频通过2个视频数据来构筑一个立体图像，所以，即使2个视频数据中的一个视频数据的信息量减少，通过另一个信息量多的视频数据进行校正融合，所以，看起来画质相对而言不会降低。因此，关于三维视频数据的视频，具有如下效果：通过削减一个视频数据的信息量，由此，相对而言不会降低看起来的画质，并且，能够减小记录在记录介质中的视频数据的数据尺寸。

并且，关于在实施方式1中生成削减了数据量的流的方法，除了三维视频记录装置以外，也可以应用于三维视频的传输装置(图15的标号20)。

并且，这样削减了数据量的流能够通过分离部分离为视频、声音、其他数据，通过解码部进行这些数据的解码，由此进行再现。

另外，在上述说明中，对实施减小分离后的2个视频流中的一个的数据尺寸的处理的情况进行了说明，但是，也可以实施针对两个视频流来减小数据尺寸的处理。该情况下，需要在输出流Sb的一侧也具有与图1的结构11～19相同的结构。

并且，在不需要对视频流进行实时处理的情况下，通过未图示的信号路径，在记录部16中临时保持输入到图1的复用部15之前的数据。然后，针对各流执行针对多个视频流的数据尺寸缩小处理，在记录部16中保持输入到复用部15之前的数据。在用于构成三维视频的视频流的数据尺寸缩小处理全部结束后，从记录部16中读出临时保存的数据，将其输入到复用部15，由此，构成为一个流，存储在记录部16中。

并且，在所输入的三维视频数据被复用的情况下，将其输入到分离部10，但是，如果视频数据是分离后的视频数据，则也可以没有分离部10，可以将视频数据直接输入到解码部11。在所输入的三维视频数据是不需要解码的形式的情况下，分离部10和解码部11均可以没有，可以将视频数据输入到帧缓冲器12。

并且，实施方式1的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。图15是概略地示出实施方式1的三维视频传输装置(即实施实施方式1的三维视频传输方法的装置)的结构的框图。在图15中，对与图1的结构相同或对应的结构标注相同标号。图15与图1的三维视频转换记录装置的不同之处在于，代替记录部16，具有传输三维视频转换装置30生成的复用后的视频数据的传输装置20。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式2

本发明的实施方式2的三维视频转换记录装置与上述实施方式1的不同之处在于，在分离部10中分离的视频流是二维视频数据(流)351和深度信息数据(流)352。实施方式2的其他方面与上述实施方式1的情况相同。因此，在实施方式2的说明中也参照图1。

图6(a)和(b)是示出在实施方式2的三维视频转换记录装置中分离的二维视频数据351和深度信息数据352的图。作为实现立体视频的方式，如图6(a)和(b)所示，存在通过二维视频数据和深度信息数据来构成三维视频数据的方式。图6(a)所示的二维视频数据351是包含亮度信息和颜色信息的二维视频数据。图6(b)所示的深度信息数据352是将与图6(a)所示的二维视频数据对应的各像素中的与进深相关的信息表现为深度信息的数据。在图6(b)中，深度信息利用值0(黑)～值255(白)的黑色浓度来表现，最白的部分(值255)表示位于最近前侧(位于近侧)，最黑的部分(值0)表示位于最里侧(位于远侧)。在图6(a)所示的二维视频数据中考虑图6(b)所示的深度信息数据来进行显示，由此，能够表现三维视频。

在实施方式2的三维视频转换记录装置中，不是如实施方式1的三维视频转换记录装置那样，根据输入流Sa来分离左眼用视频流和右眼用视频流，而是根据输入流Sa来分离二维视频流和深度信息流。另外，与视频显示无关的声音、字幕等的其他数据Sd独立于分离后的视频流而输入到复用部15，不进行解码处理而输入到复用部15。在实施方式2中，例如将二维视频数据直接输入到复用部15，将深度信息数据输入到解码部11来实施数据量的削减处理。但是，在实施方式2中，例如，也可以将深度信息数据直接输入到复用部15，将二维视频数据输入到解码部11来实施数据量的削减处理。

根据实施方式2的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的二维视频数据或深度信息数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录三维视频数据的记录介质能够有效使用其记录区域。

并且，实施方式2的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式2的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式3

图7是概略地示出本发明的实施方式3的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。在图7中，对与图1的结构相同或对应的结构标注相同标号。实施方式3的三维视频转换记录装置与上述实施方式1的三维视频转换记录装置的不同之处在于，代替图1所示的帧间疏部13，具有图7所示的修整部33；不具有图1所示的场景变换检测部19；存储在设定存储部37中的设定值；以及控制器38的控制内容。实施方式3的其他方面与上述实施方式1或2的情况相同。

在实施方式3的三维视频转换记录装置中，从输入流Sa的输入到对帧缓冲器12输入数据为止的步骤与实施方式1的情况相同。控制器38根据从设定存储部37中读出的修整范围的设定值，通过修整处理部33来执行修整处理。图8是示出实施方式3的三维视频转换记录装置的修整部33的修整范围的图。图8示出对1920×1080像素的分辨率的视频进行处理的情况。修整范围例如由左上方的坐标(x0、y0)和右下方的坐标(x1、y1)来指定。x0和x1分别是0以上1920以下的整数，y0和y1分别是0以上1080以下的整数，x0＜x1且y0＜y1。在图8中，斜线所示的区域(修整区域)是删除视频信息的区域，向编码部14发送将点(x0、y0)和点(x1、y1)作为对置角部的矩形范围(白色)的视频信息。编码部14将图8中斜线所示的修整区域的视频信息视为没有变化的信息，进行编码处理。通过这种处理(将修整区域中的帧间的差分视为0的处理)，能够削减压缩后的数据量。

根据实施方式3的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

并且，实施方式3的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式3的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式4

图9是概略地示出本发明的实施方式4的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。在图9中，对与图1的结构相同或对应的结构标注相同标号。实施方式4的三维视频转换记录装置与上述实施方式1的三维视频转换记录装置的不同之处在于，代替图1所示的帧间疏部13，具有图9所示的色差调整部43；不具有图1所示的场景变换检测部19；存储在设定存储部47中的设定值；以及控制器48的控制内容。实施方式4的其他方面与上述实施方式1～3中的任意一个情况相同。

在实施方式4的三维视频转换记录装置中，从输入流Sa的输入到对帧缓冲器12输入数据为止的步骤与实施方式1的情况相同。控制器48根据从设定存储部47中读出的色差调整值，使色差调整部43执行削减色差信息具有的比特数(即对色差信息进行间疏)的处理。例如，当视频信号仅为亮度信号，将Y-R和Y-B这两个色差信号的比特数削减为0时，每一个像素的信息量仅为亮度信号的8比特，能够削减数据量。另外，转换后的色差信号的比特数不限于0比特，能够在8比特～0比特的范围内进行设定。

在削减了色差信息的状态下向编码部14发送视频数据，由此，与没有进行对色差信息进行间疏的操作的状态相比，能够削减压缩后的数据。在复用部15中，与实施方式1同样，对输入流Sa中复用而包含的流数据和削减了数据量的视频流进行复用，生成流Se，记录部16存储流Se。

并且，在使用二维视频和深度信息来制作立体视频的方式的情况下，例如，不对二维视频进行间疏而对深度信息进行间疏。每一个像素具有8比特的深度信息，所以，通过削减比特数来缩小深度信息，能够削减数据量。另外，在进一步减小数据尺寸的情况下，也可以针对二维视频削减每一个像素的比特数。

根据实施方式4的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

并且，实施方式4的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式4的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式5

在上述实施方式1～4中，分别削减视频流的数据量，但是，也可以将它们组合起来实施。图10是概略地示出本发明的实施方式5的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。在图10中，对与图1、图7或图9的结构相同或对应的结构标注相同标号。实施方式5的三维视频转换记录装置与上述实施方式1～4的三维视频转换记录装置的不同之处在于，作为削减数据量的单元，具有帧间疏部13、修整部33和色差调整部43；存储在设定存储部57中的设定值；以及控制器58的控制内容。实施方式5的其他方面与上述实施方式1～4中的任意一个情况相同。

在实施方式5的三维视频转换记录装置中，对帧缓冲器12发送输入流Sa之前的处理与实施方式1相同。根据记录在设定存储部57中的设定值来转换帧缓冲器12的视频数据。在设定存储部57中设定了修整范围的情况下，根据控制器58的指令，通过实施方式3所示的修整部23的修整处理来削减数据量。在设定存储部57中设定了帧间疏条件的情况下，根据控制器58的指令，帧间疏部13进行实施方式1或2所示的帧的间疏处理。并且，在具有场景变换检测部19的情况下，如实施方式1所示，在产生了场景变换的情况下，取得新的帧数据。在设定存储部57中设定了对色差信号的比特数进行调整的条件的情况下，根据控制器58的指令，色差调整部43进行实施方式4所示的色差信号的调整处理。其他处理内容与上述实施方式1～4中的任意一个处理相同。

根据实施方式5的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

另外，在上述说明中，用于削减数据量的处理为修整、帧间疏、色差调整这样的顺序，但是，处理的顺序也可以颠倒。

并且，作为削减数据量的单元，说明了具有帧间疏部13、修整部33和色差调整部43的情况，但是，也可以是具有其中的2个削减单元的装置。

并且，实施方式5的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式5的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式6

本发明的实施方式6的三维视频转换记录装置与上述实施方式1的不同之处在于，作为削减数据量的手段，采用根据在分离部10中分离的视频流来削减数据的方法。实施方式6的其他方面与上述实施方式1的情况相同。因此，在实施方式6的说明中也参照图1。

图11(a)和(b)示出在本发明的实施方式6的三维视频转换记录装置(即实施实施方式6的三维视频转换记录方法的装置)的间疏处理中使用的图案，图11(a)是示出黑白相间的方格花纹的间疏图案501的图，图11(b)是示出对扫描线进行间疏的图案502的图。在实施方式6的三维视频转换记录装置中，不是以帧单位对视频数据进行间疏，而是例如如图11(a)的网格区域那样，删除构成为黑白相间的方格花纹的区域，由此削减数据量。并且，在实施方式6的三维视频转换记录装置中，例如如图11(b)的网格区域那样，也可以通过删除扫描线来削减数据。另外，为了削减数据而使用的图案不限于图示的图案。这样，通过削减各帧的数据量，由此，能够减小编码后的数据量。其他处理内容与上述实施方式1～4中的任意一个处理相同。

根据实施方式6的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

另外，在上述说明中，用于削减数据量的处理是删除由图案指定的区域的数据的处理，但是，也可以代替该处理，或者在该处理的基础上，在编码处理中使用离散波率转换。通过进行离散波率转换，由此，能够削减高频分量，所以，得到减小数据尺寸的效果。

并且，也可以将实施方式6的处理与上述实施方式1～5中的任意一个进行组合。

并且，实施方式6的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式6的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式7

图12是示出表示输入到本发明的实施方式7的三维视频转换记录装置(即实施实施方式7的三维视频转换记录方法的装置)的流的三维视频的类型的数据构造(3D_Type构造)的图。嵌入序列头中的3D_Type在图5(b)所示的UD 422中配置为8比特的数据。图12所示的bit7是三维视频标志，例如，在该值为1的情况下是三维视频，在该值为0的情况下是二维视频。bit0～bit3示出三维视频的类型。例如，如果3D_Type的值为二进制数的‘0000’，则是仅为通常的二维视频的流，如果为二进制数的‘0001’，则是削减了右眼用视频的数据量的三维视频流，如果为二进制数的‘0010’，则是削减了左眼用视频的数据量的三维视频流，如果为二进制数的‘0011’，则是等价地对左眼用和右眼用进行了处理的三维视频流，如果为二进制数的‘1011’，则是对二维视频和深度信息进行合并后的三维视频流，如果为二进制数的‘1010’，则是对削减了深度信息的信息量的二维视频和深度信息进行合并后的三维视频流。

通过测定视频的柱状图来进行左眼用视频流和右眼用视频流的比较，在差分值超过规定阈值的地方，建立bit7的三维视频标志，由此，标志未建立时，削减右眼用视频数据的信息，再现时将左眼用视频作为右眼用视频映出。在再现时建立了三维视频标志时，分别对右眼用视频和左眼用视频进行解码并显示，这样，能够仅对必要的部分再现三维视频，针对不需要三维视频的部分，能够削减一个信道的量的数据量。

根据实施方式7的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

并且，实施方式7的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式7的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

实施方式8

图13是概略地示出本发明的实施方式8的三维视频转换记录装置(即实施实施方式1的三维视频转换记录方法的装置)的结构的框图。在图13中，对与图1的结构相同或对应的结构标注相同标号。实施方式8的三维视频转换记录装置与上述实施方式1的三维视频转换记录装置的不同之处在于，代替图1所示的场景变换检测部19，具有图13所示的目标移动检测部89；间疏部83的处理内容；存储在设定存储部87中的设定值；以及控制器88的控制内容。

在实施方式8的三维视频转换记录装置中，目标移动检测部89根据由分离部10分离且由解码部11解码后的视频数据，检测目标的移动。设定存储部87预先存储或通过用户输入来存储目标移动的检测或非检测的判断的基准值数据。在由目标移动检测部89检测到目标的移动的情况下，控制器88使间疏部83执行对检测到目标的移动的区域以外的区域的信息进行间疏的处理。

图14是示出在实施方式8的三维视频转换记录装置中检测到的目标的移动的图。图14示出如下情况：某个时点的帧601中的视频目标601a在帧601的后一帧或后几帧的帧602中，移动到视频目标602a。利用箭头603示出表示从视频目标601a到视频目标602a的移动量和方向的矢量。求出包含存在这种运动的视频目标在内的帧的柱状图分布时，在视频目标601a和602a以外的部分不出现柱状图的峰值。利用该性质来进行如下处理：提取帧内的存在运动的范围，不对存在运动的范围的数据进行间疏，削减存在运动的部分以外的部分(没有运动的部分)的数据量。

根据实施方式8的三维视频转换记录装置和方法，通过削减从三维视频数据中分离的视频数据中的至少一个的数据量，由此，能够削减所记录的三维视频数据的数据量。进而，通过该三维视频转换记录装置和方法来记录视频数据的记录介质能够有效使用其记录区域。

并且，根据实施方式8的三维视频转换记录装置和方法，进行间疏的数据是没有运动的范围的数据，所以，间疏部进行的间疏处理对显示视频造成的影响少，能够以不给观看三维视频的人带来不自然印象(不感觉不舒服)的方式再现视频。

另外，能够将实施方式8的三维视频转换记录装置的结构组合到上述实施方式1～7的三维视频转换记录装置的任意一个中。

并且，实施方式8的数据量的削减方法能够应用于三维视频的传输装置。并且，实施方式8的数据量的削减方法(即三维视频转换方法)能够应用于三维视频转换装置或在该三维视频转换装置中追加了传输装置的三维视频传输装置。该情况下，具有缩小了通过转换而生成的或所传输的数据的尺寸的效果。

标号说明

10：分离部；11：解码部；12：帧缓冲器；13：帧间疏部；14：编码部；15：复用部；16：记录部；17、37、47、57、87：设定存储部；18、38、48、58、88：控制器；19：场景变换检测部；20：传输部；21：记录介质；30：三维视频转换装置；33：修整部；43：色差调整部；83：间疏部；89：目标移动检测部；100：左眼用视频的帧列；101～110：左眼用视频的帧；200：右眼用视频的帧列；201～210：右眼用视频的帧；191：柱状图生成器；192：第1柱状图缓冲器；193：第2柱状图缓冲器；194：差分提取器；195：场景变换判定器；196：场景变换命令控制部；401～416：序列头；417：GOP层；418：图像层；419：SEC；420～431：序列显示的构造；501：间疏为黑白相间的方格花纹的图案；502：对扫描线进行间疏的图案；601、602：帧；601a：目标；602a：移动后的目标；603：目标的移动矢量；Sa：输入流；Sb：左眼用视频流；Sc：右眼用视频流；Sd：流；Se：复用后的流；P1：场景变换点。