3DAR内容制作装置、3DAR内容再现装置及3DAR内容制作系统

摘要

提供能够进行考虑了背景影像和3DAR目标的纵深关系的3D显示的3DAR内容制作装置、3DAR内容再现装置以及3DAR内容制作系统。为此，作为3DAR内容制作装置具有：照相机；位置信息传感器，检测照相机的位置信息；以及控制器，控制器测量照相机拍摄的背景影像的至少一部分的影像的特征点的纵深，根据照相机的位置信息以及测量出的特征点的纵深，对背景影像的特征点和具有3D影像的AR目标赋予与背景影像对应的空间的位置坐标，评价背景影像的特征点和AR目标的纵深，取得合成影像。

说明书

技术领域

本发明涉及制作由3D(3Dimensional：三维)影像和3D的AR(Argument Reality：虚拟现实)目标构成的3DAR内容的3DAR内容制作装置、再现/显示3DAR内容的3DAR内容再现装置以及具有这些装置的3DAR内容制作系统。

背景技术

当前盛行通过照相机拍摄以玩家的视线捕捉的影像，从而共享运动等的活动体验。此时玩家大多使用将照相机固定安装于头盔、发带的所谓“运动摄像机”。视听者能够经由网络通过“智能手机”等显示设备实时地视听由运动摄像机等拍摄的影像、或者在暂时储存到照相机内部的保存设备之后延时视听。

另外，还盛行AR的利用。在AR中，通过照相机对被称为AR触发的影像进行拍摄，将通过AR触发对应关联的CG(Computer Graphics，计算机图形学)等信息合成到照相机影像而进行显示。

进而，在日本特开2016-53788号公报(专利文献1)中提出如下方案：在照相机影像上投影显示3DAR目标，提供AR内容。另外，还公开了保存照相机影像和3DAR目标的方法。

现有技术文献

专利文献

专利文献1：日本特开2016-53788号公报

发明内容

在专利文献1中公开了对3DAR目标进行2D化处理并覆盖在照相机影像上显示，但背景影像是2D影像，存在无法进行考虑背景影像和3DAR目标的纵深关系的3D显示，不足以对视听者提供3DAR内容的课题。另外，当在360度全圆周方向配置3DAR目标的情况下，需要提供与360度的照相机影像组合的3DAR内容。

本发明是鉴于上述课题而完成的，其目的在于提供一种对照相机影像合成3DAR目标来制作3DAR内容的装置、3DAR内容的再现装置以及3DAR内容的制作系统。

鉴于上述背景技术以及课题，如果列举本发明的一个例示，则本发明提供一种3DAR内容制作装置，具有：照相机；位置信息传感器，检测照相机的位置信息；以及控制器，该控制器构成为：对照相机所拍摄的背景影像的至少一部分影像的特征点的纵深进行测量，根据照相机的位置信息以及测量出的特征点的纵深，对该背景影像的特征点和具有3D影像的AR目标赋予与背景影像对应的空间的位置坐标，评价背景影像的特征点和AR目标的纵深，取得合成影像。

根据本发明，能够提供一种3DAR内容制作装置、3DAR内容再现装置以及3DAR内容制作系统，该3DAR内容制作装置、3DAR内容再现装置以及3DAR内容制作系统能够进行考虑了背景影像和3DAR目标的纵深关系的3D显示。另外，能够提供即使在360度全圆周方向上配置有3DAR目标的情况下，也能够360度方向地制作3DAR内容并进行保存的系统。

附图说明

图1是实施例1中的3DAR内容制作装置的外观示意图。

图2是实施例1中的3DAR内容制作装置的结构框图。

图3是实施例1中的360度的3DAR内容的第一显示例。

图4是实施例1中的3DAR内容的第二显示例。

图5是实施例1中的360度的3DAR内容的第三显示例。

图6是说明实施例1中的菜单目标的图。

图7是说明实施例1中的3D影像的空间形状数据的图。

图8是说明实施例1中的3DAR目标的参数设定的图。

图9是说明实施例1中的3DAR内容的屏蔽处理的图。

图10A是实施例1中的构成3DAR内容的数据的例子。

图10B是实施例1中的构成3DAR内容的数据的例子。

图10C是实施例1中的构成3DAR内容的数据的例子。

图11是实施例1中的3DAR内容制作装置的处理流程图。

图12是实施例2中的3DAR内容制作装置的外观示意图。

图13是实施例2中的3DAR内容制作装置的结构框图。

图14是实施例2中的3DAR内容制作装置的显示例。

图15是实施例3中的3DAR内容制作系统的结构图。

图16是实施例4中的3DAR内容制作系统的结构图。

图17是实施例5中的3DAR内容再现装置的结构框图。

图18是实施例5中的3DAR内容再现装置的处理流程图。

图19是说明实施例5中的显示设定目标的图。

图20是实施例5中的3DAR内容再现装置的第一显示例。

图21是实施例5中的3DAR内容再现装置的360度的第二显示例，是说明操作目标的图。

图22是实施例5中的合成处理部的处理流程图。

(符号说明)

1、1a、1b、1c：3DAR内容制作装置；2：广角照相机的影像；3：3D照相机的影像；4a、4b、4c、4d、4e、4f：3DAR目标；5a、5b：菜单目标；6：空间形状面数据；7：参数设定目标；8a：屏蔽的面区域；8b：屏蔽设定目标；10a、10b、10c：广角照相机；11a、11b：3D照相机；12、12a、12b：显示器；13：偏振光学透镜；15：控制器；17：传感器；18：用户操作输入部；19：3D投影仪；20：透射型屏幕；21、22：网络；23：带3D显示器的再现装置；24：带2D显示器的再现装置；26：3DAR目标库服务；25：3DAR内容存储服务；27：显示设定目标；28：视听者原始的影像；28a、28b、28c、28d、28e：操作目标；151a：空间形状面处理部；151b：纵深信息处理部；151c：明亮度信息处理部；151d：颜色信息处理部；152：合成处理部；153：屏蔽处理部；154a：CPU；154b：RAM；154c：ROM；154d：通信部；155：空间位置坐标处理部；156a：广角影像保持部；156b：3D影像保持部；156c：空间形状面数据保持部；156d：3DAR目标保持部；156e：2D影像保持部；156f：2DAR目标保持部；156g：视线移动数据保持部；157：2D化处理部；158：2D合成影像/缩略图数据保持部；159：用户操作数据保持部；231：照相机；232：扬声器；233：合成处理部；234a：平面显示器；234b：偏振光学透镜；235：屏蔽处理部；238：内容储存部；239：触摸传感器。

具体实施方式

以下，参照附图，说明本发明的实施例。

实施例1

图1是本实施例中的3DAR内容制作装置的外观示意图。在图1中，1是3DAR内容制作装置，10a、10b是广角照相机，11a、11b是3D照相机，12是显示器，13是偏振光学透镜，14a、14b是扬声器，15是控制器，16a、16b是安装部，17是传感器。

3DAR内容的制作者利用安装部16a、16b将3DAR内容制作装置1(以下还有时记载为装置1)安装到自身的头部。安装部16a在头部上下方向上固定，安装部16b在头部前后方向上固定。

广角照相机10a安装为对头部前方(制作者的视线的前方)进行拍摄，例如是照相机的拍摄画角为上下左右180度的照相机，对前方的半球范围进行拍摄。广角照相机10b安装为对头部后方(制作者的视线的后方)进行拍摄，同样地对照相机的拍摄画角为上下左右180度的后方的半球范围进行拍摄。将广角照相机10a和10b合起来，对头部周围的大致360度进行拍摄。

在3D照相机11a、11b中，11a安装于装置1的左侧，对制作者的左侧前方视线的影像进行拍摄，11a安装到装置1的右侧，对制作者的右侧前方视线的影像进行拍摄。通过存在左右视差的2个影像来拍摄立体影像即利用3D照相机拍摄的影像(以下有时记载为3D影像)。此外，3D照相机也可以是通过照射红外光等并捕捉反射光来进行距离测量的照相机。此时，也可以将3D照相机与广角照相机邻接设置，进行包括由广角照相机拍摄的影像的中心区域的距离测量。不过，此时得不到3D(立体)影像。

控制器15除了取入广角照相机10a、10b以及3D照相机11a、11b的拍摄影像并保存到内部的保存设备以外，还制作在显示器12上映出的影像、在扬声器14a、14b放出的声音。在显示器12上映出的影像是将3DAR目标合成到广角照相机10a、10b的影像(以下有时记载为广角影像)、3D照相机11a、11b的3D影像而得到的影像。进而，生成偏振光学透镜13的驱动信号，与在显示器12上映出的合成的3D影像同步地反复进行仅左侧的透射和仅右侧的透射，使制作者的左眼视觉辨认左侧视线的影像、使制作者的右眼视觉辨认右侧视线的影像，从而使制作者确认合成的3D影像。

另外，控制器15针对由3D照相机11a、11b拍摄的3D影像的各部分，利用左右的视差来计算纵深(距离)信息。与该纵深信息和影像的边缘信息等配合，得到在图7中后述的分段化的空间形状的面数据。利用由装置1的GPS等传感器17得到的位置信息和与广角照相机的拍摄影像对应的位置坐标空间，来管理空间形状的面数据以及3DAR目标。

图2是本实施例中的3DAR内容制作装置的结构框图。在图2中，对与图1相同的部分附加同一编号。另外，17a是位置信息传感器，17b是地磁传感器，17c是陀螺传感器，与图1中的传感器17对应，配备在安装部16a、16b等。18是用户操作输入部，利用触摸面板等进行装置1的操作。进而，151a是空间形状面处理部，151b是纵深信息处理部，151c是明亮度信息处理部，151d是颜色信息处理部，152是合成处理部，153是屏蔽处理部，154a是CPU，154b是RAM，154c是ROM，154d是通信部，155是空间位置坐标处理部，156a是广角影像保持部，156b是3D影像保持部，156c是空间形状面数据保持部，156d是3DAR目标保持部，156e是2D影像保持部，156f是2DAR目标保持部，156g是视线移动数据保持部，157是2D化处理部，158是2D合成影像/缩略图数据保持部，159是用户操作数据保持部，这些部件构成控制器15。

广角照相机10a的影像被取入到控制器15，储存于广角影像保持部156a。另外，3D照相机的影像除了储存于3D影像保持部156b以外，还作为明亮度信息处理部151c、颜色信息处理部151d的输入。

明亮度信息处理部151c、颜色信息处理部151d分别抽出明亮度信息、颜色信息的变化点(边缘等)。在纵深信息处理部151b中，测量这些变化点的左右视差，得到纵深数据。纵深数据被送到空间位置坐标处理部155等。在空间形状面处理部151a中，根据变化点、纵深数据，抽出特征点而生成空间形状面数据，储存到空间形状面数据保持部156c。如在图7中后述的那样，空间形状面数据是指以特征点为顶点的多边形数据，并且是对3D影像进行抽象化的面数据。对各个顶点赋予纵深数据，能够通过这些空间形状面数据掌握3D影像的3D形状。

位置信息传感器17a是例如GPS传感器、高度传感器，用于测定装置1的当前位置。地磁传感器17b测定装置1的方位。陀螺传感器17c根据测定的装置1的加速度而掌握装置1的速度、移位等运动。通过地磁传感器17b的方位和陀螺传感器17c的运动来检测头部的运动，由此感测装置1的用户的视线的移动。视线的移动数据储存于视线移动数据保持部156g。

空间位置坐标处理部155管理装置1的位置和方向、上述空间形状面数据(以下还有时记载为表面数据)的各顶点的纵深数据以及3DAR目标的位置等。这些数据与时刻信息和由广角照相机捕捉的位置坐标空间关联起来。具体而言，在时刻T0(初始状态)，将当前位置

在初始状态下，在3D影像内的面数据的顶点是

在装置1移动的情况下，如果其移动量是

在装置1进一步移动的情况下，也同样地，以当前的装置1的位置为基准，重新计算之前的3D影像、面数据的顶点的空间位置坐标，并且，对新的3D影像、面数据的顶点也赋予空间位置坐标。其结果，即使在有装置1的移动的情况下，也能够在由移动后的广角照相机10a、10b捕捉到的位置坐标空间中配置一连串的3D影像、3D影像内的面数据以及后述的3DAR目标。

此外，在装置1的移动量从初始值增大过多的情况下，也可以对空间位置坐标进行初始化，重新开始空间位置坐标的计算。

另外，对3DAR目标也提供空间位置坐标，并配置到由广角照相机10a、10b捕捉的位置坐标空间中。被赋予空间位置坐标的3DAR目标储存于3DAR目标保持部。

内容制作者利用用户操作输入部18将3DAR目标配置到位置坐标空间。还能够利用用户操作输入部18进行3DAR目标的旋转、大小的变更、颜色修正等操作，将操作数据与操作时刻一起储存于用户操作数据保持部159。

在读出3D影像保持部156b的3D影像、3DAR目标保持部156d的3DAR目标之后，利用2D化处理部157处理为2D化影像，分别储存到2D影像保持部156e、2DAR目标保持部156f。这些2D影像、2DAR目标是用于使得即使在利用3DAR内容再现装置在2D显示设备中进行显示的情况下，也能够进行3DAR内容的显示的信息，通过赋予给2D影像、2DAR目标的空间信息坐标，能够保持2D影像和2DAR目标的纵深关系、通过视线移动来切换显示图像等，实现能够感受到纵深的3DAR内容的视听。

合成处理部152对广角影像(由广角照相机拍摄的影像)、3D影像(由3D照相机拍摄的影像)以及3DAR目标进行合成，在显示器12中显示3DAR内容。在合成处理部152中，参照3D影像的面数据，观察3D影像和3DAR目标的前后关系，设为通过位于前面的影像覆盖位于后面的影像。此外，显示器12也可以将平面形状设为例如凹状的形状，提高3DAR内容的视觉辨认性。

另外，在屏蔽处理部153中，在3D影像中包含例如个人信息，指定希望避免在3DAR内容再现装置中对未限定的视听者显示的区域等的面数据，进行屏蔽处理。在屏蔽处理中，除了简单屏蔽之外，还可以置换为其他影像。

通信部154d承担将3DAR内容制作装置1连接到网络的工作，例如经由网络与3DAR内容再现装置1连接，根据来自3DAR内容再现装置的请求，发送3DAR内容。

此外，图2中的各处理部的处理既可以通过CPU执行存储于存储器的程序的软件处理执行，也可以通过利用专用的信号处理电路的硬件处理执行。另外，还可以并用软件处理和硬件处理。

图3是本实施例中的由3DAR内容制作装置1制作的360度的3DAR内容的第一显示例，显示于显示器12，由制作者确认。

在图3中，2是广角影像，3是3D影像，4a、4b、4c、4d、4e、4f是3DAR目标。

广角影像2是对广角照相机10a和10b这2个照相机的影像进行加工而得到的影像，加工成假设为在制作者的头部上方设置的虚拟的广角照相机拍摄的影像并显示。制作者的视线朝向广角影像2的垂直上方，广角影像2的“2a的箭头”表示的上半部分是在由广角照相机10a拍摄的影像中制作者的视线前方的影像，广角影像2的“2b的箭头”所示的下半部分是在广角照相机10b的影像中制作者的视线后方的影像。

3D影像3覆盖于广角影像2。3D照相机11a、11b对制作者的前方进行拍摄，以使在3D影像3内映出的被摄体处于前方的方式配置于广角影像2的上部。3D照相机的影像3是3D影像，在图2的装置1中，制作者能够确认为3D影像。

图3是自行车的3DAR目标4a(设想为制作者骑乘)一边在街头处移动一边对街头进行引导的设想的内容。每当制作者在街头移动时，广角影像2以及3D影像3被更新。与其相匹配，3DAR目标4a也移动。3DAR目标4b也同样是自行车的目标，被设定为陪跑3DAR目标4a。将自行车的3DAR目标4a、4b作为3D影像的目标重叠于3D影像3。

3DAR目标4c、4d是制作者在街头移动的过程中停留或者介绍的商店等目标，在例如停留于商店等时，制作者配置目标。在图3中，3DAR目标4c、4d直接以商店的形状放置，但在重叠到广角影像2上的情况下，也可以匹配空间位置坐标而使4c、4d的形状变形并重叠到广角影像2。关于配置过一次的目标，在之后制作者移动的情况下，进行空间位置坐标的重新计算，伴随制作者移动到前方，自动地显示于3D影像外的广角影像2的后方(10b)的位置。

3DAR目标4e、4f是公开的公共物品的目标，将公开的位置信息变换为空间位置坐标，作为3DAR目标合成到广角影像2或者3D影像3。这些目标的空间位置坐标是固定于街头的，能够在制作者移动之前就事先配置。另外，在配置过一次之后，在制作者以接近的方式移动时，重新计算空间位置坐标，并以接近的方式更新显示。

图4是本实施例中的由3DAR内容制作装置1制作的3DAR内容的第二显示例。在图4中，在显示器12的整个面映出3D照相机11a、11b的3D影像3。进而，合成显示有在图3中说明的3DAR目标4a、4b、4e、4f。在该情况下，也利用广角照相机10a、10b进行拍摄，广角影像2的位置坐标空间以背景的方式维持下来，图3和图4的显示画面能够任意地切换。

此外，在不拍摄上述3D影像的情况下，3D影像3也可以是带有纵深数据的2D影像。作为2D影像，也可以设为例如匹配制作者的视线而剪切了广角影像的影像。

图5是本实施例中的由3DAR内容制作装置1制作的360度的3DAR内容的第三显示例。在图5中，在显示器12上映出广角影像2，在其上合成显示有3DAR目标4a、4b、4e、4f。在图5中，装置1具有3D显示功能，所以将3DAR目标4a、4b、4e、4f作为3D影像而合成到广角影像2。此时，在空间形状的面数据中预先对广角影像2的一部分赋予纵深信息，将该纵深信息作为辅助数据进行合成。在图5中，3DAR目标4a、4b、4e、4f直接以原来的形状放置，但在重叠到广角影像2上的情况下，也可以匹配各个空间位置坐标而使4a、4b、4e、4f的形状变形并重叠到广角影像2。

另外，通过2D化处理部157将3DAR目标4a、4b、4e、4f作为为2DAR目标而保持于2DAR目标保持部156f。同时，将同样地合成2D化处理后的3DAR目标4a、4b、4e、4f和广角影像2而得到的2D合成影像储存于2D合成影像/缩略图保持部。将2D合成影像分发给例如3DAR内容再现装置，用作选择3DAR内容的缩略图影像，或者使仅具有2D显示功能的3DAR内容再现装置中也视听3DAR内容的2D合成影像。

图6是说明本实施例中的不同类型的3DAR目标的图。在图6中，是制作者的视线移动、3D照相机11a、11b进行追拍的情况，3D影像从显示器12a的显示区域移动到显示器12b显示区域。在图6中，以使显示器12a、12b的显示区域移动的方式图示，但实际上显示器12是固定的，所显示的影像移动。

在图6中，设置有2个类型的3DAR目标。一个是4a，另一个是5a、5b。5a、5b是一个目标，不过是在显示器12a、12b中分别映出的情形。3DAR目标5a、5b是例如用于内容控制的控制目标，不论利用3D照相机的追拍得到的影像的移动如何，该类型的目标都应放置于显示器12的固定位置。因此，以在显示器12a和12b的显示区域内以处于相同位置的方式维持其空间位置坐标。如用于内容控制的控制目标那样在用户切换或者控制显示的情况下使用的目标，被放置于易于观察的近距离处，以尽可能避免隐藏到其他实像的阴影中。但是，由于总是配置在画面的中央会妨碍视场，所以能够在接近显示区域的端部的位置，尽可能显示于相同的位置。另一方面，关于在图3、图4以及图5中说明的自行车的3DAR目标4a，空间位置坐标由于追拍的移动而向反方向变化，在显示器12a和12b中显示区域内的位置不同。

图7是说明本实施例中的3D影像的空间形状的面数据的图。如图7所示，空间形状面数据6是覆盖3D照相机的影像3的全域的多边形(在图中是三角形)，对其顶点赋予纵深数据。根据纵深数据和3D照相机的空间位置坐标，计算各顶点的空间位置坐标。因此，通过对该面数据的纵深的空间位置坐标和赋予给3DAR目标的空间位置坐标进行比较，在合成影像时，能够判断应将哪个图像显示在前面。

图8是说明本实施例中的3DAR目标的参数设定的图。图8是菜单显示的一个例子，用户在图2的用户操作输入部18中通过基于触摸面板的操作或遥控操作进行设定。

此外，用于设定3DAR目标的参数的参数设定目标7也可以是3DAR目标的一种，并针对每个目标设定。

在图8中，可设定的参数的“透明度”和“显示优先”是用于设定3DAR目标和照相机影像的显示的关系的项目。透明度是指在使3DAR目标处于前面的情况下，能够显示多少背景的影像，显示优先是指不论和面数据的纵深关系如何，都将3DAR目标覆盖在前方。例如，是如图6的5a、5b所示的控制目标的情况。

“位置校正(水平)”、“位置校正(垂直)”、“旋转校正(水平)”、“旋转校正(垂直)”、“尺寸”是用于进行3DAR目标的配置的位置、姿势的旋转控制、大小的变更的项目。

进而，“移动模式”、“显示模式”是针对照相机即制作者的视线的移动设定3DAR目标的移动以及进行显示的方法的项目，与空间位置坐标的重新计算方法相关联。

一般，3DAR目标配置于以当前时刻的广角图像的位置及视线方向为原点的坐标空间的位置Px。在配置之后，在广角图像的位置及视线方向移动了移动量Py的情况下，更新坐标空间，在整个坐标空间中配置于Px的3DAR目标在新坐标空间中的位置被更新为Px-Py。针对这样的固定于背景图像且每当坐标空间更新时被重新计算位置的3DAR目标，在移动模式、显示模式下都要选择“坐标”。

在移动模式中选择“陪跑”的3DAR目标是通过通信获得图15中后述的与内容制作装置的位置关系的类型，图4至图6的3DAR目标4a就是该类型。

图6的5a、5b相当于在显示模式中选择“画面连动”的3DAR目标，是以始终在显示画面的特定位置显示3DAR目标的方式固定相对视线的位置的类型。此外，“陪跑”和“画面连动”是排他性的，禁止同时选择。

图9是说明本实施例中的3DAR内容的屏蔽处理的图。在图9中，通过触摸等用户操作，从空间形状的面数据中选择要屏蔽的面区域8a，利用屏蔽设定目标8b执行。

图10A、图10B、图10C是说明本实施例中的构成3DAR内容的数据的图。构成3DAR内容的数据(以下记载为结构数据)如图2中说明的那样，是视线移动数据、目标操作数据、广角影像数据、3D影像数据、空间形状面数据、2D影像数据、3DAR目标数据、2DAR目标数据、2D合成影像数据的一部分或者全部以及头部数据。

关于头部数据的储存，图2的说明中未明示，也可以分配给例如ROM154c的一部分。另外，在图2中，说明了各个数据设置于各个储存部的例子，但也可以物理地在一个保存介质中储存到逻辑上划分的区域。

在图10A中记载有头部数据、视线移动数据、目标操作数据、广角数据的内容。

在各结构数据中，有“CONTENTS ID”的项目，该“CONTENTS ID”的ID数据是例如依照UUID(Universally Unique Identifier，通用唯一标识符)等规则提供的编号，是在所有内容中唯一的编号。另外，各结构数据能够通过“CONTENT TYPE”的项目识别是什么数据。

另外，在头部数据中，还在“CONTENTS TITLE”的项目中记载有内容名，在“CONTENTS HOLDER”的项目中记载有所有者，在“COPYRIGHT POLICY”的项目中记载著作权控制数据。另外，在“Accompanying Content”的项目中示出在各结构数据中有无随附于内容的数据。作为3DAR内容，既有所有结构数据都齐备的情况，也有缺一部分结构数据的情况。

视线移动数据是依照感测视线移动的时刻序列的位置数据的时间轴数据。在连续运动的情况下，视线移动可以为广角影像的帧单位的数据，或者，为了削减数据和处理，也可以在连续运动之后的运动停止的时刻进行视线移动。在图10A中，设为从内容的开始时刻T0开始有2个运动，在T1和T2记载有装置的位置数据。T0的数据P0是GPS等的位置信息，但T1和T2的数据P1、P2是表示以上次时刻的位置为基准而移动了多少的信息。

目标操作数据是以进行操作的时刻序列记载有目标操作的内容的时间轴数据，在TO0，将Object1配置(SET)在空间位置坐标系的位置

广角影像数据是影像和声音(也可以没有)的数据，记载CONTAINER和CODEC的类别。影像和声音的数据依照所述移动数据的时间轴，以T0至T1的期间的数据、T1至T2的期间、T2至下一时刻的期间分割而储存于“CONTENT BODY”的项目。由此，容易进行内容的时间搜索等。进而，以T2的装置的位置(当前位置)为基准，T0以及T1的位置数据分别重新计算而改写为-(P1+P2)、-P2。

在图10B中，说明3D影像数据、空间形状面数据、3DAR目标数据。

3D影像数据是影像和声音的数据，记载有CONTAINER和CODEC的类别。另外，影像是立体影像，包括左视线的Visual(L)数据和右视线的Visual(R)数据，使2个数据交织，沿着所述视线移动数据的时间轴储存到“CONTENT BODY”。另外，与广角影像数据的情况同样地，还进行位置数据的改写。

空间形状面数据是具有利用所述3D照相机测量的纵深数据的面数据(三角形的多边形数据)的集合，沿着所述视线移动数据的时间轴，储存到“TIME LINE OF CONTENTBODY”。在多边形中，如POL1、POL2…所示，赋予区分各个多边形的标识符，针对测量的顶点的纵深数据a*，重新计算考虑了空间位置坐标的移动的数据，例如，如-(a1+P1+P2)那样储存为各顶点的数据。

3DAR目标数据是在3DAR内容中使用的AR目标的3D数据。对AR目标赋予“ObjectName”、“Copyright Policy”，记载在3DAR内容中设定的图8所示的“设定参数”。

在“CONTENT BODY”中，有记载AR目标的3D数据的情况，在利用第3方的AR目标时，还有记载可获得AR目标的3D数据的URL的情况。

在图10C中，说明2D影像数据、2DAR目标数据、2D合成影像数据。

2D影像数据是对3D影像数据进行2D化处理而得到的数据，除了在“TIME LINE OFCONTENT BODY”中记载2D化处理后的影像数据以外，是与3D影像数据相同的数据构造。

2DAR目标数据是对3DAR目标进行2D化处理而得到的数据，除了在“CONTENT BODY”中记载2D化处理后的数据以外，是与3DAR目标数据相同的数据构造。

2D合成影像数据是对广角影像或者2D影像合成2DAR目标而得到的影像数据，除了在“TIME LINE OF CONTENT BODY”中记载2D合成影像数据以外，是与3D影像数据相同的数据构造。

此外，在图10A、图10B、图10C中说明的数据构造是一个例子，既可以具有其他项目，也可以不包括不直接参与本发明的动作的部分项目。

图11是本实施例中的3DAR内容制作装置的处理流程图。在图11中，在S101中判定动作模式。如果是制作模式，则在S102中执行照相机设定。其他动作模式是再现分发模式，说明后述。

S102的照相机设定对应于广角照相机和3D照相机。在照相机设定之后，在S104中进行照相机影像的记录，并行执行的S118至S121是空间信息处理工序、运动信息处理工序。

在S104之后，在S105中进行显示设定，进行广角照相机影像的显示方法设定、3D照相机的影像的显示设定。然后，在S106中，开始背景图像显示。接下来，判定是否实时分发3DAR内容制作过程(S107)，在进行分发的情况下，开始分发(S108)。在不分发的情况下跳过S108。

S109以后是与3DAR目标有关的处理。在S109中，选择配置到3DAR内容的3DAR目标。关于3DAR目标的选择，通过读出预先制作或者从外部的站点下载而储存到3DAR内容制作装置的ROM区域等的3DAR目标来选择。在S110中显示3DAR目标，进行3DAR目标的参数设定，计算针对3DAR目标的配置的空间位置坐标，供确定(S111)。即使在确定过一次之后，也能够通过参数重新设定等操作3DAR目标(S112)。这一点对于动漫等来说是有效的，动漫将使3DAR目标活动作为3DAR内容的故事的一部分。在S113和S114中，记录一连串的操作、3DAR目标。这是为了能够利用3DAR内容再现装置进行再现。另外，设想3DAR内容再现装置仅对应于2D显示器的情况，对3DAR目标进行2D化处理(S115)，还记录2D化目标(S116)。只要有期望的3DAR目标(S125的“是”)，就反复进行3DAR目标的选择之后的处理。

在S118和S119的空间信息处理工序中，从3D影像中抽出空间形状的面数据，计算面数据的顶点的空间位置坐标。将这些面数据等记录为空间形状面信息(S119)。

S120和S121是运动信息处理工序。利用陀螺传感器、地磁传感器等捕捉3DAR内容制作装置1的运动。在运动信息处理中，进行必要的空间位置坐标的更新(S120)。将运动信息以及更新后的空间位置坐标记录为运动信息等(S121)。

如果在S101中判定为再现分发模式，则执行3DAR内容的再现(S122)，进行再现内容的分发(S123)。再现以及分发以内容结束或者结束命令结束(S124)。

在一连串的3DAR内容的制作或者再现分发结束后(S125的“否”)，在S126中结束。

如以上说明的那样，根据本实施例的3DAR内容制作装置，即使3DAR内容制作装置1移动，由于在与移动后的广角照相机的影像建立有关联的位置坐标空间中，赋予有3D照相机的影像以及3DAR目标的空间位置坐标，所以容易对广角照相机的影像合成3D照相机的影像以及3DAR目标。另外，还能够处置处于利用3D照相机拍摄的影像的范围外的3DAR目标，即使在伴有视线移动的情况下，也能够顺利地进行向广角影像以及3D影像的3DAR目标的合成显示。另外，由于利用3D影像的纵深信息进行考虑了3D影像和3DAR目标的纵深方向的前后关系的3D合成，所以能够进行3DAR内容的制作。

实施例2

图12是本实施例中的3DAR内容制作装置的外观示意图。在图12中，对与图1相同的构成要素附加同一符号，省略其说明。在图12中，与图1不同点在于3DAR内容制作装置1a(以下有时记载为装置1a)具备广角照相机10c、3D投影仪19、透射型屏幕20的点，在3D投影仪19、透射型屏幕20中进行背景影像和3DAR目标的合成。

广角照相机10c在其框体的前后设置有镜头的开口部，通过安装于各个开口部的镜头拍摄装置1a的前方的影像和后方的影像。具有将图1的广角照相机10a和10b合起来的功能，也能够应用于图1的装置1。

图13是本实施例中的装置1a的结构框图。在图13中，相对图2，将合成处理部152和显示器12置换为3D投影仪19和透射型屏幕20。

3D投影仪19将3DAR目标投射到透射型屏幕20。3DAR内容的制作者在隔着透射型屏幕20观察背景影像的同时确认投射的3DAR目标。由此，确认将背景影像和3DAR目标合成而得到的影像。

此外，在本装置1a中，广角照相机10c的影像、3D照相机11a、11b的影像也分别记录于广角影像保持部156a、3D影像保持部156b，作为处理流程，除了合成处理部152以外，适用图11所示的处理流程。

图14是本实施例中的3DAR内容制作装置的显示例，是向透射型屏幕20投射3DAR目标4a、4b的例子。可从透射型屏幕20透视背景图像，成为在背景图像上合成3DAR目标4a、4b的影像。

如以上说明，根据本实施例，具有如下优点：3DAR内容的制作者能够确认从透射屏幕观察到的实际的背景影像，即便是未接受过训练的制作者，也能够制作可安全利用的内容。

实施例3

图15是本实施例中的3DAR内容制作系统的结构图。在图15中，1b、1c是3DAR内容制作装置，21是网络1，22是网络2，23是带3D显示器的再现装置，24是带2D显示器的再现装置。3DAR内容制作装置1b、1c是图1的3DAR内容制作装置1或者图12的3DAR内容制作装置1a中的任意的内容制作装置。

3DAR内容制作装置1c还作为3DAR内容的再现装置发挥作用。在该情况下，带3D显示器的再现装置23、带2D显示器的再现装置24、3DAR内容制作装置1c(有时总称为再现装置)经由网络21访问3DAR内容制作装置1b，请求3DAR内容的再现。根据该请求，3DAR内容制作装置1b分发3DAR内容。针对各个再现装置23、24、1c，分发的3DAR内容也可以是不同的内容。再现装置23、24、1c再现接收的3DAR内容，显示于装置内的显示器。

3DAR内容制作装置1c还作为3DAR内容制作装置发挥作用。在该情况下，辅助3DAR内容制作装置1b的内容制作。3DAR内容制作装置1c利用3D照相机捕捉3DAR内容制作装置1b，测定距离、方向，经由网络22发送给3DAR内容制作装置1b。网络21和网络22为例如因特网，也可以是同一网络，也可以利用Bluetooth(日本注册商标)来构成网络22。在室外的环境中，从响应性的观点出发，多数情况下优选直接进行3DAR内容制作装置1b和3DAR内容制作装置1c之间的通信。

使用上述图4，说明使用2个3DAR内容制作装置1b、1c来制作3DAR内容的例子。3DAR内容制作装置1b(主内容制作者)与3DAR目标4b对应，3DAR内容制作装置1c(副内容制作者)与3DAR目标4a对应。3DAR内容制作装置1b根据从所述3DAR内容制作装置1c送来的距离和方向的信息，变换为以3DAR内容制作装置1b为基准的空间位置坐标，显示3DAR目标4a。

3DAR内容制作装置1c(副内容制作者)能够将自身的影像等制作为针对3DAR内容制作装置1b(主内容制作者)所制作的主内容的副内容。在该情况下，能够通过离线编辑进行主内容和副内容的合并，完成一个内容，但在实时的情况下，3DAR内容制作装置1b(主内容制作者)分发主内容，3DAR内容制作装置1c(副内容制作者)分发副内容。

如以上说明的那样，根据本实施例的3DAR内容制作系统，内容视听者也可以是多个。另外，还可以是不同方式的内容再现装置。

另外，能够由多个人制作一个内容，通过使多个3DAR目标登场，能够通过不同的兴趣点的介绍等，制作唤起视听者的进一步兴趣的3DAR内容。

实施例4

图16是本实施例中的3DAR内容制作系统的结构图。在图16中，对具有与图15所示的3DAR内容制作系统相同的功能的部分赋予同一编号，省略其说明。在图16中，与图15不同的点在于具有3DAR内容存储服务25和3DAR目标库服务26的点。

3DAR目标库服务26存储经常使用的大量的3DAR目标，提供给3DAR内容制作者，从而节省用于生成3DAR目标的劳力和时间。

3DAR内容存储服务25存储3DAR内容制作者制作出的3DAR内容，根据内容视听者的请求进行分发。3DAR内容制作装置仅将制作的内容上传到3DAR内容存储服务25即可，能够分离接受内容视听者的请求并分发内容的负荷。

另外，3DAR内容存储服务25还能够保持由多个内容制作者上传的多个3DAR内容，根据再现视听者的请求，分发不同的多个3DAR内容。

进而，通过在3DAR内容存储服务25中保存将3D内容和3DAR目标合成后的3DAR内容，即便是不具有合成功能的3D显示装置也能够欣赏3DAR内容。同样地，通过将合成后的内容保存为2D影像，即便是无法合成3DAD内容而无法进行3D显示的2D显示装置，也能够模拟地欣赏3DAR合成内容。有时电视机、个人电脑的监视器、智能手机的监视器等相当于这些3D显示装置、2D显示装置。

如以上说明，根据本实施例，实现了内容制作的高效化，并且能够实现3DAR内容制作装置的处理负荷的降低。

实施例5

图17是本实施例中的3DAR内容再现装置的结构框图。在图17中，23是3DAR内容再现装置，231是照相机，232是扬声器，233是合成处理部，234a是平面显示器，234b是偏振光学透镜，235是屏蔽处理部，236是通信部，237a是CPU，237b是RAM，237c是ROM，238是内容储存部，239是触摸传感器。

图17的3DAR内容再现装置23是所述图15以及图16的带3D显示器的再现装置23，在平面显示器234a上交替显示左眼用的影像和右眼用的影像，偏振光学透镜234b与左眼用、右眼用的影像的显示同步地交替切断右侧、左侧的透镜的透射，使左眼视觉辨认左眼用的影像、右眼视觉辨认右眼用的影像，供视听者视听3D影像。在无偏振光学透镜234b的情况下，通过在平面显示器234a中映出2D影像，就成为带2D显示器的再现装置24。在诸如偏振光学透镜234b以外的构成要素构成为一个硬件、且视听者像佩戴眼镜一样佩戴偏振光学透镜234b那样的其他硬件的结构中，在使用偏振光学透镜234b的情况下，为带3D显示器的再现装置23，在不使用偏振光学透镜234b的情况下，为带2D显示器的再现装置24。

关于3DAR内容再现装置的显示能力(可进行3D显示还是2D显示)，在开始3DAR内容的再现时，对3DAR内容制作装置等实施能力通知。3DAR内容制作装置等根据3DAR内容再现装置的能力，向可进行3D显示的装置分发3D影像数据等，向仅具备2D显示能力的装置分发2D化的影像数据等，从而能够进行与3DAR内容再现装置的显示能力对应的内容视听。

CPU237a控制装置的整个系统，其程序储存于ROM237c，在RAM237b中展开执行。CPU237a对通信部236发出指令，进行3DAR内容的接收。

接收的3DAR内容在内容储存部238中缓冲，同时进行再现。作为3DAR内容的构成要素，为广角影像、3D影像、空间形状面数据、3DAR目标以及声音。声音由扬声器232再现。

关于再现而获得的广角影像、3D影像、3DAR目标，评价附随于它们的空间位置坐标的纵深关系，利用合成处理部233进行合成，在平面显示器234a中进行显示。平面显示器234a的显示和偏振光学透镜234b同步，获得3D显示影像。在不使用偏振光学透镜234b的带2D显示器的再现装置24的情况下，将接收的3DAR内容的影像数据指定为2D化后的数据来接收。即使在这种情况下，也评价空间位置坐标的纵深关系，利用合成处理部233进行合成，并在平面显示器234a中显示。

在触摸传感器239中，受理视听者的输入操作。用于选择所显示的3DAR目标、或者从菜单目标中设定参数、或者指定广角影像和3D影像的点而移动视线。

此外，图17中的各处理部的处理既可以通过由CPU执行存储于存储器的程序的软件处理执行，也可以通过基于专用的信号处理电路的硬件处理执行。另外，也可以并用软件处理和硬件处理。

图18是本实施例中的3DAR内容再现装置的处理流程图。在图18中，在S201中，3DAR内容制作装置1或者1a登录到3DAR内容存储服务25，进行缩略图图像的下载(S202)。缩略图图像既可以是静止图像也可以是运动图像，在S203中显示缩略图图像，易于从多个3DAR内容中直观地选择要再现的内容。

在S204中，决定是进行2D显示还是进行3D显示。如果进行3D显示，则执行S205以后的处理，如果进行2D显示，则转移到S214以后的处理。

在进行3D显示的处理流程中，在S205中开始3DAR目标的下载，在S206中开始3D影像数据以及广角影像的下载。接下来，在S207中进行显示设定，在S208中进行显示的开始或者更新，视听3DAR内容。

在3DAR内容的视听期间，能够操作3DAR目标，使内容匹配视听者的喜好。为此，在S209中进行目标设定的变更。另外，在S210中，还能够在屏蔽处理后的区域中显示视听者原始的影像。另外，在S211中，还能够指示视听者的视点的不连续的移动(互动再现)。

在S212中，判定有无用户操作，在有用户操作的情况下，在S208中进行显示的更新。在无用户操作的情况下，判定是否继续内容的视听(S213)，在继续的情况下返回到S205，继续内容的视听。

在结束内容的视听的情况下，在S223中结束。有时为了视听新的内容，还从S223返回到S203。

在2D显示的处理流程中，在S214中开始2D化处理后的2DAR目标的下载，在S215中开始2D化处理后的影像数据以及广角影像的下载。S216至S222以及S223的处理与3D显示的流程相同。

接下来，使用图19至图22，说明3DAR内容再现装置23的3DAR内容的显示例。

图19是本实施例中的进行显示设定的显示设定目标27的例子。设定广角影像的显示/非显示、3D影像的显示/非显示、将3D影像合成到广角影像时的3D影像的显示尺寸、向屏蔽区域的视听者原始影像的显示/非显示。作为视听者原始影像，也可以是内置于3DAR内容再现装置23的照相机231的影像。另外，也可以设定空间形状面数据的显示/非显示。

图20是在平面显示器234a整个面中显示3D影像的例子。在该例子中，是还显示有空间形状面数据6、且在屏蔽的面区域8a中合成显示有视听者原始的影像28的例子。

图21与所述图3同样地是360度的3DAR内容的显示例，是合成显示有广角照相机的影像2、3D照相机的影像3、3DAR目标4a、4b、4c、4d、4e、4f的例子。

进而，在图21中，还显示有操作目标28a、28b、28c、28d、28e。操作目标28a可移动，视听者能够选择任意的3DAR目标，通过图8的目标设定进行参数的变更、使视点移动到所选择的3DAR目标的操作。

28b、28c、28d、28e是滚动目标，能够进行广角影像2的滚动移动。能够如滚动目标28b、28c、28d、28e所示地，显示滚动目标来提示操作，不过还能够对触摸传感器239上的手指运动的模式分配操作。在使广角影像2滚动移动时，3D影像3、3DAR目标4a、4b、4c、4d、4e、4f、操作目标28a也连动地移动。

另外，实施例1的3DAR内容制作装置的说明中的图3、图4、图5的显示例也能够为3DAR内容再现装置的显示例。

图22是示出上述图17的3DAR内容再现装置23的合成处理部233的处理流程的图。在图22中，在S301中选择作为合成处理的对象的3DAR目标，在S302中，确认在图8所示的目标的参数中是否设定有3DAR目标的显示优先。在进行显示优先的情况下，在S305中，将3DAR目标显示在前面。

在显示优先为通常模式的情况下，决定与3DAR目标重叠的空间形状的面数据(S303)，评价3DAR目标和面数据的纵深关系(S304)。保持评价结果(S305)。在S306中，依照该评价结果，在空间形状的面数据处于跟前的情况下，将3D照相机的影像显示在3DAR目标的影像的前面，在3DAR目标处于跟前的情况下，将3DAR目标的影像显示在前面。此时，依照图8的透明度。例如，在透明度处于中间的情况下，通过利用系数合成2个图像的阿尔法混合来合成3D照相机的影像和3DAR目标的影像。

然后，在S307中，判断是否还有作为合成处理的对象的3DAR目标，如果有则返回到S301，如果无则结束。

如以上说明的那样，根据本实施例，不论显示设备是3D设备还是2D设备，都能够对3DAR内容进行再现/显示。另外，还能够操作3DAR内容的3DAR目标、屏蔽区域，利用视听者原始的方法进行再现。进而，通过进行视线的移动，还能够进行3DAR内容的互动再现。

以上说明了实施例，但本发明不限于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的例子，未必限定于具备所说明的所有结构。另外，还能够对某个实施例的结构加上其他实施例的结构。此外，能够对各实施例的一部分进行其他结构的追加、删除、置换。