创作装置、创作方法和创作程序

摘要

创作装置(1)具有：用户接口部(11)，其受理指定存在于真实空间的对象物的操作；指定目标确定部(12)，其确定与由用户接口部指定的对象物即指定目标对象物相关联的基准平面(Sp)上的基准点(p)；配置位置计算部(13)，其根据基准平面和基准点，决定配置于包含基准点的位置且能够配置虚拟对象的第1配置平面(Sq)；以及多视点计算部(14)，其决定通过使第1配置平面旋转而得到的、能够配置虚拟对象的1个以上的第2配置平面(Sr1、…)，创作装置(1)输出将第1配置平面和虚拟对象关联起来的信息以及将第2配置平面和虚拟对象关联起来的信息作为创作数据。

说明书

技术领域

本发明涉及创作装置、创作方法和创作程序。

背景技术

近年来，向用户提示通过在现实世界的图像上重叠虚拟信息而得到的增强现实(AR：Augmented Reality)图像的技术受到关注。例如，公知有如下技术：在用户进行了指定现实世界的物体即对象物的操作时，在被指定的对象物周边显示与被指定的对象物相关联的虚拟信息部分即虚拟对象。

专利文献1提出有如下装置：对由摄像机取得的真实空间的信息进行分析，由此求出存在于真实空间的物体(例如手)的面即基准面(例如手掌)，根据基准面对显示于图像显示部的虚拟对象进行变更。

现有技术文献

专利文献

专利文献1：日本特开2018-84886号公报(例如第0087～0102段、图8～图11)

发明内容

发明要解决的课题

但是，在上述现有装置中，配置虚拟对象的平面的形状和倾斜根据存在于真实空间的物体的形状和倾斜而变化，因此，存在有时虚拟对象的视觉辨认性降低这样的问题。

本发明正是为了解决上述课题而完成的，其目的在于，提供能够显示增强现实图像而不使虚拟对象的视觉辨认性降低的创作装置、创作方法和创作程序。

用于解决课题的手段

本发明的一个方式的创作装置的特征在于，所述创作装置具有：用户接口部，其受理指定存在于真实空间的对象物的操作；指定目标确定部，其确定与由所述用户接口部指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；配置位置计算部，其根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；以及多视点计算部，其决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面，输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。

本发明的另一个方式的创作方法的特征在于，所述创作方法具有以下步骤：受理指定存在于真实空间的对象物的操作；确定与被指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面；以及输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。

发明效果

根据本发明，能够显示增强现实图像而不使虚拟对象的视觉辨认性降低。

附图说明

图1是示出本发明的实施方式1的创作装置的硬件结构的例子的图。

图2是概略地示出实施方式1的创作装置的结构的功能框图。

图3的(A)～(D)是示出由实施方式1的创作装置的数据取得部处理的数据以及表示拍摄真实空间的摄像机的位置和姿态的参数的图。

图4是示出存在于真实空间的对象物和对这些对象物赋予的物体ID的例子的图。

图5是示出平面状的虚拟对象的例子的图。

图6是示出立体状的虚拟对象的例子的图。

图7是示出通过利用直线包围指定目标对象物上的区域的用户操作来指定指定目标的第1指定方法的图。

图8是示出通过指定指定目标对象物上的点的用户操作来指定指定目标的第2指定方法的图。

图9的(A)是示出通过用户操作而指定的指定目标的区域和基准点的例子的图，(B)是示出基准点和基准平面的例子的图，(C)是示出水平面的例子的图。

图10的(A)、(B)和(C)是示出根据基准平面和水平面导出配置平面的处理的图。

图11的(A)和(B)是示出用于根据基准点和基准平面导出配置虚拟对象的配置平面的第1导出方法和第2导出方法的图。

图12的(A)是示出在从近前侧观察指定目标的区域的情况下能够视觉辨认显示于配置平面上的虚拟对象的图，(B)是示出在从上方观察指定目标的区域的情况下无法视觉辨认显示于配置平面上的虚拟对象的图。

图13是示出在图12的(B)的状态时使用广告牌渲染来显示虚拟对象的例子的图。

图14是示出由多视点计算部导出的配置平面的图。

图15是示出由多视点计算部导出的配置平面的图。

图16是示出由多视点计算部导出的配置平面的图。

图17是示出实施方式1的创作装置的动作的流程图。

图18是示出本发明的实施方式2的创作装置的硬件结构的例子的图。

图19是概略地示出实施方式2的创作装置的结构的功能框图。

图20是示出实施方式2的创作装置的动作的流程图。

具体实施方式

下面，参照附图对本发明的实施方式的创作装置、创作方法和创作程序进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。

《1》实施方式1

《1-1》结构

《1-1-1》硬件结构

图1是示出实施方式1的创作装置1的硬件结构的例子的图。图1没有示出用于执行根据包含虚拟对象的创作数据显示AR图像的处理即渲染的结构。但是，创作装置1也可以具有摄像机或传感器等这种取得真实空间的信息的结构。

如图1所示，创作装置1例如具有存储作为软件的程序即实施方式1的创作程序的作为存储装置的内存102、以及执行内存102中存储的程序的作为运算处理部的处理器101。处理器101是CPU(Central Processing Unit：中央处理单元)等信息处理电路。内存102例如是RAM(Random Access Memory：随机存取存储器)等易失性存储装置。创作装置1例如是计算机。实施方式1的创作程序从记录信息的记录介质经由介质信息读取装置(未图示)或经由能够与互联网等连接的通信接口(未图示)存储于内存102。

此外，创作装置1具有鼠标、键盘、触摸面板等用户操作部即输入装置103。输入装置103是受理用户操作的用户操作装置。输入装置103包含受理基于手势操作的输入的HMD(Head Mounted Display：头戴式显示器)、受理基于视线操作的输入的装置等。受理基于手势操作的输入的HMD具有小型摄像机，对用户的身体的一部分进行摄像，识别该身体的运动即手势操作作为针对HMD的输入操作。

此外，创作装置1具有显示图像的显示装置104。显示装置104是在进行创作时向用户提示信息的显示器。显示装置104显示应用。显示装置104也可以是HMD的透视型的显示器。

此外，创作装置1也可以具有存储各种信息的存储装置即存储器105。存储器105是HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)等存储装置。存储器105存储程序、在执行创作时使用的数据、通过创作而生成的数据等。存储器105也可以是创作装置1外部的存储装置。存储器105例如也可以是存在于能够经由通信接口(未图示)连接的云上的存储装置。

创作装置1能够通过执行内存102中存储的程序的处理器101来实现。此外，创作装置1的一部分也可以通过执行内存102中存储的程序的处理器101来实现。

《1-1-2》创作装置1

图2是概略地示出实施方式1的创作装置1的结构的功能框图。创作装置1是能够实施实施方式1的创作方法的装置。创作装置1考虑虚拟对象的进深来进行创作。

创作装置1

(1)受理指定存在于真实空间的对象物的用户操作，

(2)确定与被指定的对象物即指定目标对象物相关联的基准平面上的基准点(该处理在后述的图9的(A)～(C)示出)，

(3)根据基准平面和基准点决定配置于包含基准点的位置且能够配置虚拟对象的第1配置平面(该处理在后述的图10的(A)～(C)示出)，

(4)决定通过使第1配置平面旋转而得到的、能够配置虚拟对象的1个以上的第2配置平面(该处理在后述的图14～图16示出)，

(5)把将第1配置平面和虚拟对象关联起来的信息以及将第2配置平面和虚拟对象关联起来的信息作为创作数据例如输出到存储器105。

如图2所示，创作装置1具有创作部10、数据取得部20和识别部30。创作部10根据由用户进行的输入操作即用户操作执行创作。数据取得部20从存储器105(其在图1示出)取得在执行创作时使用的数据。识别部30进行由创作部10执行的创作过程中所需要的图像识别等处理。实施方式1中的存储器105在图1示出，但是，存储器105的整体或一部分也可以是创作装置1外部的存储装置。

《1-1-3》数据取得部20

图3的(A)～(D)是示出由实施方式1的创作装置1的数据取得部20处理的数据以及表示拍摄真实空间的摄像机的位置和姿态的参数的图。摄像机在实施方式2中进行说明。数据取得部20取得创作部10执行创作时使用的数据。执行创作时使用的数据能够包含表示三维模型的三维模型数据、表示虚拟对象的虚拟对象数据和从传感器输出的传感器数据。这些数据可以预先存储于存储器105。

<三维模型数据>

三维模型数据是以三维方式表示显示AR图像的真实空间的信息的数据。三维模型数据能够包含图3的(A)～(C)所示的数据。三维模型数据例如能够使用SLAM(SimultaneousLocalization and Mapping：同时定位与地图构建)技术来取得。在SLAM技术中，使用能够取得真实空间的彩色图像(即RGB图像)和进深图像(即Depth图像)的摄像机(以下也称作“RGBD摄像机”)拍摄真实空间，由此取得三维模型数据。

图3的(A)示出三维点群的例子。三维点群表示存在于真实空间的物体即对象物。存在于真实空间的对象物例如包含地面、墙壁、门、天花板、放置于地面的物品、从天花板悬吊的物品、安装于墙壁的物品等。

图3的(B)示出在三维模型数据的生成过程中取得的平面的例子。根据图3的(A)所示的三维点群取得该平面。

图3的(C)示出通过从多个视点的拍摄和多个角度的拍摄而得到的图像的例子。在SLAM技术中，使用RGBD摄像机等从多个视点和多个角度拍摄真实空间，由此生成三维模型数据。此时的拍摄时得到的图3的(C)所示的图像(即图像数据)与图3的(A)所示的三维点群、图3的(B)所示的平面或它们双方一起存储于存储器105。

图3的(D)所示的信息是表示与各个图像有关的摄像机的位置和姿态的信息。在设k＝1、2、…、N(N为正整数)的情况下，p

图4是示出存在于真实空间的对象物和对该对象物赋予的物体ID(Identification：标识符)的例子的图。在图4中，作为物体ID的例子，记载有“A1”、“A2”、“A3”和“A4”。在决定虚拟对象的三维配置位置的处理和导出图像上的对象物的位置、姿态或它们双方的处理等中使用三维模型数据。三维模型数据是创作部10的输入数据之一。

三维模型数据除了包含图3的(A)～(D)所示的信息以外，还可以包含其他信息。三维模型数据也可以包含存在于真实空间的对象物各自的数据。例如，如图4所示，三维模型数据也可以包含对各对象物赋予的物体ID、被赋予物体ID的每个对象物的部分的三维模型数据。

在图4所示的情况下，例如能够使用语义分割技术取得每个对象物的部分的三维模型数据。例如，按照各对象物具有的每个区域对图3的(A)所示的三维点群的数据、图3的(B)所示的平面的数据或它们双方的数据进行分割，由此能够取得每个对象物的部分的三维模型数据。此外，非专利文献1说明了根据点群数据检测点群数据中包含的对象物区域的技术。

非专利文献1：Florian Walch,“Deep Learning for Image-BasedLocalization”,Department of Informatics,Technical University of Munich(TUM),2016年10月15日

<虚拟对象数据>

图5是示出平面状的虚拟对象的例子的图。图6是示出立体状的虚拟对象的例子的图。虚拟对象数据是存储表示作为AR图像显示的虚拟对象的信息的数据。这里处理的虚拟对象具有2种属性。

图5所示的虚拟对象V1以平面的方式表示。虚拟对象V1相当于图像和动画等。虚拟对象V1的重心坐标由Zv1表示。重心坐标Zv1作为本地坐标系的坐标存储于存储器105。

图6所示的虚拟对象V2以立体方式表示。虚拟对象V2相当于由三维建模工具等生成的数据。虚拟对象V2的重心坐标由Zv2表示。重心坐标Zv2作为本地坐标系的坐标存储于存储器105。

<传感器数据>

传感器数据是用于辅助拍摄图像数据时的摄像机的位置和姿态的估计处理的数据。传感器数据例如能够包含从测定拍摄真实空间的摄像机的倾斜的陀螺仪传感器输出的倾斜数据、从测定该摄像机的加速度的加速度传感器输出的加速度数据等。传感器数据不限于附带于摄像机的信息，例如也可以包含由位置信息计测系统即GPS(GlobalPositioning System：全球定位系统)计测出的位置数据。

《1-1-4》识别部30

识别部30使用由数据取得部20取得的三维模型数据，识别存在于图像上的特定部位的平面或对象物。识别部30按照针孔相机模型，将图像上的二维位置转换成真实空间上的三维位置，将该三维位置与三维模型数据进行核对，由此识别存在于图像的特定部位的平面或对象物。另外，图像上的二维位置由像素坐标表示。

此外，识别部30接受图像作为输入，根据接受的图像识别拍摄到该图像的摄像机的位置和姿态。关于根据图像估计拍摄到该图像的摄像机的位置和姿态的对的方法，例如公知有被称作PoseNet的利用神经网络的方法。该方法例如在非专利文献2中进行了说明。

非专利文献2：Charles R.Qi及其他3人、“PointNet:Deep Learning on PointSets for 3D Classification and Segmentation”,Stanford University

此外，作为根据图像估计拍摄到该图像的摄像机的位置和姿态的对的其他方法，公知有使用SLAM技术的方法。

《1-1-5》创作部10

创作部10使用由数据取得部20取得的三维模型数据、虚拟对象数据或它们双方的数据执行虚拟对象的创作。创作部10输出创作的结果作为创作数据。创作部10执行创作，以使与用户指定的部位即用户指定的指定目标的区域相关联的虚拟对象具有与指定目标的区域的进深方向的位置一致的进深方向的位置。如图2所示，创作部10包含用户接口部11、指定目标确定部12、配置位置计算部13和多视点计算部14。

《1-1-6》用户接口部11

用户接口部11提供创作用的用户接口。用户接口部11例如是图1所示的输入装置103和显示装置104等。用户接口部11能够包含GUI(Graphical User Interface：图形用户界面)应用。具体而言，用户接口部11使显示装置104显示创作中利用的图像或三维数据(例如三维点群数据、平面数据等)，受理创作所需要的来自输入装置103的用户操作。这里，三维数据例如是三维点群数据、平面数据等。

说明使用输入装置103进行的用户的输入操作。在“操作U1”中，用户指定创作中使用的图像。例如，在“操作U1”中，用户从图3的(A)、(B)和(C)所示的图像中选择1个图像。在“操作U2”中，用户指定作为AR图像的基准的指定目标。在“操作U3”中，用户进行用于配置虚拟对象的操作。在“操作U4”中，用户指定平面图案的数量。平面图案的数量是后述的多视点计算部14通过计算而取得的平面的数量。

用户通过“操作U2”在通过“操作U1”指定的图像中指定指定目标，由此，指定目标确定部12和配置位置计算部13求出指定目标的三维位置和配置与指定目标相关联的虚拟对象的平面即配置平面。

用户通过“操作U3”针对求出的平面指定配置虚拟对象的位置，由此，配置位置计算部13计算虚拟对象的三维位置和姿态。此外，用户通过“操作U4”指定平面图案的数量G(G为正整数)，由此，多视点计算部14能够求出从G个视点(即沿G图案的视线方向)观察指定目标时的虚拟对象的配置位置。

《1-1-7》指定目标确定部12

指定目标确定部12根据用户通过用户接口部11指定的指定目标求出基准点p和基准平面S

<第1指定方法>

在第1指定方法中，用户针对显示GUI的图像，进行利用矩形或多边形等直线包围作为指定目标的区域的操作。利用直线包围的部位成为指定目标的区域。在利用第1指定方法指定了指定目标的情况下，如下求出基准点p和基准平面S

将被指定为指定目标的n边形的区域的各顶点设为H

在将从三维坐标a

C＝{c

从三维坐标a

【数学式1】

J＝

因此，根据n边形的顶点中的任意3个点求出的平面存在J个。将J个平面表记成Sm

此外，如下所示，从n边形的区域的顶点H

【数学式2】

C

另外，例如，要素c

在将平面S与点X的距离表记成D(S，X)时，利用以下的式(2)求出基准平面S

【数学式3】

这里，要素C

此外，在将n边形的重心的坐标设为A

<第2指定方法>

用户针对显示GUI的图像，进行指定作为指定目标的1个点的操作。在第2指定方法中，在由用户指定了指定目标的区域即点的情况下，如下求出基准点p和基准平面S

在将指定了基准点p的图像上的点设为M＝(u，v)时，M能够按照针孔相机模型转换成三维坐标a

识别部30根据三维模型数据的平面数据检测包含基准点p的平面，决定基准平面S

图7是示出通过利用直线包围指定目标对象物上的区域的用户操作来指定指定目标的第1指定方法的图。图8是示出通过指定指定目标对象物上的点的用户操作来指定指定目标的第2指定方法的图。在图8所示的第2指定方法中，仅根据1个点来检测平面，因此，在指定目标对象物不是平面的情况下，有时无法适当地检测基准平面S

《1-1-8》配置位置计算部13

配置位置计算部13进行以下所示的第1处理13a和第2处理13b。

在第1处理13a中，配置位置计算部13计算配置虚拟对象的配置平面S

<第1导出方法>

在第1导出方法中，配置位置计算部13将基准平面S

<第2导出方法>

在第2导出方法中，首先，配置位置计算部13根据三维模型数据检测真实空间中的水平面S

图10的(A)、(B)和(C)是示出根据基准平面S

首先，如图10的(A)所示，将基准平面S

在第1导出方法中，根据指定目标的区域的倾斜，有时成为视觉辨认性差的配置平面。但是，如第2导出方法所示，通过将穿过基准点p的与水平面S

图11的(A)和(B)是示出用于根据基准点p和基准平面S

在第2处理13b中，配置位置计算部13计算虚拟对象的三维配置位置q。在配置位置计算部13通过第1处理13a导出配置虚拟对象的配置平面S

在将通过用户的指定而取得的图像上的坐标设为D＝(u，v)时，根据坐标D，按照针孔相机模型得到三维坐标E＝(x，y，z)。在将根据三维模型数据得到的摄像机的三维坐标设为F＝(x

此外，在决定配置位置后，用户也可以通过拖放等用户操作来变更虚拟对象的尺寸。该情况下，在用户操作时，优选在显示装置104显示作为渲染的结果而得到的虚拟对象。

此外，此时，用户也可以通过拖放等用户操作来变更配置虚拟对象的朝向(即姿态)。该情况下，与虚拟对象的旋转有关的信息也作为创作数据存储于存储器105。通过进行以上的处理，求出虚拟对象的三维配置位置、范围、姿态。

《1-1-9》多视点计算部14

直到配置位置计算部13为止的处理结果是，在从某1个方向观察时，指定目标的区域的进深方向的位置和虚拟对象的进深方向的位置一致。图12的(A)是示出在从近前侧观察指定目标的区域的情况下能够视觉辨认显示于配置平面S

图13是示出使用广告牌渲染来显示虚拟对象#1和#2的例子的图。在使用广告牌渲染来执行渲染以使虚拟对象始终为与摄像机的视线向量垂直的姿态的情况下，如图13所示，能够视觉辨认虚拟对象。但是，虚拟对象#1和#2的进深方向的位置L

如上所述在视点大幅变化时，为了使虚拟对象的进深方向的位置与指定目标的区域的进深方向的位置一致，多视点计算部14也针对1个指定目标准备多个配置平面，计算虚拟对象在各个配置平面中的配置位置。多视点计算部14以与追加的配置平面的数量相等的次数反复进行以下的第1视点计算处理14a和第2视点计算处理14b。

在第1视点计算处理14a中，多视点计算部14求出使由配置位置计算部13求出的配置平面S

在第2视点计算处理14b中，多视点计算部14求出由配置位置计算部13求出的要配置的虚拟对象v

关于第1视点计算处理14a，也可以通过拖放等用户操作使用户自身设定平面S

关于第2视点计算处理14b，多视点计算部14利用由配置位置计算部13求出的虚拟对象v

此外，也可以在利用上述方法求出暂时的配置位置后，提供由用户调整配置位置的用户界面。此外，多视点计算部14也可以在求出暂时的配置位置后，利用三维模型数据的点群的数据、三维模型数据的平面的数据或它们双方的数据进行虚拟对象和真实空间中的对象物的冲突判定，调整虚拟对象的配置位置。

对在第1视点计算处理14a中自动地求出平面S

图14所示的例子是将由配置位置计算部13导出的配置平面S

图15所示的配置平面S

图16所示的配置平面S

如上所述，配置位置计算部13计算多个配置平面和配置位置，输出计算结果作为创作数据。在执行渲染时，根据摄像机的角度切换要渲染的平面，由此，在从多个视点观察时，也能够使与指定目标有关的多个虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。

《1-1-10》创作数据

创作数据是由创作部10进行的创作结果存储于存储器105的数据。创作数据例如包含以下的第1信息I1～第6信息I6。

第1信息I1是与指定目标有关的信息，包含基准点p和基准平面S

由创作部10求出的虚拟对象的三维配置位置与配置平面、指定目标或它们双方关联起来进行管理。

《1-2》动作

图17是示出实施方式1的创作装置1的动作的流程图。首先，在步骤S11中，创作装置1按照用户指示，启动搭载有创作部10的功能的创作应用。

在步骤S12中，创作装置1取得用户通过创作部10的用户接口部11指定的在创作中使用的图像或三维数据即三维点群或平面，使显示装置104显示取得的图像或三维数据。用户通过用户接口部11即鼠标或触摸板等进行指定。

在步骤S13中，创作装置1确定用户通过用户接口部11指定的图像或三维数据的指定目标。创作装置1根据由用户指定的指定目标求出基准点p和基准平面S

在步骤S14中，创作装置1决定配置虚拟对象的配置平面S

在步骤S15中，创作装置1接受通过用户操作而输入的虚拟对象的配置位置、尺寸、旋转等信息。创作装置1根据接受的信息计算虚拟对象的三维配置位置和姿态等信息。

在步骤S16中，创作装置1以与追加的平面的数量相等的次数求出配置平面和放置于该配置平面的虚拟对象的配置位置等，以应对来自多个视点的渲染。此时，关于追加的配置平面，存在通过用户操作在GUI上指定的情况和与用户操作无关地自动决定的情况。

在步骤S17中，创作装置1在求出虚拟对象在多个平面上的创作信息后，输出通过此前的处理得到的与创作有关的信息作为创作数据，将其保存于存储器105。

《1-3》效果

如以上说明的那样，在实施方式1中，在根据真实空间中的指定目标对象物和与该指定目标对象物相关联的虚拟对象执行创作时，通过指定目标确定部12，根据用户的指定目标求出基准点p和基准平面S

此外，通过多视点计算部14求出多个虚拟对象的配置平面。因此，在改变了摄像机的朝向或姿态时，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。

此外，在关于1个指定目标登记有多个内容的情况下，在改变了摄像机的朝向或姿态时，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。

《2》实施方式2

《2-1》结构

《2-1-1》硬件结构

实施方式1的创作装置1是生成并输出创作数据的装置，但是，创作装置也可以具有用于执行渲染的结构。

图18是示出本发明的实施方式2的创作装置2的硬件结构的例子的图。在图18中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。实施方式2的创作装置2与实施方式1的创作装置1的不同之处在于具有传感器106和摄像机107。

传感器106是IMU(Inertial Measurement Unit：惯性测量单元)、红外线传感器或LiDAR(Light Detection and Ranging：激光雷达)等。IMU是统合加速度传感器、地磁传感器、陀螺仪传感器等各种传感器而成的检测装置。摄像机107是摄像装置，例如是单镜头摄像机、立体摄像机或RGBD摄像机等。

创作装置2根据从拍摄真实空间的摄像机107输出的图像数据估计摄像机107的位置和姿态，根据估计出的摄像机107的位置和姿态以及创作数据，从第1配置平面和1个以上的第2配置平面中选择配置虚拟对象的显示平面，输出基于图像数据和配置于显示平面上的虚拟对象的显示图像数据。

创作装置2选择第1配置平面和1个以上的第2配置平面中的、由摄像机107的位置和基准点p决定的向量与第1配置平面所成的角度和所述向量与1个以上的第2配置平面所成的角度最接近90°的配置平面，作为显示虚拟对象的显示平面。

《2-1-2》创作装置2

图19是概略地示出实施方式2的创作装置2的结构的功能框图。在图19中，对与图2所示的结构要素相同或对应的结构要素标注与图2所示的标号相同的标号。实施方式2的创作装置2与实施方式1的创作装置1的不同之处在于，具有图像取得部40和向显示装置104输出图像数据的AR显示部50。

图像取得部40取得从摄像机107输出的图像数据。由图像取得部40取得的图像数据被输入到创作部10、识别部30和AR显示部50。在使用从摄像机107输出的图像数据执行创作的情况下，从摄像机107输出的图像数据被输入到创作部10。在除此以外的情况下，从摄像机107输出的图像数据被输入到AR显示部50。

《2-1-3》AR显示部50

AR显示部50执行用于利用从创作部10输出或存储器105中存储的创作数据生成使显示装置104显示虚拟对象的图像数据的渲染。如图19所示，AR显示部50具有位置姿态估计部51、显示平面确定部52和渲染部53。

<位置姿态估计部51>

位置姿态估计部51估计与创作装置2连接的摄像机107的位置和姿态。图像取得部40从摄像机107取得的摄像图像的图像数据被提供给识别部30。识别部30接受图像数据作为输入，根据接受的图像数据识别拍摄到该图像的摄像机的位置和姿态。位置姿态估计部51根据识别部30的识别结果，估计与创作装置2连接的摄像机107的位置和姿态。

<显示平面确定部52>

在实施方式2的创作数据中，通过多视点计算部14，有时针对用户指定的1个指定目标存在多个配置平面。多个配置平面例如是图14～图16所示的配置平面S

【数学式4】

但是，在90°<θ

【数学式5】

在求出平面S

<渲染部53>

渲染部53根据由位置姿态估计部51取得的摄像机107的位置和姿态以及由显示平面确定部52取得的虚拟对象的配置平面、配置位置的信息，将虚拟对象的三维坐标转换成显示装置104的显示器上的二维坐标，在显示装置104的显示器中，在通过转换而得到的二维坐标上重叠显示虚拟对象。

《2-1-4》显示装置104

显示装置104是用于渲染AR图像的装置。显示装置104例如是PC(PersonalComputer：个人电脑)的显示器、智能手机的显示器、平板终端的显示器或头戴式显示器等。

《2-2》动作

图20是示出实施方式2的创作装置2的动作的流程图。由实施方式2的创作装置2执行的创作与实施方式1的创作相同。

在步骤S21中，创作装置2启动AR应用。

在步骤S22中，在启动了创作数据后，在步骤S23中，创作装置2取得创作数据作为显示数据。

在步骤S24中，创作装置2取得从与创作装置2连接的摄像机107输出的摄像图像的图像数据。

在步骤S25中，创作装置2估计摄像机107的位置和姿态。

在步骤S26中，创作装置2从创作数据取得与求出的指定目标有关的信息，针对1个指定目标执行步骤S27的处理，或者针对多个指定目标分别执行步骤S27的处理。

在步骤S26中，创作装置2从与指定目标对应的多个配置平面中，确定1个显示虚拟对象的配置平面。接着，创作装置2从创作数据取得配置于已决定的配置平面上的虚拟对象的配置位置、尺寸、位置和姿态等信息。接着，创作装置2执行虚拟对象的渲染。

在步骤S27中，创作装置2判定是继续进行AR显示处理还是关于已登记的全部指定目标已结束处理。在继续进行的情况下，反复进行步骤S24～S27的处理。

《2-3》效果

如以上说明的那样，在实施方式2中，在渲染作为虚拟对象的对象的指定目标和与其相关联的虚拟对象时，根据由创作部10输出的创作数据进行渲染。因此，能够进行使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致的渲染，而不依赖于指定目标的形状或倾斜。

此外，通过显示平面确定部52，根据由多视点计算部14求出的多个内容配置平面，按照摄像机107的位置、姿态或它们双方决定进行渲染的平面。因此，在摄像机107的位置、姿态或它们双方变化的情况下，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。

标号说明

1、2：创作装置；10：创作部；11：用户接口部；12：指定目标确定部；13：配置位置计算部；14：多视点计算部；20：数据取得部；30：识别部；40：图像取得部；50：AR显示部；51：位置姿态估计部；52：显示平面确定部；53：渲染部；101：处理器；102：内存；103：输入装置；104：显示装置；105：存储器；106：传感器；107：摄像机；p：基准点；S