热图展示装置以及热图展示用程序

摘要

本发明具备：生成因子检测部(13)，其根据三维图像内视听者正观看的区域的检测结果，针对将三维图像分割后的多个区域的每一个，将被视听者观看的次数以及时间作为热图的多个生成因子进行检测；以及热图生成部(14)，其根据该检测出的多个生成因子生成三维空间用的热图；通过根据多个生成因子生成显示于三维空间上的热图，能够利用维数比显示于二维空间的现有热图多的三维空间上的热图，提供基于多个生成因子的多元信息。

说明书

技术领域

本发明涉及热图展示装置以及热图展示用程序，尤其是适合用于分析视听者对三维图像的视听状况并展示为热图的装置。

背景技术

近年来，让人宛如现实般地体验计算机中创造的虚拟世界的虚拟现实(VR：Virtual Reality)技术得到广泛应用。VR大致分为向用户呈现利用计算机图形等制作的三维图像和向用户呈现通过将拍摄现实世界而取得的动态图像加工成VR用而制作的三维图像这两种。作为后者的一个例子，还提供了一种被称为360度动态图像的技术，该360度动态图像使得能够与视听者的视线运动对应地进行360度全方位观看。

VR的应用例多种多样，但一般是用户佩戴护目镜那样的HMD(头戴式显示器)，并在通过计算机于HMD上作为三维图像而描绘出的三维空间中自由移动，由此用户能够虚拟地进行各种体验。有时也使用眼镜型或帽子型的HMD来代替护目镜型的HMD。VR也能够呈现给用户超越时间和空间这样的现实制约的世界。

与现有的内容相比，VR内容具有用户能够自由地选择观看方向这一特征。另一方面，由于不知道用户在三维空间中观看何处，因此存在开发者无法获知应该将重点放在何处而对VR内容进行制作及改善这一问题。对于该问题，提供有分析用户对VR内容的注视点而进行热图显示的技术(例如，参考非专利文献1)。

根据该非专利文献1所记载的InstaVR这一技术，当使热图分析功能有效时，由InstaVR作成的应用程序自动地收集用户的注视点信息，并发送至InstaVR的分析平台。InstaVR的使用者能够利用热图掌握在浏览器上的VR内容编辑画面中用户正观看的区域以及视线的移动顺序，从而能够进行基于分析事实的有效VR内容的制作以及调整。

此外，在专利文献1中，也公开了在VR内容中检测并以热图显示用户所凝视的位置(参考权利要求57、段落[0303]、[0319]等)。即，在专利文献1所记载的VR系统中，对于包含三维影像数据中被压缩的流的虚拟现实内容检测用户进行凝视的位置，根据每个位置的用户凝视的数量(观看了特定位置的用户的数量)而生成包括不同颜色的热图。

专利文献1：日本专利特表2016-537903号公报

非专利文献1：对于VR体验者在“观看何处”进行热图分析「InstaVR」2016.4.26https://japan.cnet.com/article/35081481/

发明内容

如上所述，通过将用户对VR内容的注视点进行分析并进行热图显示，能够掌握在VR内容中较多的用户所观看的区域。然而，上述现有技术中显示的热图是通过二维图像表现的。因此，存在下述问题：即使观察如上所述作成的热图，也仅能获知VR内容上被用户观看的次数较多的位置，而无法获得进一步的信息。

本发明是为了解决上述问题而形成的，其目的在于，针对用户对于在三维空间中显示为VR内容的三维图像的视听状况，能够通过热图提供多元信息。

为了解决上述问题，在本发明中，根据作为在虚拟三维空间上所显示的三维图像内视听者正观看的区域的检测结果而得到的目视区域信息，针对将三维图像分割后的多个区域的每一个，将被视听者观看的次数以及被视听者观看的时间作为热图的多个生成因子进行检测，根据该检测出的多个生成因子生成三维空间用的热图，并显示在三维空间上。

(发明效果)

根据如上所述构成的本发明，使用多个生成因子作为生成热图时所用的因子，并根据该多个生成因子，生成在三维空间上显示的热图。由此，针对视听者对于显示在三维空间上的三维图像的视听状况，利用维数比显示于二维空间的现有热图多的三维空间上的热图，能够提供基于多个生成因子的多元信息。

附图说明

图1是表示使用了本实施方式的热图展示装置的VR视听系统的整体结构例的图。

图2是用于说明视听者的目视区域的检测方法的一例的图。

图3是表示第一实施方式的热图展示装置的功能结构例的框图。

图4是表示在生成热图时使用的多个分割区域的图。

图5是表示第二实施方式的热图展示装置的功能结构例的框图。

图6是表示第二实施方式的热图的生成例的图。

图7是表示第三实施方式的热图展示装置的功能结构例的框图。

图8是表示第三实施方式的热图的生成例的图。

图9是表示第三实施方式中用户位置与映射位置的相对距离为零时的热图的生成例的图。

(符号说明)

11：目视区域信息取得部

12：动态信息取得部

13：生成因子检测部

14、14’、14”：热图生成部

15：热图显示控制部

16：用户位置检测部

100：服务器装置(热图展示装置)

200：用户终端

300：视听者终端

具体实施方式

以下，根据附图对本发明的一实施方式进行说明。图1是表示使用了本实施方式的热图展示装置的VR视听系统的整体结构例的图。如图1所示，本实施方式的VR视听系统构成为包括：服务器装置100、用户终端200以及多个视听者终端300。用户终端200具备HMD(头戴式显示器)201。视听者终端300具备再生装置301、HMD302、控制器303以及动作传感器304。另外，再生装置301以及HMD302可以是如图所示的分别独立地构成的结构，也可以是两者作为一个计算机而提供的结构。

再生装置301与服务器装置100之间构成为能够经由因特网或手机网络等通信网络400进行连接。此外，用户终端200与服务器装置100之间也构成为能够经由通信网络400进行连接。详细如后所述，根据从多个再生装置301发送至服务器装置100的、表示视听者对于VR内容的视听状况或视听者的身体动作的信息，在服务器装置100中生成热图。此外，在服务器装置100中生成的热图被展示于用户终端200。使用用户终端200的用户是VR内容的开发者，能够参照被展示的热图进行VR内容的制作或调整。

再生装置301将作为VR内容的三维图像进行再生。三维图像是用于制作VR的虚拟三维空间的视差图像，并且是内容随时间变化的动态图像。例如，三维图像是被称为能够与视听者的视线移动对应地进行360度全方位观看的360度动态图像。通过再生装置301再生后的三维图像被显示在视听者佩戴的HMD302上。

在显示三维图像的HMD302中搭载有陀螺仪传感器或加速度传感器，能够检测视听者头部的动作。然后，再生装置301以下述方式控制三维图像的再生：即，与HMD302的传感器所检测到的视听者头部的动作相应地，HMD302的显示画面上所实现的三维空间动态地变化这一方式。即，再生装置301再生以下三维图像：若视听者朝向正面则正面的三维空间扩大这样的三维图像，若视听者朝向右边则右侧的三维空间扩大这样的三维图像，若视听者朝向左边则左侧的三维空间扩大这样的三维图像。

再生装置301具有在虚拟三维空间上所显示的三维图像内检测视听者观看的区域这一功能。即，如图2所示，再生装置301将设定于HMD302的显示画面的中央部的规定区域(以下称为“画面中央区域30”)作为视听者观看的目视区域进行检测。如上所述，由于HMD302的显示画面上所显示的内容根据视听者头部的动作而变化，因此，在三维图像整体中实际被显示于显示画面上的区域是视听者以自己的意愿选择并显示的区域，可以说是视听者观看的区域。

由此，也可以将显示于HMD302的显示画面上的区域整体作为目视区域进行检测，在本实施方式中，尤其将设定于显示画面的中央部的画面中央区域30作为视听者的目视区域而进行检测。这是出于即使在HMD302的显示画面中视听者也尤其关注画面中央区域30的可能性高的考虑。

另外，也可以在HMD302上搭载视线检测传感器来检测视听者的实际视线，并将处于其视线方向上的规定范围的区域作为视听者的目视区域进行检测。规定范围的大小，例如设为与画面中央区域30的大小相同。也可以取代视线检测传感器而设置对视听者的眼睛进行拍摄的照相机，通过对眼睛的拍摄图像进行图像处理，而检测视听者的视线。检测视听者视线的方法不限于此例，还可以使用其他公知的方法。

在此，优选：为了使在视听者正在运动头部的期间被瞬间显示于画面中央区域30中的图像不会被作为视听者的目视区域而检测，仅限于在由传感器检测到头部的动作停止了一定时间以上时(可以允许有稍微的动作)，才将正显示于画面中央区域30的三维图像的区域作为目视区域而检测。此外，在允许头部的稍微动作而检测头部停止了一定时间以上时，在该一定时间内，显示于画面中央区域30上的三维图像的区域也会根据头部的动作而产生一些波动。该情况下，例如可以仅将在一定时间内持续显示于画面中央区域30上的图像部分、或者显示时间为一定时间中的规定比例以上的图像部分作为目视区域进行检测。

检测视听者的视线的情况也相同，优选：为了使在视听者正移动视线的期间其视线瞬间通过的区域不会被作为视听者的目视区域而检测，仅限于当传感器等检测到视线的移动停止了一定时间以上时(可以允许有稍微的动作)，才将其视线方向的规定范围内所显示的三维图像的区域作为目视区域进行检测。此外，在允许视线的稍微动作而检测视线停止了一定时间以上时，例如可以仅将在一定时间内作为规定范围内的图像而持续显示的图像部分、或者在一定时间中的规定比例以上时间作为规定范围内的图像而显示的图像部分作为目视区域进行检测。

在三维图像的再生中，视听者通过操作控制器303，能够指示再生装置301执行给定的处理。例如，当在三维图像中显示有能够操作的用户界面时，通过控制器303对该用户界面进行操作，从而能够暂时停止三维图像的再生、或者使操作时显示的内容的一部分(例如，三维图像内所包含的特定的对象)进行放大显示、或者弹出显示与该对象相关的信息。此外，此处举出的处理为一个例子，也可以根据用户界面的操作进行除此之外的处理。

动作传感器304是安装在视听者的手或脚等上的传感器，并检测三维图像显示中的视听者身体(手或脚)的动作。此外，关于视听者的头部的动作，如上所述由搭载于HMD302上的传感器进行检测。

再生装置301向服务器装置100发送目视区域信息和动作信息，其中，目视区域信息是作为三维图像内视听者正观看的区域的检测结果而获得的，动作信息是作为在三维图像的显示中视听者观看所期望的区域时视听者身体上的动作的检测结果而获得的(表示HMD302的传感器所检测到的头部动作、或者动作传感器304所检测到的手或脚的动作的动作信息)。

在此，目视区域信息是表示每隔规定的时间间隔对作为时间序列数据的三维图像(动态图像)进行时间分割后的每单位时间的视听者的目视区域的信息，包括目视区域的位置和观看了该目视区域的时间。单位时间的长度可以设定成任意长度。例如，可以将一帧作为单位时间，也可以将包含数帧的规定时间作为单位时间。此外，动作信息是与目视区域信息建立关联的信息。也就是说，动作信息作为下述信息、即获知为视听者观看哪个区域时的动作的信息而构成。

此外，动作信息作为表示下述情况的信息而利用，该情况是指：视听者在观看了三维图像的某个区域时，作为身体的动作而有反应了这一情况。因此，优选：视听者的微动不会作为动作信息发送至服务器装置100，仅在通过传感器等检测到存在规定大小以上的动作时，才将动作信息发送至服务器装置100。此外，关于手的动作，仅在检测到视听者操作了控制器303时，向服务器装置100发送动作信息。此外，关于头的动作，为了区别于视听者为了改变三维图像的观看范围而进行的动作，也可以仅在检测到规定的头部的动作(例如，点头的动作、使头部前倾的动作等)时，向服务器装置100发送动作信息。

服务器装置100根据从多个视听者终端300发送来的目视区域信息以及动作信息，生成用于显示于三维空间内的热图。此外，服务器装置100根据来自用户终端200的要求，将生成的热图的数据提供给用户终端200，并使热图显示于HMD201上。

本实施方式中生成的热图基本上是映射信息(Map information)，其中，映射信息构成为可获知在将作为时间序列数据的三维图像进行时间分割后的每单位时间内，多个视听者观看三维图像内的哪个区域到何种程度，视听者移动身体这一反应在观看哪个区域时被进行至何种程度。此外，在后述的第二以及第三实施方式中生成的热图是：根据在用户终端200上观看热图的用户的三维空间内的虚拟站立位置而外观发生变化的映射信息。以下，对该服务器装置100中的热图的生成处理的详细情况进行说明。

(第一实施方式)

图3是表示安装于服务器装置100中的第一实施方式的热图展示装置的例的框图。如图3所示，第一实施方式的热图展示装置的功能结构包括：目视区域信息取得部11、动作信息取得部12、生成因子检测部13、热图生成部14、以及热图显示控制部15。

上述各功能块11～15可以由硬件、DSP(Digital Signal Processor：数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块11～15实际上构成为具备计算机的CPU、RAM、ROM等，通过运行RAM或ROM、硬盘或半导体存储器等记录介质中存储的程序而实现。

目视区域信息取得部11从多个视听者终端300(再生装置301)取得目视区域信息。即，目视区域信息取得部11从多个视听者终端300取得作为在虚拟三维空间上所显示的三维图像内视听者观看的区域的检测结果而获得的目视区域信息，并将其保存。此外，视听者终端300的再生装置301在三维图像的再生结束的时刻，将目视区域信息发送至服务器装置100，目视区域信息取得部11取得该信息。

动作信息取得部12从多个视听者终端300(再生装置301)取得动作信息。即，动作信息取得部12从多个视听者终端300取得作为在三维图像的显示中视听者观看所期望的区域时视听者身体上的动作的检测结果而获得的动作信息，并将其保存。此外，视听者终端300的再生装置301在三维图像的再生结束的时刻，将动作信息发送至服务器装置100，动作信息取得部12取得该信息。此外，为了便于说明，将目视区域信息取得部11和动作信息取得部12分开，但服务器装置100只要具备接收从视听者终端300发送来的目视区域信息及动作信息的功能即可。

生成因子检测部13根据目视区域信息取得部11所取得的目视区域信息，针对将三维图像分割后的多个区域的每一个，将被视听者观看的次数以及被视听者观看的时间作为热图的生成因子进行检测。此外，生成因子检测部13针对目视区域信息所表示的视听者正观看的区域，将动作信息取得部12取得的动作信息所表示的视听者身体上的动作状况作为热图的生成因子进行检测。如此，生成因子检测部13将区域被视听者观看的次数、区域被视听者观看的时间、观看区域时视听者身体上的动作状况这三者作为热图的生成因子进行检测。

在此，将三维图像分割后的多个区域是指，将三维图像的整体分割为格子状后的各个区域。该区域的大小设定成小于画面中央区域30的大小。图4是表示在生成热图时使用的多个分割区域的图。如图4所示，将三维图像的整体分割为格子状后的各个区域41是在生成热图时使用的多个分割区域。

此外，在图4中，示出了从某个视听者终端300发送来的目视区域信息所表示的目视区域42。该目视区域42是表示在某一个单位时间中视听者目视了的区域，其大小与画面中央区域30的大小相同(但是，仅在头部的动作停止了一定时间以上的情况下检测目视区域时，目视区域42在比画面中央区域30小的范围内，且不一定成为矩形区域)。

将三维图像分割后的多个区域之中某个区域被视听者观看的次数是指：从多个视听者终端300发送来的目视区域信息之中，表示该某个区域被观看的目视区域信息的个数。即，所谓某个区域被视听者观看的次数，相当于观看了该某个区域的视听者的数量。

例如，在图4的例子中，与某一位视听者相关的一个目视区域42中包含的多个(在图4的例子中是30个)分割区域41，作为视听者的观看次数被计数一次。对于别的视听者，如果由该别的视听者相关的目视区域信息示出了相同的分割区域41已被观看这一情况，则该分割区域41被视听者观看的次数为两次。如此，根据目视区域信息取得部11从多个视听者终端300取得的多个目视区域信息，针对将三维图像分割后的多个区域41的每一个，计数被视听者观看的次数，并将其作为热图的生成因子之一进行检测。

此外，将三维图像分割后的多个区域之中某个区域被视听者观看的时间是指：视听者观看了分割区域的总计时间。例如，在上述图4的例子中，如果某一位视听者观看了目视区域42的时间为两秒，则该目视区域42中包含的多个分割区域41被视听者观看的时间被计数为两秒。对于别的视听者，如果由该别的视听者相关的目视区域信息示出了相同的分割区域41已被目视这一情况、且其目视时间为三秒，则该分割区域41被视听者观看的时间被计数为合计五秒。如此，根据目视区域信息取得部11从多个视听者终端300取得的多个目视区域信息，针对将三维图像分割后的多个区域41的每一个，计数被视听者观看的时间，并将其作为热图的生成因子之一进行检测。

此外，对于由目视区域信息表示的视听者正观看的区域，动作信息所表示的视听者身体上的动作状况是指：表示在视听者观看某个区域时视听者运动了头、手、脚中任一个的次数的信息。即，在某个区域被视听者观看时视听者身体上的动作状况，与观看该某个区域时运动了头、手、脚中任一个的视听者的数量相当。

例如，在上述图4的例子中，如果动作信息示出了某一位视听者观看目视区域42时发生了身体的动作，则对于该目视区域42中包含的多个分割区域41，视听者的身体动作被计数为一次。对于别的视听者，如果动作信息示出了观看相同分割区域41时发生了身体的动作，则针对该分割区域41，视听者的身体动作被计数为两次。如此，根据动作信息取得部12从多个视听者终端300取得的多个动作信息，针对将三维图像分割后的多个区域41的每一个，计数视听者的身体动作的次数，并将其作为热图的生成因子之一进行检测。

热图生成部14根据生成因子检测部13所检测出的多个生成因子，生成显示于三维空间上的热图。显示于三维空间上的热图是指下述映射信息：即，针对将三维空间所显示的三维图像进行时间分割后的多个单位时间的每一个、以及将三维图像进行空间上分割后的多个区域的每一个，确定并显示与视听者的目视状况以及身体的动作状况相应的显示形态的映射信息。

在第一实施方式中，热图生成部14根据多个生成因子的任一个或多个组合而确定热图在平面上的显示形态，同时根据剩余的多个生成因子而确定热图在深度上的显示形态，从而根据该确定内容生成热图。例如，热图生成部14根据被视听者观看的次数以及时间而确定热图在平面上的显示形态，同时根据视听者身体上的动作状况而确定热图在深度上的显示形态，从而根据该确定内容生成热图。

平面上的显示形态是指：例如显示颜色的种类、显示的浓度、显示图案的种类等。例如，热图生成部14使用被视听者观看的次数以及时间来计算规定的函数值，根据该函数值的大小对每一个分割区域确定显示颜色的种类和浓度，由此确定热图在平面上的显示形态。此外，深度上的显示形态是指分割区域的远近、厚度等。例如，热图生成部14将针对某个区域检测出的视听者的动作次数为零次时的显示作为基准，以动作次数越多则该区域看起来越近的方式进行显示，或者，以动作次数越多则该区域看起来越厚的方式进行显示这一方式，确定热图在深度上的显示形态。

此外，用于确定平面上的显示形态的生成因子与用于确定深度上的显示形态的生成因子的组合不限于上述例子。例如，也可以是：根据被视听者观看的次数而确定热图在平面上的显示形态，同时根据被视听者观看的时间以及视听者身体上的动作状况而确定热图在深度上的显示形态。或者，也可以是：根据视听者身体上的动作状况而确定热图在平面上的显示形态，同时根据被视听者观看的次数以及时间而确定热图在深度上的显示形态。也可以采用其他组合。

热图显示控制部15使热图生成部14所生成的热图显示在三维空间上。具体而言，热图显示控制部15根据用户终端200发送来的显示要求，使热图生成部14所生成的热图显示在用户终端200的HMD201上。即，用户终端200通过向服务器装置100发送热图的显示要求，而从服务器装置100取得热图的数据，并使热图显示在HMD201上。

在此，热图显示控制部15使在三维空间中展开的三维图像的整体区域相关的整体热图显示于用户终端200的HMD201的显示画面上。或者，也可以使与三维图像的整体区域相对应的整体热图之中、对应于一部分区域的热图显示于HMD201的显示画面上，并且，根据佩戴了HMD201的用户的头部动作，改变从整体的热图中提取的一部分区域。即，也可以与在视听者终端300的HMD302上显示的三维图像同样地，根据HMD201的传感器所检测出的用户头部的动作，使显示于HMD201的热图的方向动态地变化。

如上所述，热图是针对将三维空间所显示的三维图像进行时间分割后的多个单位时间的每一个而生成的。因此，热图显示控制部15使在每一单位时间生成的多个热图一边依次切换一边如动态图像一般进行显示。

此外，在每一单位时间生成的多个热图的显示方法不限于以上例子。例如，也可以使能够从三维图像的再生开始时刻到再生结束时刻为止的多个单位时间中选择期望的单位时间的用户界面进行显示，在用户终端200中，仅选择性地显示与通过该用户界面的操作而选择出的单位时间相对应的热图。

如以上所详细说明，在第一实施方式中，根据作为三维图像内用户正观看的区域的检测结果而得到的目视区域信息、以及作为在三维图像的显示中视听者正观看期望的区域时视听者身体上的动作的检测结果而得到的动作信息，针对将三维图像分割后的多个区域的每一个，将被视听者观看的次数、被视听者观看的时间以及视听者身体的动作状况作为热图的多个生成因子进行检测，根据该检测出的多个生成因子生成三维空间用的热图，并显示在三维空间上。

根据如上所述构成的第一实施方式，使用多个生成因子作为生成热图时所使用的因子，并且，根据该多个生成因子，生成显示于三维空间的热图。由此，针对视听者对于三维空间上所显示的三维图像的视听状况，利用相比二维空间所显示的以往的热图而维数较多的三维空间上的热图，能够提供基于多个生成因子的多元信息。

此外，在上述实施方式中，说明了使用被视听者观看的次数、被视听者观看的时间、以及视听者身体的动作状况这三者作为生成热图时所使用的生成因子这一例子，但本发明不限于此。例如，也可以使用被视听者观看的次数以及时间这两者作为生成因子。这一点在以下所述的第二实施方式和第三实施方式中也相同。

(第二实施方式)

接下来，根据附图说明本发明的第二实施方式。在第二实施方式中，VR视听系统的整体构成与图1相同。图5是表示安装于服务器装置100中的第二实施方式的热图展示装置的功能结构例的框图。此外，在该图5中，标注与图3所示符号相同的符号的部件是具有相同功能的部件，因此在此省略重复说明。

如图5所示，第二实施方式的热图展示装置进一步具有用户位置检测部16作为其功能结构。此外，第二实施方式的热图展示装置具有热图生成部14’来代替热图生成部14。

用户位置检测部16检测用户位置，其中，该用户位置表示通过热图显示控制部15在用户终端200的HMD201上显示有热图的三维空间内的用户的虚拟存在位置。即，在用户终端200中，根据用户对用户终端200的操作，能够任意地改变观看显示于HMD201的热图时的虚拟视点位置，也就是假想用户位于三维空间内时的用户的存在位置。

此处所言的能够任意改变的视点位置是指：将三维空间内显示热图的位置设为固定，距显示该热图的固定位置的相对距离和相对方向中的至少一者不同的视点位置。即，用户能够使三维空间内的用户的虚拟存在位置(虚拟视点位置)接近热图、或者远离热图。此外，用户能够使三维空间内的用户的虚拟存在位置变为从热图看去为除正面之外的各种方向。

用户终端200将表示该虚拟视点位置、即用户的虚拟存在位置的信息发送至服务器装置100。服务器装置100的用户位置检测部16通过从用户终端200取得该用户的存在位置信息，从而检测表示三维空间内的用户的虚拟存在位置的用户位置。

热图生成部14’根据用户位置检测部16所检测出的三维空间内的用户位置与表示三维空间内的热图的虚拟存在位置的映射位置(Map location)(显示热图的固定位置)的相对关系，生成外观不同的热图。即，用户位置与映射位置的相对距离越大，热图生成部14’生成越宽范围的热图，用户位置与映射位置的相对距离越小，热图生成部14’生成越窄范围的热图。此外，在从映射位置观察的用户位置的相对方向发生了变化的情况下，热图生成部14’生成从该相对方向观察到的状态的热图。

图6是表示第二实施方式的热图的生成例的图。图6中(a)表示用户位置与映射位置的相对距离大的情况下生成的宽范围的热图，图6中(b)表示用户位置与映射位置的相对距离小的情况下生成的窄范围的热图。

例如，确定默认的位置作为用户位置，在该默认的位置处用户位置与映射位置的相对距离最大。即，能够使三维空间内的虚拟用户位置在用户位置与映射位置的相对距离变为最大的默认位置和用户位置与映射位置的相对距离变为最小(变为零)的映射位置之间任意改变。

此外，关于用户位置与映射位置的相对方向，默认的用户位置是自整体区域的热图的中心点的正面的位置。而且，设为能够以整体区域的热图的显示范围内为限度而任意地改变三维空间内的虚拟用户位置。

而且，在用户位置检测部16检测到用户位置处于默认位置时，如图6中(a)所示，热图生成部14’生成与在三维空间中展开的三维图像的整体区域相关的整体的热图61。由此，在用户终端200的HMD201中，通过热图显示控制部15显示整体的热图61。

此外，在用户位置检测部16检测到用户位置处于比默认位置更靠近映射位置侧的位置时，如图6中(b)所示，热图生成部14’生成根据用户位置与映射位置的相对距离以及相对方向而收缩了的范围62的热图63。范围62被设定成如下大小：以从移动后的用户位置正面观察热图的方向时的视线与热图的交点为中心，与相对距离对应的大小。由此，在用户终端200的HMD201中，通过热图显示控制部15将一部分区域62的热图63以放大后的形态进行显示。

此外，也可以如图6中(a)所示在显示整体区域的热图61时不考虑深度上的显示模形态而生成热图，并如图6中(b)所示，仅在放大显示一部分区域62的热图63时考虑深度上的显示形态而生成热图。

根据如上所述构成的第二实施方式，能够根据与用户操作相应地设定的三维空间内的虚拟用户位置而改变热图的显示范围。即，如果在距离热图的显示位置远的位置上设定用户位置，则能够显示整体区域的热图。此外，如果使用户位置接近热图的显示位置，则能够将一部分区域的热图放大进行显示。由此，能够对应于用户想要确认的范围而切换并显示热图，从而能够根据用户的意图而容易地确认视听者对三维图像的视听状况。

(第三实施方式)

接下来，根据附图说明本发明的第三实施方式。在第三实施方式中，VR视听系统的整体构成与图1相同。图7是表示安装于服务器装置100中的第三实施方式的热图展示装置的功能结构例的框图。此外，在该图7中，标注与图5所示符号相同的符号的部件是具有相同功能的部件，因此在此省略重复说明。

如图7所示，第三实施方式的热图展示装置具备热图生成部14”来代替图5所示的热图生成部14’。热图生成部14”根据用户位置检测部16所检测出的三维空间内的用户位置与表示三维空间内的热图的虚拟存在位置的映射位置的相对关系，使用生成因子检测部13所检测出的多个生成因子中的任意一个或多个来生成热图。

例如，当用户位置与映射位置的相对距离为阈值以上时，热图生成部14”使用多个生成因子中的任一个、或者由多个生成因子算出的一个函数值来生成热图。在使用多个生成因子中的任一个来生成热图的情况下，预先决定使用被视听者观看的次数、被视听者观看的时间、视听者身体的动作状况中的哪一个来生成热图。此外，在使用由多个生成因子算出的一个函数值来生成热图的情况下，预先设定将多个生成因子用作变量的函数，并使用通过该函数算出的值来生成热图。

此外，当用户位置与映射位置的相对距离小于阈值时，热图生成部14”使用多个生成因子中的任意多个或全部分别作为个别的生成因子来生成热图。例如，当生成用户位置与映射位置的相对距离小于阈值而被从整体区域减缩的范围的热图时，热图生成部14”将三维图像的原来的分割区域分别进一步平面分割为多个小区域，针对各个小区域，确定以多个生成因子中的任意多个或全部作为要素的显示形态，并根据该确定内容生成热图。

图8是表示第三实施方式的热图的生成例的图。图8中(a)表示用户位置与映射位置的相对距离为阈值以上的情况下生成的宽范围的热图，图8中(b)表示用户位置与映射位置的相对距离小于阈值的情况下生成的窄范围的热图。在图8中，范围62的减缩方式可以与使用图6说明的第二实施方式相同。

第三实施方式与第二实施方式的不同之处在于，如图8中(b)所示用户位置与映射位置的相对距离小于阈值的情况下生成的热图的形态。在图8的例子中，热图生成部14”将对三维图像的范围62放大显示后的热图63”的分割区域分别进一步平面分割成三个小区域81、82、83，对于各小区域81、82、83，分别确定以被视听者观看的次数、被视听者观看的时间、视听者身体的动作状况作为要素的显示形态，并根据该确定内容生成热图63”。

例如，在第一小区域81中，将被视听者观看的次数作为热图63”的生成因子，确定根据目视次数而使第一显示色(例如，红色)浓度可变这样的显示形态。此外，在第二小区域82中，将被视听者观看的时间作为热图63”的生成因子，确定根据目视时间而使第二显示色(例如，蓝色)浓度可变这样的显示形态。另外，在第三小区域83中，将视听者身体的动作状况作为热图63”的生成因子，确定根据动作次数而使第三显示色(例如，绿色)浓度可变这样的显示形态。

如此实施的话，在通过使三维空间内的虚拟用户位置接近映射位置而放大显示一部分区域的热图的情况下，能够将放大后的分割区域进一步分割成多个小区域，并从不同的生成因子的角度以不同的形态显示热图。由此，针对视听者对显示于三维空间中的三维图像的视听状况，能够向用户提供分别考虑了多个生成因子的情况下的多元热图，从而能够进一步详细地分析视听者对于三维图像的视听状况。

此外，还可以是：当通过热图显示控制部15显示了基于对每一个小区域81～83确定的显示形态的热图时，在用户位置进一步靠近映射位置且用户位置与映射位置的相对距离变为零时，热图生成部14”仅使用与此时用户位置所存在的小区域相对应的生成因子，生成设为用户位置位于三维空间上的规定位置(例如，可以设为默认位置，但不限于此)时的热图。

图9是表示用户位置与映射位置的相对距离变为零时的热图的生成例的图。图9中(a)是表示用户位置与映射位置的相对距离即将变为零之前生成的热图。该情况下，由于用户位置处于映射位置的正前面，因此，与一个分割区域相当的热图被放大显示。即，呈将一个分割区域分割成三个的小区域81～83的热图被显示的状态。

在该状态下，若用户选择小区域81～83中的任一个并进一步接近(进入所选择的小区域中的状态)，则用户位置与映射位置的相对距离变为零。该情况下，如图9中(b)所述，热图生成部14”仅使用与相对距离变为零的用户位置所存在的小区域相对应的生成因子，生成设为用户位置处于三维空间上的默认位置时的整体区域的热图。在图9的例子中，表示进入了将视听者身体的动作状况作为生成因子的第三小区域83的情况，在该情况下，热图生成部14”仅将身体的动作状况作为生成因子而生成整体区域的热图。

如此，当分割成三个小区域并进行显示的三个形态的热图中存在认为用户尤其想观看的生成因子的热图时，只要使虚拟的用户位置接近映射位置，选择与认为想要观看的生成因子相对应的小区域，并使用户位置与映射位置的相对距离为零即可。由此，根据对视听者的视听状况进行分析的用户的希望，仅通过控制虚拟的用户位置，就能够动态地切换为想要关注的生成因子的热图。

此外，在上述第三实施方式中，说明了将一个分割区域进一步分割成三个小区域的例子，但是也可以分割成两个小区域。例如，热图生成部14”对于一个小区域，能够将根据两个生成因子求出的函数值作为生成因子而生成第一热图，并且，对于另一个小区域，能够使用剩余的一个生成因子而生成第二热图。

此外，也可以是：当用户位置与映射位置的相对距离小于阈值时，热图生成部14”使用多个生成因子中的任意多个或全部，分别确定热图的平面上的显示形态以及深度上的显示形态，并根据该确定内容生成热图。例如，能够将一个分割区域分割成两个小区域，对于该两个小区域，分别使用两个生成因子生成第一及第二热图，使用剩余的一个生成因子对任一热图赋予深度。

此外，在上述第三实施方式中，说明了使用三个生成因子的全部并分别作为个别的生成因子针对三个小区域生成热图的例子，但是，也可以是使用三个生成因子中的任意两个分别作为个别的生成因子，生成针对两个小区域的热图。例如，可以对用户位置与映射位置的相对距离设定两个阈值，在从相对距离最大的默认位置接近映射位置而变为小于第一个阈值时生成针对两个小区域的热图，在变为小于第二个阈值时生成针对三个小区域的热图。该情况下，针对两个小区域生成热图而使用的两个生成因子既可以预先确定，也可以由用户任意设定。

此外，在上述第一～第三实施方式中，作为视听者身体的动作信息，对使用传感器检测出的头、手、脚的动作相关的信息的例子进行了说明，但本发明不限于此。例如，也可以检测躯体的动作并作为动作信息进行使用。或者，也可以通过传感器检测心率、脉率，将此作为视听者身体的动作信息进行使用。此外，也可以检测对显示于三维图像内的用户界面进行的用户操作，将用户对于该用户界面的操作作为视听者身体的动作信息进行使用。

此外，上述实施方式均只不过是示出了实施本发明时的具体化的一例，并不能据此限定性地解释本发明的技术范围。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种形式实施。