首页> 中国专利> 虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法及计算机程序

虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法及计算机程序

摘要

关于虚拟人物的运动数据,根据系统的状况在一定时间内使数据变稀疏来间歇地进行分发。因此,例如当虚拟人物彼此想要进行击掌时,在粗略的运动数据发送中,无法进行在手触摸之前并不超过的自然的虚拟人物操作。一种虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法、计算机程序,构成为,当想要进行虚拟人物彼此的击掌动作等伴随着接触的动作时,如果虚拟人物接近,则使从服务器向客户终端发送运动数据等虚拟人物的渲染所需要的数据、或者渲染完毕的虚拟人物的数据的发送间隔减小,从而可进行更自然的虚拟人物接触操作。

著录项

  • 公开/公告号CN112424760A

    专利类型发明专利

  • 公开/公告日2021-02-26

    原文格式PDF

  • 申请/专利权人 多玩国株式会社;

    申请/专利号CN201980046970.6

  • 发明设计人 小岛尚;齐藤宽明;岩城进之介;

    申请日2019-10-29

  • 分类号G06F13/00(20060101);G06T19/00(20060101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人金兰

  • 地址 日本东京都

  • 入库时间 2023-06-19 10:00:31

说明书

技术领域

本公开涉及虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法、计算机程序。

背景技术

近年来,经由网络而分发实况内容的服务作为互联网直播而不断普及。提供了如下一种技术,即在这样的互联网直播中,分发者在虚拟空间内作为虚拟角色(虚拟人物)而登场,将其影像作为实况内容而进行分发。在这样的实况内容中,通过动作捕捉技术而分发者的动作被合成为虚拟角色的动作而得的影像被分发。

在下述的专利文献1中公开了一种按照在虚拟空间内正在登场的多个虚拟人物间的距离,来改变虚拟人物的显示方式的结构。具体地,设为,在距离最远的第1阶段中,描绘不进行动画动作而静止的虚拟人物图像,之后在接近了的第2阶段中,虚拟人物仅进行步行动画,在进一步接近了的第3阶段中,虚拟人物进行上半身的手势动作动画,在最接近的第4阶段中,在虚拟人物的面部部分嵌入虚拟人物操作者本人的实拍面部照片,意图在于,在多人数参加的虚拟空间的实况内容分发中,降低需要的传送带域或CPU(中央处理单元)等的负荷来使实现性提高。

此外,在下述的专利文献2中,提出了如下一种结构,即在不是将人物的代理对象而是将波浪的活动描绘为利用了计算机图形学(CG)的虚拟的对象的图像生成系统中,若以波浪的CG描绘对象与同样的岩石的CG描绘对象碰撞而飞沫飞溅的方式进行描绘,则在海岸处岩石、波浪大量存在的状况下,各个波浪对岩石的碰撞判定变得极其繁琐,计算量繁重,实时的飞沫的描绘变得困难,因此,设为不进行具体的波浪与岩石的碰撞的判定,而进行对于岩石所存在的区域整体的波浪的碰撞判定,使系统的计算量降低,其结果,进行具有真实感且没有失败的CG描绘。

现有技术文献

专利文献

专利文献1:日本特开2001-160154号公报

专利文献2:日本特开2002-216165号公报

发明内容

发明要解决的课题

利用互联网直播等来欣赏实况内容的观众近年来不断增加,在这样的实况内容中,直播的观众并不仅仅对内容进行视听欣赏,还出现了观众自身能够使自己的虚拟人物登场到该实况内容中、即实况内容所提供的虚拟空间中来享受。

在这样的能够进行观众虚拟人物的参加的系统中,观众以自己选择出的、或者设计出的外观的虚拟人物而登场到该实况内容中,其结果,被视听该实况内容的其他观众所视觉识别,由此,可获得自己的存在能够吸引人的满足感。此外,能够从观众所投入的观众虚拟人物的视点,对实况内容所提供的虚拟空间内进行观察,因此,增强了身临其境感。此外,观众能够作为虚拟人物在虚拟空间内享受主办该实况内容而进行分发的分发者虚拟人物与或者同样地参加的其他观众的虚拟人物的对话,因此,这也使得对虚拟空间的身临其境感增强。

然而,认为,以虚拟人物的形式在实况内容中登场并参加的观众,从其他观众的角度来视听自己的虚拟人物的外观或活动、或者从自己操作的虚拟人物的视点来观看欣赏实况内容的虚拟空间、或者享受与其他虚拟人物进行对话,除了这样的先前说明的享受方式之外,还希望想要享受:与其他虚拟人物握手、或者享受与其他虚拟人物一起跳舞这样的、伴随着虚拟人物彼此的接触的行动。

作为这样的伴随着虚拟人物彼此的接触的行动,除了先前列举的握手、跳舞等之外,还可以列举击掌(较高地举起手掌而与他人的手掌匹配的动作的日式英语。将单手匹配的动作在英语表述中称为“high five”,将双手匹配的动作相同地称为“high ten”。)、牵手、相扑、摔跤、拳击、掰手腕等格斗类运动、骑脖子、三足跑、拥抱、拍肩、拉勾、挤香油游戏、手绑恶魔(手つなぎ鬼)等。

特别地,牵手、握手或者击掌是在日常的真实空间中频繁进行的习惯,这些动作可仅通过将手放在一起、或者匹配来简单地进行,因此,预想为,作为在虚拟空间内由虚拟人物彼此进行的动作,今后需求会增加。

另一方面,例如,当进行握手时,双方虚拟人物需要伸出自己的手,与对方虚拟人物的手掌在某程度上精密地进行位置对准。

然而,关于虚拟空间内的各种对象、虚拟人物的描绘,特别是在这些描绘对象物存在活动的情况下,在降低系统的负荷的目的下用于描绘的数据传送速度在大多情况下被抑制,虚拟人物的活动与人在真实空间中感受到的人体的活动相比稀疏(間引かれて),从而间歇地进行描绘。因此,以往,难以提供一种虚拟人物彼此的握手等虚拟人物彼此进行接触的行动不存在不自然的、在操作虚拟人物的立场下操作感良好的、并包含了虚拟人物的描绘的系统。

本发明是鉴于上述状况而做出的,其发明目的在于,提供一种虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法、计算机程序,其用于解决如下课题,即提供在将虚拟空间内的活动作为实况内容进行播放时,使在虚拟空间内登场的虚拟人物彼此进行接触的握手等行动不存在不自然,并在操作虚拟人物的立场下操作感良好的结构。

用于解决课题的手段

为了解决上述课题,本发明提供下述的1)~7)中记载的虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法、计算机程序。

1)

一种虚拟空间中的虚拟人物显示系统,经由通信线路而连接的多个终端的利用者对三维虚拟空间进行共享,在该三维虚拟空间中使象征各个利用者的虚拟人物出现,并将(1)该三维虚拟空间中的各个虚拟人物的位置或方向信息、或者(2)该三维虚拟空间中的各个虚拟人物的渲染完毕数据从分发部分发给多个终端的每一个,由此在多个终端各自的显示画面中实现各虚拟人物的计算机图形动画显示,其特征在于,

所述虚拟人物显示系统还具备距离信息生成部,该距离信息生成部生成在三维虚拟空间内各个虚拟人物的相互的距离信息,并且,该系统所具有的控制部被构成为,按照被生成的相互的距离信息,使分发部所进行的分发的每单位时间的信息量发生变动。

2)

根据1)中记载的虚拟空间中的虚拟人物显示系统,其特征在于,多个终端的至少任意一个具备选择用于生成相互的距离信息的对象的虚拟人物的选择部。

3)

根据1)或2)中记载的虚拟空间中的虚拟人物显示系统,其特征在于,控制部进行控制,使得在所生成的虚拟人物相互的距离低于预先决定的阈值的情况下,使分发的每单位时间的信息量增加。

4)

一种虚拟空间中的虚拟人物显示方法,经由通信线路而连接的多个终端的利用者对三维虚拟空间进行共享,在该三维虚拟空间中使象征各个利用者的虚拟人物出现,并且,具备分发部将(1)该三维虚拟空间中的各个虚拟人物的位置或方向信息、或者(2)该三维虚拟空间中的各个虚拟人物的渲染完毕数据分发给多个终端的每一个的分发步骤,由此,在多个终端各自的显示画面中实现各个虚拟人物的计算机图形动画显示,其特征在于,

所述虚拟人物显示方法还具备:距离信息生成部生成在三维虚拟空间内各个虚拟人物相互的距离信息的步骤,并且,该系统所具有的控制部被构成为,按照生成的相互的距离信息,使在分发步骤中执行的分发的每单位时间的信息量发生变动。

5)

根据4)中记载的虚拟空间中的虚拟人物显示方法,其特征在于,具备:多个终端的至少任意一个所具备的选择部选择用于生成相互的距离信息的对象的虚拟人物的步骤。

6)

根据4)或者5)中记载的虚拟空间中的虚拟人物显示方法,其特征在于,控制部进行控制,使得在所生成的虚拟人物相互的距离低于预先决定的阈值的情况下,使分发的每单位时间的信息量增加。

7)

一种计算机程序,使计算机执行4)至6)的任一项中记载的虚拟空间中的虚拟人物显示方法所具备的各步骤。

附图说明

图1是本发明所涉及的内容分发接收系统的结构示意图。

图2是概略地表示图1的内容分发接收系统所具有的内容分发服务器的一结构例的框图。

图3是概略地表示图1的内容分发接收系统所具有的分发者终端的一结构例的框图。

图4是概略地表示图1的内容分发接收系统所具有的第1观众终端的一结构例的框图。

图5是图4的第1观众终端的外观示意图。

图6是关于本发明的内容分发接收系统所执行的直播内容视听的一例的顺序图。

图7是本发明的内容分发接收系统所分发的虚拟空间的示意图。

图8是本发明的内容分发接收系统所分发的、虚拟空间的分发影像的示意图。

图9在本发明的内容分发接收系统中使用的虚拟人物渲染用数据的示意图。

图10是用于说明本发明的内容分发接收系统中的、观众虚拟人物参加到直播中的内容中时的动作的一例的顺序图。

图11是本发明的内容分发接收系统所分发的、添加了观众虚拟人物的虚拟区间的示意图。

图12是本发明的内容分发接收系统所分发的、从各视点观察图11的虚拟空间而得的分发影像的示意图。

图13是在本发明的内容分发接收系统中使用的、虚拟人物彼此接触的行动(action)的示例的示意图。

图14是关于虚拟人物彼此进行握手的情况下的细节,将现有技术与本发明进行比较的说明图。

图15是说明本发明的内容分发接收系统所执行的、虚拟人物彼此进行握手的情况下的细节的说明图。

图16是说明图15图示的握手的动作的流程图。

图17是表示本发明的内容分发接收系统中的、各种显示方式的示意图。

具体实施方式

以下,对本公开所涉及的实施方式进行说明。另外,以下所说明的本实施方式分别不过是例示,在不脱离本发明的主旨的范围内能够进行各种变形,这些也是本发明所包含的。

〔内容分发接收系统1的结构〕

图1是示意性表示本发明所涉及的内容分发接收系统1的结构的图。

内容分发接收系统1包含内容分发服务器2、分发者终端11、第1观众终端12、第2观众终端22而构成,这些各结构通过互联网通信网3或者其他的通信网以能够相互进行数据交换的方式而连接。内容分发服务器2是被构成为供通用的计算机利用本系统1专用的计算机程序而进行动作的服务器。

分发者终端11是在使用了后文进行说明的虚拟空间30的实况内容的分发即互联网直播中使用的、主办该实况内容的分发者所使用的、例如个人计算机。第1观众终端12是以上述实况内容作为直播来进行视听的观众所使用的、例如个人计算机,或者还可以使用智能手机、PDA(个人数字助理)等各种信息终端来实现。

第2观众终端22是将上述实况内容以重放内容或者互联网直播的形式来进行视听的观众所使用的、例如个人计算机,或者还可以使用智能手机、PDA(个人数字助理)等各种信息终端来实现,这一点也是相同的。

另外,图1图示的结构以及上述的说明为了使说明简洁明了,将构成的终端等的数量限制为在说明中提及的范围,然而,当然,在实施本发明时,能够包含更多数量的观众终端来构成。

〔内容分发服务器2的结构〕

图2是概略地表示图1的内容分发接收系统所具有的内容分发服务器的一结构例的框图。

如图2所图示的那样,内容分发服务器2具有:服务器内外的数据发送端即输入输出接口2a;以及具备进行各服务器2构成的动作的控制统管的CPU(中央处理单元)的控制部2b。

相同的服务器2所具有的内容信息存储部2c记录有:正在进行或者今后要进行互联网直播的内容(节目)的信息;对内容进行分发的分发者的信息;关于该内容接受了或者拒绝了来自外部的虚拟人物的参加的信息;或者在仅允许来自特定的观众的虚拟人物参加的情况下该特定观众的信息等。

内容分发部2d将从分发者终端11发送的实况内容,向请求了视听的各终端发送以供视听。程序存储部2f存储有用于实现该服务器2的各执行动作的程序等。

用户管理部2g将对先前说明了的各实况内容进行主办的分发者所使用的分发者终端、对该实况内容进行视听而进行了内容的视听、改变或追加的观众所使用的观众终端、等的信息,作为IP(互联网协议)地址、动态图像分发服务的账户信息等数据来保持,由此,使用该用户管理部2g所存储的信息,将某实况内容向哪个终端发送供给等作为数据来存储。

总线2i能够将这些服务器2的各结构间以能够相互进行数据交换的方式而连接。

〔分发者终端11的结构〕

图3是图1的内容分发接收系统所具有的分发者终端的框图。

如图3所示那样,分发者终端11首先具有:终端内外的信息输入输出端即输入输出接口11a;以及具备进行终端11的各结构的控制统管的CPU(中央处理单元)的控制部11b。

为了供分发者使自己的虚拟的分身即虚拟人物登场到虚拟空间内来进行所期望的动作,首先,作为先前进行了说明的、虚拟对象的规格数据之一即虚拟人物的规格数据,虚拟人物的外观数据、虚拟人物的声音角色数据、虚拟人物的效果音的数据、虚拟人物的音乐数据等被存储于该分发者终端11的数据存储部11i中,虚拟人物操作部11c使用操作者即分发者等的身体所附带的加速度传感器、或者利用3D相机拍摄自己的活动而得的数据、或利用多普勒传感器感测自己的身体各部位的活动而得的数据,取得这些运动数据,并作为先前进行了说明的虚拟对象的运动数据之一即虚拟人物的运动数据来取得。

图9是在本发明的内容分发接收系统中使用的虚拟人物渲染用数据的示意图。

具体地,如图9所示那样,虚拟人物操作部11c自己准备包含了虚拟对象的规格数据之一即虚拟人物的外观数据9-1的规格数据,或者从系统所准备并提供的选择中进行选择,或者指定在网络上配置的外观数据或者规格数据的URL(统一资源定位符)等来进行决定。

然后,作为感测分发者自身的身体各部位的活动而得的结果即运动数据9-2,如图9的(B)所示那样,将身体各部位设为节9-2a,来获得其位置信息、活动的信息。还可以构成为,进一步生成将节9-2a相连的枝9-2b的信息,来使节9-2a彼此的关系明确化。另外,所谓的虚拟对象的规格数据之一即虚拟人物的规格数据,例如在由男性操作具有年轻女性的外观的虚拟人物的情况下,是指用于将男性发出的声音进行声音变换而成为年轻女性的声音的、声音的频率特性数据(声音角色数据)、虚拟人物活动时的特有的效果音、虚拟人物出现时表征性地在背景流出的音乐数据等,当然还可以包含其他的数据。

相同地,关于虚拟人物以外的虚拟对象(还称为虚拟项目、假想项目、虚拟对象等),可以除了其外观数据之外还在项目发生的情况下附加声音角色数据作为规格数据,同样地还可以将效果音数据或音乐数据作为规格数据附加给各个虚拟对象。以上这一点,对于在本系统1中使用的包含了虚拟人物的各种虚拟对象是共通的。

渲染部11e是使用从终端11的外部被发送的、或者在终端11内部存储的虚拟对象的规格数据、以及虚拟对象的运动数据,对这些虚拟对象进行渲染(描绘)的结构,从服务器2接收与从当前终端11分发中的实况内容的虚拟对象相关的数据,并用于对内容(content)的具体内容实时进行确认的监视等。

为此,渲染部11e使用以上示出的包含虚拟人物的外观数据9-1的虚拟人物的规格数据与运动数据9-2、如之后说明的那样被投放到三维虚拟空间内的虚拟对象的规格数据与运动数据、三维虚拟空间的背景图像或放置于虚拟空间内的虚拟对象的规格数据及运动数据,进行用于使虚拟空间可视化的描绘(渲染),所得到的、包含所内含的虚拟对象的虚拟空间的影像被显示于分发者终端11的显示部11f。

如先前说明的那样,例如关于对虚拟人物的渲染,如图9的(C)所示那样,针对虚拟对象的规格数据之一即虚拟人物外观数据9-1,将其各部位的位置或活动从运动数据9-2取得,生成用于表示当前的虚拟人物的位置或活动的虚拟人物的渲染用数据9-3。

另外,能够使用不是动画数据而是静态图像数据即虚拟人物的外观数据9-1、以及构成虚拟人物的运动数据9-2的节9-2a或枝9-2b的数据来进行渲染,因此,外观数据9-1是静态图像数据因而数据容量小,节9-2a或枝9-2b的数据不是图像数据而是有限数量的点的坐标数据或者运动矢量数据,因此,其数据的容量也小,其结果,能够使数据的发送、接收、存储或渲染所需要的传送路径、硬件的负担极小。

此外,如果将虚拟人物的外观数据9-1、或规格数据利用URL(统一资源定位符)指定为WEB上的数据的保存目的地,而不是原始数据(具体的原数据)本身,则能够以更小的字符串数据来进行发送或存储。这些有利的方面与由系统的哪个结构来对这些外观数据、规格数据或运动数据进行生成、传送、存储、渲染无关地,实现同样的效果,并不限于人的虚拟人物,在想要对虚拟对象进行渲染时也具有共通的效果。

另外,还可以设为,在不仅包含外观并且包含声音来进行虚拟人物的显示(在本说明书中,设为将“显示”用于不仅包含图像的显示,还包含使用了扬声器、振子等的声音、效果音等的显示的意思)的情况下,将虚拟人物发出的声音的信息、以及声音的角色信息包含在系统1所发送接收或者存储的数据的对象中。

例如,如先前说明的那样,在虚拟人物具有年轻女性的外观和角色且操作该虚拟人物的分发者等是男性的情况下,首先,存储男性的原始的发声,对存储的男性的声音进行声音变换以作为年轻女性的发声而用于虚拟人物的显示。设为,在该声音变换中使用的发声的角色信息(年轻女性角色的发声的频谱等)连同分发者等对虚拟人物进行操作的人的发声信息一起,被存储于虚拟人物外观信息中、或者其他信息中,这一点是有效的。相同地,当将虚拟对象追加到实况内容中时,可以追加效果音(爆炸音、碰撞音、飞翔音、拟声音等)、或者音乐,还可以将这些效果音数据、音乐数据也设为系统1所发送接收或存储的对象的数据。此外,它们还被追加到虚拟人物规格数据或者其他数据中。另外,在规格数据中还可以包含与振动相关的数据,该情况下,例如还可以设为使对虚拟人物进行操作的控制器(附属了按钮等的操作工具)进行振动,这一点在系统1的各部位、各方面中也是相同的。

显示部11f是供分发者自身对实况内容进行视听、或者为了供当前分发者对分发中的实况内容的具体内容进行确认而对渲染图像进行监视、或者为了进行各种操作而进行画面显示的结构,利用个人计算机的显示面板、在面部佩戴的护目镜型的HMD(头戴式显示器)等而实现。操作部11g由分发者用于各种动作的操作,因此,例如可以是个人计算机的键盘、鼠标、触摸面板,或者还可以是利用操作者的运动数据进行操作的设备。程序存储部11h存储有实况内容的分发或视听所需要的计算机程序,还可以包含通用的计算机操作系统(OS)、互联网阅览程序(浏览器)等。数据存储部11i存储在实况内容中使用的虚拟空间的背景的数据、虚拟数据的规格数据、运动数据等。

评论投稿部11k是用于将字符信息即评论投稿到服务器2的结构,所述字符信息在实况内容的显示画面上覆盖地进行显示,或者,在虚拟空间30内的虚拟对象的表面上进行显示或如具有大的字符形状的对象那样其自身作为独立的虚拟对象来显示。总线11m将分发者终端11的各结构以能够相互交换数据的方式而连接。

第1观众终端12与第2观众终端22具有共通的结构,在以下,以第1观众终端12为示例进行说明。

〔第1观众终端12的结构〕

图4是概略性地表示图1的内容分发接收系统所具有的第1观众终端的一结构例的框图。

如图4所图示的那样,第1观众终端12具有:终端12内外的数据发送接收端即输入输出接口12a;以及具备进行终端12各部位的控制统管的CPU(中央处理单元)的控制部12b。

作为先前说明了的、虚拟对象的规格数据之一即虚拟人物的规格数据,虚拟人物的外观数据、虚拟人物的声音角色数据、虚拟人物的效果音的数据、虚拟人物的音乐数据等被存储于数据存储部12i中。为了供操作者即观众等使自己的虚拟的分身即虚拟人物登场到虚拟空间内来进行所期望的动作,虚拟人物操作部12c使用自己的身体所附带的加速度传感器、或者利用3D相机拍摄自己的活动而得的数据或利用多普勒传感器感测自己的身体各部位的活动而得的数据,取得这些运动数据,直接地或者作为渲染过的图像信息而发送给服务器2。

如先前说明的那样,若引用图9,则虚拟人物操作部12c自己准备包含了虚拟数据的规格数据之一即虚拟人物的外观数据9-1的虚拟人物的规格数据,或者从系统所准备而提供的选择中进行选择,或者指定在网络上配置的包含外观数据的规格数据的URL(统一资源定位符)等来进行决定。然后,作为感测身体各部位的活动而得的结果即运动数据9-2,如图9的(B)所示那样,将身体各部位设为节9-2a而获得其位置信息、活动的信息。还可以构成为,进一步生成将节9-2a相连的枝9-2b的信息,来使节9-2a彼此的关系明确化。

另外,还可以设为,在不仅包含外观并且包含声音来进行虚拟人物的显示(在本说明书中,设为将“显示”用于不仅包含图像的显示,还包含使用了扬声器、振子等的声音、效果音等的显示的意思)的情况下,将虚拟人物发出的声音的信息、以及声音的角色信息,并包含虚拟人物的外观数据,作为虚拟人物的规格数据而包含在系统1所发送接收或者存储的数据的对象中。

例如,在虚拟人物具有年轻女性的外观和角色且操作该虚拟人物的分发者等是男性的情况下,首先,存储男性的原始的发声,对存储的男性的声音进行声音变换,作为年轻女性的发声而用于虚拟人物的显示。设为,在该声音变换中使用的发声的角色信息(年轻女性角色的发声的频谱等)连同观众等对虚拟人物进行操作的人的发声信息一起,包含在结合了虚拟人物的外观信息的虚拟人物规格信息中,这一点是有效的。相同地,当将虚拟对象追加到实况内容中时,可以追加效果音(爆炸音、碰撞音、飞翔音、拟声音等)、或者音乐,还可以将这些效果音数据、音乐数据也设为系统1所发送接收或存储的对象的数据。此外,它们还连同外观信息或者其他数据一起,被追加到虚拟人物的规格数据中。

为了供观众使自己的虚拟人物登场到自己正在视听的实况内容中,项目投稿部12e被用于将包含虚拟人物的外观数据的虚拟对象的规格数据、或先前说明了的虚拟对象的运动数据向服务器2投稿,或者,向自己正在进行重放视听的实况内容中投稿新的虚拟对象。

显示部12f是为了供观众自身对实况内容进行视听或者进行各种操作,而进行画面显示的结构,并利用个人计算机的显示面板、在面部佩戴的护目镜型的HMD(头戴式显示器)等而实现。

操作部12g供观众在各种动作的操作中使用,因此,可以是个人计算机的键盘、鼠标、触摸面板,或者还可以是利用操作者的运动数据进行操作的设备。

程序存储部12h存储有实况内容的视听所需要的计算机程序,还可以包含通用的计算机操作系统(OS)、互联网阅览程序(浏览器)等。数据存储部12i存储先前说明了的数据以及其他各种数据。

评论投稿部12k是用于将字符信息即评论投稿到服务器2的结构,所述字符信息在实况内容的显示画面上覆盖、或在虚拟空间30内的虚拟对象的表面上进行显示,或者如巨大的字符状的虚拟对象那样其自身作为独立的虚拟对象来显示。总线12m将观众终端12的各结构以能够相互交换数据的方式而连接。

图5是图4的第1观众终端的外观示意图。

图5作为一例示意性示出了利用个人计算机实现第1观众终端12的情况下的外观,显示各种影像、静止图像、动态图像或字符信息的显示面板12-1,在观众为了利用本系统1的服务而输入预先已知的URL(统一资源定位符)来连接到服务器2时,从服务器2被发送必要的数据和脚本(JavaScript(注册商标))程序,并显示动画分发服务的门户画面(未图示)

观众预先从显示列表(未图示)选择自己想要作为互联网直播而视听的实况内容,图5中表示显示了观众预先选择出的实况内容的状况。

在图5中,在显示面板12-1内存在用于显示实况内容动画的动画显示区域12-1a,在这里,显示有该实况内容的分发者即分发者的虚拟人物12-1b、在该实况内容所使用的虚拟空间中配置的虚拟对象即树木12-1n、房屋12-1o。

此外,进一步地,在显示面板12-1内显示有从对内容进行视听的观众投稿的评论12-1r,“上翻,谢谢!!”这样的内容的评论12-1r从显示面板12-1的右端出现并滚动移动到左端而消失。显示评论12-1r的范围被设定得比显示实况内容动画的动画显示区域12-1a大,并从其伸出,因此,观众能够清楚地理解这些评论12-r并不是内容的原始内容,而是从与内容的分发者不同的投稿者所投稿的。

同样地,在显示面板12-1内分别显示有:用于返回到动画分发服务的门户(入口)页面(未图示)的主页按钮显示12-1e、在所视听的内容不是直播而是重放内容的情况下所使用的停止按钮显示12-1f、暂停按钮显示12-1g、以及重放按钮显示12-1h。

在该终端12是观众终端的情况下,显示面板12-1内的评论投稿按钮显示12-1i是用于对观众正在视听的内容投稿先前说明了的评论的按钮。

关于搜索条显示12-1k,在内容是重放内容的情况下,使重放开始时刻与左端对应,使重放结束时刻与右端对应,搜索按钮显示12-1m的位置表示当前的重放时刻,并能够利用鼠标指针12-3使该搜索按钮显示12-1m的位置活动而向想要重放的时刻移动。作为先前说明了的操作部12g,存在鼠标指针12-3、鼠标光标12-2,观众终端12还具备有键盘12-4。

〔直播中的内容视听〕

接下来,分别使用图6的顺序图、图7的虚拟空间示意图、图8的从各视点观察到的渲染结果的图,说明直到从分发者终端11投稿并被分发的互联网直播即实况内容通过第1观众终端12而被视听为止的动作。

图6是关于本发明的内容分发接收系统所执行的、直播内容视听的一例的顺序图。

图7是本发明的内容分发接收系统所分发的虚拟空间的示意图。

图8是本发明的内容分发接收系统所分发的、虚拟空间的分发影像的示意图。

想要主办并分发实况内容的分发者使用分发者终端11向服务器2进行内容分发的申请(步骤S101)。若服务器2许可分发,则许可的主旨从服务器2被通知给第1分发者终端11(步骤S102),服务器2将作为能够视听的内容的该实况内容在分发服务网站的适当的页面作为列表而进行公示,或者将列表分发给登录中的各观众终端(步骤S103)。

由于分发被许可,因此,第1分发者终端11作为互联网直播用实况内容,将图7所示的虚拟空间30内的各虚拟对象即分发者的虚拟人物显示12-1b、和与其他的虚拟对象相关的规格的数据、以及运动数据,向服务器2发送(S104)。

如先前说明的那样,分发者生成运动数据来控制虚拟人物12-1b的动作,因此,在虚拟空间30内虚拟人物12-1b能够进行如下动作,即移动、或者改变朝向、或者活动手或脚、或者改变姿势等。

同样地,如先前说明的那样,还可以设为,在不仅包括包含了虚拟人物的虚拟对象的外观并且包括声音来进行显示(在本说明书中,设为将“显示”用于不仅包含图像的显示,还包含使用了扬声器、振子等的声音、效果音等的显示的意思。)的情况下,将包含了虚拟人物的虚拟对象所发出的声音的信息、以及声音的角色信息作为虚拟对象的规格信息,包含于系统1所发送接收或者存储的数据的对象中。

在虚拟空间30内配置的虚拟相机32不一定需要如图示那样放置在中央,设置场所是任意的,可以移动,还可以设置多个。此外,还可以从实况内容的过程中进行这些虚拟相机的追加或削除、移动。这些虚拟相机的运用在本说明书的其他部位也是共通的,然而在以下的说明中,为了避免繁杂,设为限于各虚拟空间仅一个虚拟相机的示例。

通过列表获知了播放中的该实况内容的存在的观众,从第1观众终端12向服务器2申请互联网直播即该实况内容的视听(步骤S105),其结果,从服务器2向第1观众终端12发送包含分发者的虚拟人物12-1b的运动数据9-2或虚拟人物的外观数据9-1的、位于虚拟空间30内的虚拟对象的规格的数据以及运动数据(步骤S106),由第1观众终端12来进行渲染(描绘)。

将渲染的结果例示为图8的(A)(从虚拟相机32的视点观察到的图像)和图8的(B)(从分发者虚拟人物12-1b的视点观察到的图像)。

此外,关于分发者终端11所分发的实况内容,并不限于第1观众终端12,此外利用包含了第2观众终端22的本动画分发系统的其他利用者也能够进行申请来进行试听。

〔向直播中的实况内容的观众虚拟人物追加〕

接下来,使用图10至图12,说明在第1观众终端12正在视听由分发者终端11先前在互联网直播中的实况内容的状态下,使用第1观众终端12的观众使自己的分身即虚拟人物100参加到该实况内容中的动作。

图10是用于说明本发明的内容分发接收系统中的、观众虚拟人物参加到直播中的内容中时的动作的一例的顺序图。

图11是本发明的内容分发接收系统所分发的、添加了观众虚拟人物的虚拟区间的示意图。

图12是本发明的内容分发接收系统所分发的、从各视点观察图11的虚拟空间而得的分发影像的示意图。

首先,由第1观众终端12向服务器2进行虚拟人物参加的申请(步骤S201)。

受理到申请的服务器2通过以下若干方法的任意一个或者其他方法,判断该观众的虚拟人物100是否需要参加。

第1方法是将该观众的信息(例如网名)等向分发者终端11发送,来请求分发者的判断的方法(步骤S202)。在分发者承诺的情况下,通过分发者终端11的操作,承诺的主旨的信息被发送给服务器2,进一步被发送给观众终端12(步骤S203、S204)。

第2方法是如下方法,即分发者预先认可任何人都可以对该实况内容进行虚拟人物参加,或者在播放时刻之内设定从何时到何时来作为任何人都能够进行虚拟人物参加的时间。这些分发者的意向被预先从分发者终端11发送给内容分发服务器2并注册,因此,关于针对来自观众终端11的虚拟人物参加申请的可否,服务器2进行判断并将判断结果发送给观众终端11。

第3方法是分发者预先认可仅来自特定的观众的虚拟人物参加的方法。该情况下,分发者所承诺的观众的信息也作为网名、登录账户、IP地址等信息而被预先从分发者终端11发送给服务器2并注册,因此,关于针对来自观众终端11的虚拟人物参加申请的可否,服务器2进行判断并将判断结果发送给观众终端11。

如先前说明的那样,观众还能够仅对发送的直播的实况内容进行视听,然而,例如如果是舞蹈场景,则自己也以虚拟人物的形式参加到实况中,有时会感觉到还想要通过与已经参加到实况中的各虚拟人物的操作者一起跳舞来获得连带感,也有时会认为想要将自己的虚拟人物投入到实况内容中并从自己决定的所期望的视点来对实况内容进行重新视听。

因此,观众在为了一边对直播的实况内容进行视听,一边将自己的虚拟人物100新投入到实况内容中,向服务器2申请并利用以上记载的任意一个方法被承诺的情况下,将必要的数据即虚拟人物的外观信息、以及运动数据等发送给服务器2(步骤S205)。

接受其的服务器2开始将从观众终端21接收到的观众虚拟人物100的外观数据或运动数据等,发送给正在分发该实况内容的分发者终端11(步骤S206),之后,通过先前说明的顺序,分发者终端11通过在虚拟空间内包含了观众虚拟人物100的内容,生成直播中的实况内容的数据(包含了虚拟人物的各虚拟对象的外观数据、运动数据等),作为之后的实况内容发送给服务器2(步骤S207),服务器2向包含观众终端11的、正在视听该实况内容的各终端,分发观众虚拟人物100所正在参加的实况内容(步骤S208)。图11是观众虚拟人物100正在参加的虚拟空间的示意图,图12示出了观众虚拟人物100、虚拟相机32、分发者虚拟人物12-1b这样的、从各视点观察该虚拟空间30时的分发影像。

〔针对虚拟人物彼此进行接触的行动的应对〕

如先前说明的那样,认为,以虚拟人物的形式在实况内容中登场并参加的观众从其他观众的角度来视听自己的虚拟人物的外观或活动、从虚拟人物的视点来观看欣赏实况内容的虚拟空间、或者享受与其他虚拟人物进行对话,除了这样的先前说明的享受方式之外,还希望想要享受:与其他虚拟人物握手、或者享受与其他虚拟人物一起跳舞这样的、伴随着虚拟人物彼此的接触的行动。另外,在本实施方式中例示了,当在分发者所分发的虚拟空间中,正在视听该分发内容的观众投入了自己的虚拟人物100的情况下,实现虚拟人物彼此的接触行动,然而,并不限于这样的分发者虚拟人物、观众虚拟人物间的接触,在所有种类的虚拟人物间的接触行动中均能够实施本发明。这一点在今后也是同样的,并不设为会一一拒绝。

作为这样的伴随着虚拟人物彼此的接触的行动,除了先前列举的握手、跳舞等之外,还可以列举击掌(较高地举起手掌而与他人的手掌匹配的动作的日式英语。将单手匹配的动作在英语表述中称为“high five”,将双手匹配的动作相同地称为“high ten”。)、牵手、相扑、摔跤、拳击、掰手腕等格斗类运动、骑脖子、三足跑、拥抱、拍肩、拉勾、挤香油游戏、手绑恶魔(手つなぎ鬼)等。

图13是在本发明的内容分发接收系统中使用的、虚拟人物彼此接触的行动的示例的示意图。

图13的(A)中示出了分发者虚拟人物12-1b与观众虚拟人物100进行握手的场面的示意图,相同地,图13的(B)中示出了二者进行单手的击掌的场面的示意图,然而,在任意一个场面中,双方虚拟人物均进行如下动作:使手100-h、12-1b-h相互接触而交叉或者鼓掌,之后分离等。

特别地,牵手、握手或者击掌是在日常的真实空间中频繁进行的习惯,这些动作可仅通过将手放在一起、或者匹配来简单地进行,因此,预想为,作为在虚拟空间内由虚拟人物彼此进行的动作,今后需求会增加。例如,当进行握手时,双方虚拟人物需要伸出自己的手,与对方虚拟人物的手掌在某程度上精密地进行位置对准。

然而,以往,关于虚拟空间内的各种对象、虚拟人物的描绘,特别是在存在活动的情况下,在降低系统的负荷的目的下用于描绘的数据传送速度被抑制,虚拟人物的活动与人在真实空间中感受到的人体的活动相比稀疏,并间歇地进行描绘。因此,以往,难以提供一种虚拟人物彼此的握手等虚拟人物彼此进行接触的行动不存在不自然,在操作虚拟人物的立场下操作感良好,并包含了虚拟人物的描绘的系统。

图14是关于虚拟人物彼此进行握手的情况下的细节,将现有技术与本发明进行了比较的说明图。图14是将作为虚拟人物彼此的行动而进行握手的情况下的动作的时间推移,在现有技术与本实施方式中进行比较来说明的图。

图14的上下方向表示时间的推移,从最上部的0开始、时刻T1、T2、以下直到T6为止,通过时间间隔t来记载刻度。在现有技术和本实施方式中均表示了,进行握手的当事人即观众虚拟人物的手100-h、和分发者虚拟人物的手12-1b-h随着时刻的推移而接近的情况。

在本实施方式中,按照时间间隔t,在每个时刻,手100-h、12-1b-h作为其渲染结果而以第2移动量m2向对方移动,并最终在时刻T5进行握手。

另一方面,在现有技术中,用于对各虚拟人物进行描绘的数据的发送速率(各单位时间的每个单位时间的发送数据量)设为本实施方式的大致1/3,其结果,关于由时间间隔t划分的时刻的3个时刻,手100-h、12-1b-h在相同位置被渲染。之后,以第2移动量m2的大致3倍的移动量即第1移动量而前进,来进行手100-h、12-1b-h的渲染,之后,进行重复。

因此,在现有技术中,被渲染的手100-h、12-1b-h的活动粗犷,即时间上的粒度变大,在时刻T5,双方的手100-h、12-1b-h并未到达应当进行握手的位置,而在接着的单位时刻T6超过了应当进行握手的位置。

图14图示的说明以观众或分发者以等速度进行操作来制作应当使手活动的运动数据作为前提,当然,观众或分发者能够一边观看实况内容的显示,一边改变使手活动的操作的速度而将运动数据设为不同的值,然而,即使如此,在现有技术结构中,与本实施方式相比虚拟人物渲染的时间上的粒度粗大,因而操作性低下,活动也更不自然。

图15是说明本发明的内容分发接收系统所执行的、虚拟人物彼此进行握手的情况下的细节的说明图。

图16是说明图15图示的握手的动作的流程图。

图15是对本实施方式中用于进行握手的动作,从双方的手100-h、12-1b-h位于分离的位置时起直到进行握手的位置为止随着时刻推移来说明的图,连同相关的流程图图16一起,对详情进行说明。

另外,关于这里说明的本实施方式的特征性的控制,可以由在分发者终端11、观众终端21、或者服务器2的任意一个中具备的控制部单独地或者与其他协作地进行,然而,在以下的说明中设为由分发者终端11的控制部来进行执行。

由于预先决定有应当进行用于进行握手的动作的特别的控制的、双方的手100-h、12-1b-h的距离的阈值D,因此,分发者终端11首先从分发者终端11的存储器读出(步骤S301)。阈值例如设为与真实空间中的1米相当的距离。然后,将虚拟人物的渲染用数据的转发速度设为如通常那样的值、即相对较低的值即LOW(步骤S302)。

接下来,将应当进行握手的手确定为分发者虚拟人物的手12-1b-h与观众虚拟人物的手100(S303)。关于确定,可以由想要进行握手的观众通过操作来设定并进行,还可以根据虚拟空间30的状况,在最接近的虚拟人物等的条件下由系统自动地进行。接下来,分发者终端11使用几何学方法来计算被确定出的手的距离,只要计算结果d是阈值D以上,就将数据转发速度保持为LOW(步骤S304,S305)。

在图15中,在从时刻0到T5这样的时间区域p1中,计算出的距离d是阈值D以上,因此,手100-h、12-1b-h的移动渲染在时间上粗大,每隔时间t的3倍,以第3移动量m3进行移动。

然后,若计算值d低于阈值D,则将渲染用数据的转发速度进一步提高,设定成大致3倍的HIGH(步骤S306),其结果,在从时刻T6到T14的时间区域p2中,手100-h、12-1b-h每隔时间t以第3移动量的大致1/3即第4移动量进行移动,能够容易进行相互的接触动作,最终在时刻T14接触并进行握手(步骤S307)。

在本实施方式中,由于如以上那样而构成,因此,当想要进行握手的双方虚拟人物位于分离的位置时,用于虚拟人物的渲染的数据的转发速度(每单位时间的数据转发量)比较小,其结果,对系统的负荷变小。另一方面,当双方虚拟人物接近并靠近直到握手的执行时,使数据转发速度上升从而其渲染不会不自然,并使想要操作虚拟人物来进行握手的操作容易。即,能够兼顾对系统的负荷的降低、和自然的渲染结果及操作的容易性。

〔变形例其1~各结构的配置的任意性〕

在先前的本实施方式的说明中,设为由观众所使用的观众终端等进行视听的用户的终端进行包含各虚拟人物的虚拟的对象的渲染。然而,这样构成的内容对于本发明的实施既不是必须的,也不是本质上的。即,还可以由进行分发的终端、服务器或者其他各种终端来进行该渲染。为了如这样进行渲染,预先将包含了虚拟对象的外观的规格的数据、以及运动数据发送给想要进行渲染的服务器、或者终端或者这双方即可。

〔变形例其2~相关的各种显示方式〕

为了进一步提高以上进行了说明的本实施方式中的本发明的效果,可以设为以下这样的实施方式,也可以将它们适当进行组合。均包含在本发明中。

图17是表示本发明的内容分发接收系统中的各种显示方式的示意图。

(a)系统对接触对象虚拟人物进行推荐···针对观众虚拟人物,系统可以将分发者虚拟人物推荐为握手的对象,或者推荐存在过去曾进行握手的经过的虚拟人物等。图17的(A)在如这样被推荐的虚拟人物即分发者虚拟人物12-1b的上方示出了表示推荐的标识17-1,其结果,对实况内容进行视听的观众能够容易地将分发者虚拟人物12-1b区别于其他虚拟人物17-2来识别。

(b)对象虚拟人物接近的报警···在进行握手的对方虚拟人物由某个方法决定的情况下,在该对象虚拟人物相比于先前说明的阈值D或者其他距离更靠近的情况下,能够显示报警17-3来使观众准备。

(c)通过点击来选择接触对象虚拟人物···在观众终端是智能手机的情况下,如果作为用于供观众来选择进行握手的对方虚拟人物的操作,由指17-4与接触传感器画面接触即点击来进行选择,则操作性良好。在观众终端是个人计算机的情况下,还可以使用鼠标指针或者键盘。

(d)自动地握手···关于握手等与其他虚拟人物进行接触的行动,由于在最终阶段使彼此的身体接触因而需要细微的操作,如果与在真实空间中的握手相比,则用于使虚拟人物活动的运动数据制作操作的操作性并不良好。因此,还考虑为,在握手的最终阶段,操作者并不进行操作,而由系统自动使其移动到双方的手匹配的位置,或者使双方虚拟人物均移动。

〔变形例其3~在直播以外的内容中的活用〕

在以上的各实施方式中,以如下为前提进行了说明,即在直播中的实况内容中双方虚拟人物通过操作者而被操作。另一方面,提出了如下一种系统,即将直播的虚拟的空间内容稍后进行重放,或者在重放专用的实况内容中之后作为虚拟人物参加到内容中。该情况下,虽然只是一方虚拟人物的操作,然而能够进行握手,因此,能够将先前说明的本发明的结构直接应用。

〔变形例其4~按照虚拟人物间的距离的数据分发间隔的增减控制〕

在先前说明的各实施例中说明了如下内容,即在多个虚拟人物彼此接近来进行例如握手这样的动作的情况下,进行按照从远处靠近到附近的距离来减小虚拟人物的渲染用数据的发送时间间隔的控制。

另一方面,还可以设为,在执行握手、或者未进行握手之后这些虚拟人物不断分离的情况下,进行按照距离而使虚拟人物的渲染用数据的发送时间间隔增大的控制。即,按照虚拟人物间的距离,进行使虚拟人物的渲染用数据的发送时间隔变动的控制,换言之,使虚拟人物的渲染用数据的每单位时间的发送量即发送速度变动的控制。通过这样构成,系统的线路负荷下降而不存在数据发送失败,可进行实时性提高了的动画分发。

〔变形例其5~按照未指定的多个虚拟人物相互的距离的控制〕

同样地,在先前的说明中,设为如下结构,即例如想要进行握手这样的行动的虚拟人物被预先决定,或者进行指定并测量被进行该指定等的虚拟人物彼此之间的距离,来进行渲染用数据分发间隔时间的控制。

另一方面,并不限于该结构,例如还可以进行如下控制,即继续测量位于虚拟现实空间内的所有虚拟人物间的距离,在这些间隔的任意一个低于阈值的情况下使数据发送间隔减小,或者在高于阈值的情况下使数据发送间隔增大。

通过如这样构成,具有如下优点,即虚拟人物间的握手有时是无意地(冲动地)发生的,针对这种情况也可以应对,作为各虚拟人物的操作者而言指定为计划接触的虚拟人物的操作上繁杂性可被消除。

另外,在先前说明的各实施例中,为了对虚拟人物进行渲染,作为发送数据量的控制,说明为使发送数据的定时的间隔减小,这一点换言之还能够称为,使每单位时间的数据的发送量增大,相反地,说明为使发送数据的定时的间隔增大这一点,换言之还能够称为使每单位时间的数据的发送量减小。换言之,进行按照虚拟人物间的距离来使虚拟人物的渲染用数据的、每单位时间的发送量即发送速度变动的控制。这一点在各实施例中是共通的。

(发明的效果的说明)

在将虚拟空间设为对象的实况内容中,当想要进行虚拟人物彼此接触的行动即例如握手的双方虚拟人物位于分离的位置时,用于虚拟人物的渲染的数据的转发速度(每单位时间的数据转发量)比较小,其结果,对系统的负荷变小。

另一方面,当双方虚拟人物接近并靠近直到握手的执行时,能够使数据转发速度上升从而其渲染不会不自然,并使想要操作虚拟人物来进行握手的操作容易。即,能够兼顾对系统的负荷的降低、和自然的渲染结果及操作的容易性。

本发明能够由其他各种方式来实施,在不脱离本发明的要旨的范围内能够进行各种省略、置换、变更。这些实施方式或其变形包含在发明的范围或要旨中,同样地,包含在权利要求书记载的发明以及其均等范围中。

符号的说明

1…内容分发接收系统、2…内容分发服务器、2a…输入输出接口、2b…控制部、2c…内容信息存储部、2d…内容分发部、2f…程序存储部、2g…用户管理部、2i…总线、3…互联网通信网、9-1…虚拟人物的外观数据、9-2…虚拟人物的运动数据(动作的数据、动作的信息)、9-2a…运动数据的节、9-2b…运动数据的枝、9-3…虚拟人物的渲染用数据、11…分发者终端、11a…输入输出接口、11b…控制部、11c…虚拟人物操作部、11e…渲染部、11f…显示部、11g…操作部、11h…程序存储部、11i…数据存储部、11k…评论投稿部、11m…总线、12…第1观众终端、12a…输入输出接口、12b…控制部、12c…虚拟人物操作部、12e…项目投稿部、12f…显示部、12g…操作部、12h…程序存储部、12i…数据存储部、12k…评论投稿部、12m…总线、12-1…显示面板、12-1a…动画显示区域、12-1b…第1分发者的虚拟人物、12-1c…第1观众的虚拟人物、12-1d…色带型虚拟对象、12-1e…主页按钮显示、12-1f…停止按钮显示、12-1g…暂停按钮显示、12-1h…重放按钮显示、12-1i…评论投稿按钮显示、12-1k…搜索条显示、12-1m…搜索按钮显示、12-1n…树木、12-1o…房屋、12-1r…评论、12-2…鼠标光标、12-3…鼠标指针、12-4…键盘、22…第2观众终端、30…虚拟空间、31…背景、32…虚拟相机、100…观众虚拟人物。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号