首页> 中国专利> 信息表现系统,信息表现设备,信息表现方法

信息表现系统,信息表现设备,信息表现方法

摘要

公开一种信息表现系统,所述信息表现系统包括可移动的显示多个对象的图像的多个信息表现设备,和输出控制信息表现设备的控制信号的控制设备。每个信息表现设备包括显示单元,移动单元,驱动单元,位置传感器,第一通信单元,和控制单元。控制设备包括对象位置信息获取单元,第二通信单元,和控制单元。信息表现设备的控制单元控制在显示单元上显示控制设备的对象位置信息获取单元已获得其位置信息的对象的图像,并控制根据第一通信单元接收的控制信号驱动所述驱动单元。

著录项

  • 公开/公告号CN101377916A

    专利类型发明专利

  • 公开/公告日2009-03-04

    原文格式PDF

  • 申请/专利权人 索尼株式会社;

    申请/专利号CN200810212453.5

  • 申请日2008-08-29

  • 分类号

  • 代理机构中国国际贸易促进委员会专利商标事务所;

  • 代理人李颖

  • 地址 日本东京

  • 入库时间 2023-12-17 21:36:28

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2014-10-22

    未缴年费专利权终止 IPC(主分类):G09G5/00 授权公告日:20101215 终止日期:20130829 申请日:20080829

    专利权的终止

  • 2010-12-15

    授权

    授权

  • 2009-04-29

    实质审查的生效

    实质审查的生效

  • 2009-03-04

    公开

    公开

说明书

相关申请的交叉引用

本发明包含与在2007年8月30日向日本专利局提交的日本专利申请JP2007-224732相关的主题,其全文引用于此作为参考。

技术领域

本发明涉及能够顺利地再现图像内容中的对象的运动的信息表现系统,信息表现设备,信息表现方法,程序和记录所述程序的记录介质。

背景技术

近年来提出了向用户提供更逼真图像和音频的各种技术,比如高清晰度电视广播、增大的图像显示屏幕的视角和诸如5.1声道环绕之类的多声道音频。

例如,日本未经审查的专利申请公开No.2006-294032公开一种划分并在环绕用户物理排列的多个显示设备上显示被表达成环绕用户的图像数据。

发明内容

由于通过利用这种技术,能够从各种角度向用户表现图像,因此用户能够获得增强的真实感。但是,就在日本未经审查的专利申请公开No.2006-294032中公开的这种技术,以及上面作为背景技术提及的各种技术来说,由于只是利用图像和音频来产生真实感,因此,所能达到的真实感存在一定的限度。

即,在只包括图像和音频的信息中,在图像中出现的对象之间在深度方向和高度方向上的位置关系由图像中对象的大小和音量表达。这意味着仅仅利用上面说明的信息,可能不能逼真地再现对象之间的透视感,这样的对象之间的距离等等。

本发明的实施例意图以增强的真实感再现图像中的对象之间的位置关系。

按照本发明的一个实施例的信息表现设备是可移动的,并且显示多个对象的图像,信息表现设备的数目对应于对象的数目,每个信息表现设备包括显示对象的图像的显示单元,能够沿水平方向和垂直方向移动的移动单元,和驱动移动单元的驱动单元。每个信息表现设备还包括获得信息表现设备的位置信息的位置传感器,获得对象的三维空间位置的对象位置信息获取单元,和根据对象位置信息获取单元获得的对象的位置,计算移动目标位置,并向驱动单元输出用于移动信息表现设备的控制信号的控制单元。控制单元还控制在显示单元上显示对象位置信息获取单元已获得其位置信息的对象的图像。

按照这种方式,可移动的信息表现设备能够根据图像中的对象的三维空间位置,沿水平方向和垂直方向移动。

按照本发明的一个实施例,可移动的信息表现设备能够根据图像中的对象的三维空间位置,沿水平方向和垂直方向移动。于是,能够以增强的真实感向用户再现图像中的对象之间的位置关系。

附图说明

图1是表示按照本发明的一个实施例的信息表现系统的例证配置的方框图;

图2A和2B是表示按照本发明的一个实施例的信息表现设备的例证配置的示图,图2A是前视图,图2B是侧视图;

图3是表示按照本发明的一个实施例,当产生图像内容时的处理的例子的示图;

图4是表示按照本发明的一个实施例,当产生图像内容时的对象位置获取处理的例子的流程图;

图5是用于解释按照本发明的一个实施例,对象位置信息和内容的对应表的例子的示图;

图6是表示按照本发明一个实施例的信息表现处理的例子的流程图;

图7是表示按照本发明的一个实施例的信息表现处理的例子的流程图;

图8A和8B是表示按照本发明的一个实施例,在第三方视点观看图像的例子的示意图;

图9A和9B是表示按照本发明的一个实施例,在用户实质上已变成指定对象的情况下观看图像的例子的示意图;

图10是表示按照本发明的另一实施例,使内容与信息表现设备关联的用户界面的例子的示意图;

图11A-11C是按照本发明的另一实施例,设置信息表现设备的移动目标位置的用户界面的例子的示意图。图11A-11C分别图解说明(1)内容中的时间代码被指定的情况,(2)指定要移动的信息表现设备的情况,和(3)指定移动目标位置的情况。

具体实施方式

下面参考附图说明本发明的优选实施例。在本实施例中,预先利用照相机拾取将由信息表现设备表现的图像内容(下面简称为“内容”),在照相机拾取图像的过程中,同时获得对象的三维空间位置信息。这样的信息表现设备再现按照这种方式获得的图像内容,并被控制成根据在图像拾取过程中获得的对象的位置信息而移动。

作为获得对象的位置信息的方法,使用一种根据由俯视照相机获得的图像信号,计算对象的位置的方法,所述俯视照相机进行对象存在于的整个空间的俯视图像拾取。另外,在信息表现设备表现信息的时候,根据俯视照相机获得的图像信号,获得信息表现设备的位置信息,并根据获得的位置信息,调整信息表现设备的实际位置。注意在本实施例中使用其中根据俯视照相机获得的图像信号,获得对象的三维位置的配置。不过,也可使用利用具有测量功能的照相机,获得对象的三维位置的配置,或者使用GPS(全球定位系统)设备附接在每个单个对象和信息表现设备上,从而信息表现设备能够获得其自身位置的位置信息的配置。

图1表示按照本实施例的信息表现系统的内部配置的一个例子。在图1中,信息表现设备200和控制设备100通过无线网络1连接,以便能够相互通信。尽管图1中只表示了一个信息表现设备200,不过实际上对应于对象的数目提供多个这样的设备。由于在本实施例中假定存在三个对象,因此信息表现设备200的数目为3。

首先说明控制设备100的配置。控制设备100包括对象图像拾取照相机101a、101b、101c,存储单元102,俯视照相机103,对象位置信息获取单元104,控制单元105和通信单元106。

对象图像拾取照相机101a、101b、101c拾取各个不同对象的图像,并把通过图像拾取获得的图像信号输出给存储单元102。存储单元102包括DVD(数字通用光盘)驱动器,HDD(硬盘驱动器)等等,保存由对象图像拾取照相机101a-101c获得的图像信号,还保存由后面说明的对象位置信息获取单元104获得的对象或位置表现设备200的位置信息。注意存储单元102可以是外部存储介质。另外,尽管本实施例被这样构成,从而由对象图像拾取照相机101a-101c获得的图像信号被保存在存储单元102中,不过图像信号也可通过后面说明的通信单元106被直接传给信息表现设备200。

俯视照相机103从俯视对象的高处位置进行图像拾取,并把获得的图像信号输出给对象位置信息获取单元104。不仅当产生内容时,而且当表现内容时,都进行俯视照相机103的图像拾取。在下面的说明中,在生成图像内容期间,由俯视照相机103进行图像拾取的空间对象被称为“图像拾取空间”,在信息表现期间由俯视照相机103进行图像拾取的空间被称为“信息表现空间”。对象位置信息获取单元104从输出自俯视照相机103的图像信号中,获得图像拾取空间中的每个对象的三维位置信息,或者信息表现空间中的每个信息表现设备200的三维位置信息,并把获得的位置信息输出给控制单元105。获得对象或信息表现设备200的三维位置的方法在后面详细说明。

控制单元105包括例如MPU(微处理器),并控制构成控制设备100的各个组件。更具体地说,控制单元105执行产生对应表,并把产生的对应表保存在存储单元102中的处理,所述对应表使从对象位置信息获取单元104输出的对象在每个时间点的三维位置信息与将在每个信息表现设备上表现的内容关联。本实施例的目的在于通过移动显示对象的图像的信息表现设备200,精确地再现每个内容中的对象的三维移动。因此,按照这种方式产生的对应表记录图像中的对象在内容中的每个时间点的三维位置,同时表示相应信息表现设备200的移动目标位置。对应表将在后面详细说明。

控制单元105把对应表保存在存储单元102中,根据信息表现的开始,确定每个信息表现设备200在每个时间点的移动目标位置,把确定的移动目标位置包含在控制信号中,并把控制信号输出给通信单元106。在信息的表现期间,控制单元105产生用于把每个信息表现设备200的移动目标位置和该信息表现设备200的实际位置之间的差值设置为0的控制信号,并把该控制信号输出给通信单元106。

通信单元106把从控制单元105输出的控制信号传给相应的信息表现设备200,另外接收从相应的信息表现设备200传来的该信息表现设备200的位置信息,并向控制单元105输出位置信息。

操作单元107按照用户输入的指令产生指令信号,并把产生的指令信号输出给控制单元105。在本实施例中,存在用户能够观看内容的多种状态,利用操作单元107执行选择这些模式之一的操作。作为用户能够观看内容的状态,提供一种其中观看者从稍微远离多个信息表现设备200的布置位置的预定位置进行观看的模式(即,用户从“第三方”视点观看的模式),和其中用户实质上成为图像中所示的对象之一,自该位置的视点被显示在信息表现设备200上的模式。当选择其中用户实质上成为图像中显示的对象之一,并且这样的视点被显示在信息表现设备200上的模式时,还接收用户希望变成其视点的对象的指定。本说明书中将在后面详细说明相应的模式。

在用户从稍微远离多个信息表现设备200的布置位置的预定位置进行观看的模式下,还存在为用户的观看状态而设的多种类型。这样的类型是其中用户从预定的固定位置观看的类型,和用户在围绕信息表现空间自由移动的时候观看图像的类型。这些类型之间的切换也通过操作单元107的操作来实现。注意不一定向用户提供所有上述观看状态,本发明适用于其中只提供一种模式(类型)的配置。

下面,参考图1说明每个信息表现设备200的内部配置的一个例子。信息表现设备200包括通信单元201,控制单元202,存储单元203,再现处理单元204,显示单元205,驱动单元206a和206b,垂直移动单元207,水平移动单元208,位置传感器209和对象传感器210。

通信单元201接收从控制设备100传来的控制信号,还执行把由后面说明的位置传感器209获得的当前设备(即,该信息表现设备200)的位置信息传给控制设备100的处理。控制单元202包括MPU或类似物,并控制构成信息表现设备200的各个组件。存储单元203包括DVD驱动器,HDD或类似物,并保存将显示在后面说明的显示单元205上的图像内容等等。在本实施例中,由控制设备100的对象图像拾取照相机101a-101c之一拾取的图像被用作图像内容。即,在图像中的每个时间点获得位置信息处的图像内容被保存。注意可以使用其中实时地再现通过通信单元201获得图像内容的配置,这种情况下,不需要提供存储单元203。

再现处理单元204读取保存在存储单元203中的图像内容,并处理所述图像内容以便在显示单元205上显示。显示单元205包括LCD(液晶显示器),并显示从再现处理单元204输出的图像。

驱动单元206a是用于驱动垂直移动单元207的促动器(actuator)。垂直移动单元207包括能够沿垂直方向伸长和缩短的立柱,驱动单元206a包括沿上下方向移动所述立柱的液压缸。驱动单元206b是用于驱动水平移动单元208的促动器。水平移动单元208包括轮子,驱动单元206b具有驱动所述轮子的电动机。注意水平方向的移动可利用带式输送机或类似物实现,水平方向和垂直方向的移动可利用支承整个信息表现设备200的支臂来实现。

借助轮子形成的水平移动单元208与位置传感器209连接。位置传感器209包括探测轮子的转动量的旋转编码器或类似物,通过探测轮子的移动量,旋转角等等,获得信息表现设备200的位置信息。信息表现设备200的详细机构将在后面说明。注意作为获得信息表现设备200的旋转角的装置,也可以使用陀螺仪或类似物。

对象传感器210是探测在信息表现设备200周围的障碍物的位置和/或观看信息表现设备200的用户的位置的传感器,并把获得的位置信息输出给控制单元202。作为对象传感器210,可以使用红外传感器,激光传感器,超声波传感器,温度传感器或其它传感器。注意也可使用其中附加照相机来代替传感器,并由照相机探测障碍物和用户的配置。

下面,参考图2A和2B说明信息表现设备200的一个例证配置。图2A是前视图,图2B是侧视图。作为水平移动单元的轮子208设置在信息表现设备200的最下部,驱动轮子208的电动机(驱动单元)206b被设置在安装轮子的平台之上。探测轮子208的转动量的旋转编码器(位置传感器)209被布置在布置电动机206a的位置附近。由于在本实施例中设置4个轮子208,因此对应于轮子208的数目,设置4个电动机206b和4个旋转编码器209。

与轮子208连接的平台垂直的立柱(垂直移动单元)207被设置在平台的中心,沿垂直方向移动立柱207的液压缸(驱动单元)206a被布置在立柱207附近的位置。图2A和2B表示用于安装控制单元202的板状控制单元安装部分301是如何被垂直设置在液压缸206a的侧表面部分的,控制单元202被安装在控制单元安装部分301上。

作为安装通信单元201、再现处理单元204等的平台的安装部分302被设置在控制单元安装部分301上方,作为安装显示单元205的平台的显示单元安装部分303被设置在安装部分302上方。用作垂直移动单元的立柱207从显示单元安装部分303的下表面延伸到下面具有轮子208的平台,通过利用液压缸206a使立柱207沿垂直方向伸长和缩短,按照这样的运动沿垂直方向升高和降低其上安装控制单元202的显示单元安装部分303。

下面,参考图3中的示意图和图4中的流程图,说明与将由信息表现设备200显示的图像内容的生成同时地获得图像拾取空间中的对象的三维位置信息的处理的例子。图3表示作为将由俯视照相机103进行图像拾取的图像拾取空间中的对象,存在人员(对象)Ob1,足球Ob2和人员Ob3的状态。在图3中所示的例子中,人员Ob1和人员Ob3正在利用足球Ob2踢足球,同时在预定的图像拾取期间中,这些对象在图像拾取空间内自由移动。

设置对象图像拾取照相机101来拾取相应对象的图像,在图3中所示的例子中,设置有作为人员Ob1的图像拾取用照相机的对象图像拾取照相机101a,作为足球Ob2的图像拾取用照相机的对象图像拾取照相机101b,和作为人员Ob3的图像拾取用照相机的对象图像拾取照相机101c。这些照相机在图像拾取期间中,不断拾取分配的对象的图像,并按照对象的移动改变照相机角度。注意尽管在图3中表示了其中每个对象图像拾取照相机101的设置位置被固定,并且只有照相机角度可变的例子,不过也可使用其中对象图像拾取照相机101的位置与对象的移动相一致地移动的配置。

在图3中所示的例子中,由对象图像拾取照相机101a-101c进行对象的图像拾取,同时由俯视照相机103进行图像拾取,以获得对象的三维位置。为了获得相应对象的三维位置,各种不同颜色、形状、大小等的标记被附在相应对象上,根据在由俯视照相机103获得的图像信号中,所述标记的位置和大小,计算相应对象的三维信息。

当进行这种处理时,在进行图像内容的图像拾取之前,必须预先定义图像拾取空间的范围。当定义图像拾取空间时,在作为对象的坐标系原点,和/或在图像拾取空间的四角或类似位置设置标记,并利用在这种状态下拾取的图像进行校准。这种情况下,通过沿图3中示为z的垂直方向设置多个标记,也能够定义图像拾取空间的z轴(高度)方向的位置。

同样在图像内容的图像拾取期间,表示原点的标记Mk0被布置在和当定义该空间时被设置为原点的位置相同的位置,标记同样被附在相应对象上。在图3中所示的例子中,标记Mk1附在人员Ob1身上,标记Mk2附在足球Ob2上,标记Mk3附在人员Ob3上。

图4中表示了从按照这种方式拾取的俯视图像中获得相应对象的三维信息的处理的一个例子。在图4中,表示了俯视照相机103,对象位置信息获取单元104和控制单元105的处理的一个例子。

在图4中,俯视照相机103首先在标记已被置于或附在所述原点和对象身上的状态下拾取对象的俯视图(步骤S1),并把通过拾取俯视图而获得的图像信号传给对象位置信息获取单元104(步骤S2)。当收到从俯视照相机103传来的图像信号时(步骤S3),对象位置信息获取单元104根据从图像信号中获得的图像中的相应标记的移动和大小,获得相应对象在每个时间点的位置(步骤S4),并把获得的位置信息传给控制单元105(步骤S5)。

当收到从对象位置信息获取单元104传来的位置信息时(步骤S6),控制单元105产生使每个对象,每个对象的位置信息和包含该对象的图像的图像内容相关联的对应表(步骤S7)。在步骤S7中,产生如图5中所示的对应表。

图5中所示的对应表Tb1在最左侧一列中以0.1秒为单位,表示图像中的时间点(即,时间代码),并在向右的第二列中指定为每个对象提供的图像内容。在图5中的例子中,存在标记为A、B和C的三个图像内容。例如,图像内容A、B和C分别是关于图3中所示的人员Ob1、足球Ob2和人员Ob3拾取的图像。

在向右的第三列中,用三个坐标X、Y和Z表示在图像内容A-C中拾取的每个对象在图像拾取空间中的三维位置。即,在图5中的对应表Tb1中,对于图像中的每个时间点,给出对象的三维信息。这里,X、Y和Z分别是在X轴方向、Y轴方向和Z轴方向到图像拾取空间中预先设置的原点(0,0,0)的距离。

例如,在时间0.0秒,内容A中所示的对象的坐标为(X,Y,Z)=(-100.0,60.0,20.0),内容B中所示的对象的坐标为(X,Y,Z)=(-30.0,-80.0,60.0),内容C中所示的对象的坐标为(X,Y,Z)=(100.0,10.0,-30.0)。在时间0.1秒,这些坐标看来没有任何变化,但是当达到时间0.2秒时,内容A中所示的对象的坐标变成(-40.0,60.0,20.0)。即,可认为与在时间0.0秒的位置相比,在时间0.2秒,内容A中所示的对象已沿着X轴的方向移动了60.0。

注意尽管说明了其中仅仅给出用X,Y,Z坐标表达的位置信息作为图5中所示的对应表Tb1中的对象信息的例子,不过也可与时间代码关联地记录当产生相应内容时,对象图像拾取照相机101a-101c的角度信息。

当在信息表现设备200上显示图像内容时,控制设备100的控制单元105根据按照这种方式产生的对应表Tb1,设置相应的信息表现设备200的移动目标位置,并把相应的移动目标位置传给信息表现设备200。

下面参考图6和7的流程图,说明在信息表现设备200表现信息的过程中的处理的一个例子。在图6和7中,表示了控制设备100和信息表现设备200之间的交互作用。图6表示从控制设备100向信息表现设备200传送控制信号,到控制设备100接收来自于相应信息表现设备200的位置信息反馈,并传送用于调整相应信息表现设备200的位置的控制信号为止的处理。

在图6中,首先,控制设备100判断用户是否指定了该用户希望事实上成为的对象(步骤S11)。即,确定是否选择了其中用户通过实质上成为图像中所示对象中的一个对象,观看图像的模式。当还没有选择用户想要事实上成为的对象时,进行根据每个内容中的对象的三维位置信息,设置相应信息表现设备200的移动目标的处理(步骤S12)。即,根据图5中图解说明的对应表Tb中的信息,设置每个信息表现设备的移动目标位置。例如,对于从开始信息表现以来0.0秒的过去时间来说,在0.1秒时间点的坐标被设置成移动目标位置。之后,设置的移动目标位置被包含在控制开始命令中,并被传给信息表现设备200(步骤S13)。

之后,判断用户的观看位置是否被设置成固定的(步骤S14)。由于用户的观看位置是否固定的设置是事先按照输入操作单元10的输入进行的,因此在此时进行检查该设置的处理。当用户的观看位置被设置成固定的,那么选择“Yes”,根据由俯视照相机103获得的图像信号,获得相应信息表现设备200的三维位置(步骤S15)。当判断用户的观看位置被设置成不固定,那么选择“No”,并根据由俯视照相机103获得的图像信号,获得用户的位置信息和相应信息表现设备200的位置信息。即,当用户的观看位置被固定时,不进行用户的位置信息的获取,只有当用户的观看位置不固定时,才获得用户的位置信息。

当在步骤S11中判断用户想要事实上成为的对象已被选择时,根据每个内容中的对象的位置信息,进行计算作为用户希望事实上成为的对象而指定的对象与其它对象之间的相对位置关系的处理(步骤S17)。之后,根据计算的相对位置关系,计算每个信息表现设备200的移动目标位置(步骤S18),计算的移动目标位置信息被包含在控制开始命令中,并被传给信息表现设备200(步骤S19)。在传送控制开始命令之后,根据俯视照相机103获得的图像信号,获得用户的位置和相应信息表现设备200的位置信息(步骤S16)。

在步骤S17中所示的处理中,对于图5中所示的例子来说,当用户选择了对象Ob1作为该用户希望事实上成为的对象时,除对象Ob1外的对象的坐标,即,包含在内容B中的对象Ob2的坐标和包含在内容C中的对象Ob3的坐标被转换成相对于包含在内容A中的对象Ob1的坐标的距离,而不是到原点的距离。通过进行这种处理,能够以事实上成为指定对象的用户的位置为中心,精确再现图像拾取空间中对象之间的位置关系。

返回图6的流程图,当收到在步骤S13或步骤S19中从控制设备100传送的控制开始命令时(步骤S20),信息表现设备200开始再现图像内容(步骤S21)。随后,图像内容被显示在显示单元205上(参见图1)。当开始内容的再现时,也开始位置传感器209(参见图1)的位置探测(步骤S22),探测到的位置信息被传给控制设备100(步骤S23)。

在控制设备100中,当收到从信息表现设备200传来的位置信息时(步骤S24),进行按照表现信息的信息表现空间的尺寸,使移动目标位置和在步骤S24接收的相应信息表现设备200的位置归一化的处理(步骤S25)。随后,产生用于把相应移动目标位置和在步骤S15或步骤S16中从俯视照相机103获得的信息表现设备的位置之间的误差变为0的控制信号(步骤S26),并把产生的控制信号传给相应的信息表现设备200(步骤S27)。

下面,将参考图7中的流程图说明在信息表现设备200收到在步骤S27中传送的控制信号之后的处理。在图7中,当收到从控制设备100传来的控制信号时(步骤S28),信息表现设备200判断用户希望实质上成为的对象是否已被指定(步骤S29)。当用户选择了其中用户通过实质上成为指定的对象,观看图像的模式,那么选择“Yes”,处理进入步骤S30。

在步骤S30,控制驱动单元206b,以使显示单元205面向对象传感器210检测的用户的方向。之后,根据接收的控制信号驱动驱动单元206a和驱动单元206b(步骤S31)。即,通过控制驱动单元206b移动到记录在控制信号中的移动目标位置,水平移动单元208(本实施例中的轮子)转动,从而信息表现设备200移动到移动目标位置。当在控制信号中指定了垂直方向上的移动目标位置时,驱动单元206a被控制,垂直移动单元207(本实施例中的立柱)根据驱动单元206a的驱动而伸长和缩短。即,信息表现设备200的高度被改变。

当在步骤S29中判断没有选择其中用户希望事实上成为指定对象的模式时,接下来判断用户的观看位置是否被固定(步骤S32)。当用户的观看位置被固定时,选择“Yes”,处理进入步骤S31。当判断用户的观看位置不固定时,处理进入步骤S30。即,当用户的观看位置固定时,显示单元205的朝向被保持在固定的朝向,而不调整(用户的观看位置的方向),当用户的观看位置不固定时,显示单元205的朝向将按照用户的方向改变。

随后,判断是否从控制设备100传送了停止命令(步骤S33),当没有收到停止命令时,处理返回图6中的步骤S20,并继续步骤S20之后的步骤。当收到从控制设备100传送的停止命令时,处理结束。

在控制设备100中,只要存在要再现的图像信号,上面描述的处理就继续进行,在步骤S34中,判断是否仍然存在要再现的图像信号。当判断存在要再现的图像信号时,处理返回图6中的步骤S11,并继续步骤S11之后的步骤。但是,当判断不存在要再现的图像信号时,向信息表现设备200传送停止命令(步骤S35)。当在步骤S35中传送停止命令时,由于在步骤S33中信息表现设备200选择了“Yes”,因此处理结束。

图8A和8B示意地表示在选择从第三方视点观看信息表现设备200的模式的情况下,相应信息表现设备200的移动。图8B表示从图8A中所示的状态开始已过去预定时间时的状态。在图8A和8B中,显示人员Ob1的图像的信息表现设备200-1,显示足球Ob2的图像的信息表现设备200-2,和显示人员Ob3的图像的信息表现设备200-3被布置在用户U观看的信息表现空间中。

在图8A中所示的状态下,显示人员Ob1的图像的信息表现设备200-1被布置在Y方向的前端附近,并且在X方向上最接近原点。显示足球Ob2的图像的信息表现设备200-2在X方向上被布置在信息表现设备200-1的右侧。信息表现设备200-2被布置在Y方向上最里面的位置。显示人员Ob3的图像的信息表现设备200-3在X方向上被布置在信息表现设备200-2的右侧,并且在Y方向上稍微在前面。

图8A中所示的各个信息表现设备200的布置位置可靠地再现图像内容中的对象的布置位置,并且对应于图3中所示的图像拾取空间中的各个对象的位置。在图8B中所示的从图8A中所示的状态开始过去预定时间的阶段,可看出信息表现设备200-1到200-3在移动。信息表现设备200-1沿Y方向移离用户,信息表现设备200-2在X方向上向右移动,在Y方向上移向用户,信息表现设备200-3基本保持在图8A中所示的相同位置。

图8B中所示的位置是信息表现设备200-1到200-3在图8A中所示的状态下,根据从控制设备100传给信息表现设备200-1到200-3的控制信号移动的结果。即,这样的位置与在控制信号中给出的移动目标位置相匹配。这样,即使信息表现设备200-1到200-3在移动,也可进行控制以消除信息表现设备200的移动目标位置和实际位置之间的误差,于是相应的信息表现设备200将一点不错地到达移动目标位置。

尽管图8A和8B表示其中标记Mk4也被附在用户U上的状态,不过当用户U的观看位置被固定时,不需要获得用户U的位置信息,于是不需要把标记附在用户U上。

图9A和9B示意表示当选择了观看信息表现设备200的用户事实上成为指定对象(人员Ob1)的模式时,相应信息表现设备200的移动。图9B表示从图9A中所示的状态开始过去预定时间的状态。尽管图9A和9B中的信息表现设备200的三维信息与图8A和8B中所示的位置相匹配,不过图9A和9B的不同之处在于用户U位于图8A中布置信息表现设备200-1的位置,以及信息表现设备200-2和信息表现设备200-3的显示单元205面向用户U。

在图9A和9B中所示的例子中,由于选择了观看信息表现设备200的用户事实上成为人员Ob1的状态,因此进行控制,以使显示除对象Ob1外的对象的信息表现设备200-2和200-3总是面向用户U。另外,如图9B中所示,再现图像内容中的各个对象之间的位置关系,作为以用户U的位置作为标准的相对位置关系。

通过进行上面所述的处理,由于图像内容中的对象的三维移动被信息表现设备200精确再现,因此用户能够以增强的真实感感受内容。

另外,由于图像内容内的对象的三维移动被信息表现设备200可靠地再现,因此能够获得对象的透视感,并且更正确地了解这些对象之间的距离等等,从而用户能够更深地了解图像内容的内容。

另外,通过选择观看内容的用户事实上成为内容中的对象之一的模式,用户U能够观看内容,并且变得更深地卷入所再现的世界中。

注意尽管在上面的实施例中,说明了两个例子,即,当信息表现设备200的显示单元205的朝向被固定时的例子,和当使显示单元205面向用户U时的例子,不过也可在产生图像内容的期间,对应于对象图像拾取照相机101的角度,改变显示单元205的角度。这种情况下,对象图像拾取照相机101的角度信息被预先记录在对应表Tb1中,并根据记录的角度信息确定显示单元205的角度。

另外,尽管在上面的实施例中说明了其中信息表现设备200移动,以便再现内容中的对象的移动的例子,不过也可使用其中信息表现设备200的移动类型与用户U的移动类型相一致地变化的配置,比如在探测用户U时,信息表现设备200移离用户U。

尽管在上面说明的实施例中,对象图像拾取照相机101拾取的图像被显示在信息表现设备200的显示单元205上,不过也可从由俯视照相机103的图像拾取产生的图像中剪辑出显示对象的部分,并把这些剪辑出的图像显示在相应的显示单元205上。

另外,尽管说明了预先进行将由信息表现设备200表现的图像内容的图像拾取,并根据在内容的图像拾取期间获得的对象的位置信息,移动相应的信息表现设备200的配置的例子,不过也可使用现存的图像内容。

当使用现有的图像内容时,可以人工设置图像内容,显示这种内容的信息表现设备,图像中的对象的位置信息等等之间的对应性。在图10和图11A-11C中表示了允许用户执行这种操作的用户界面(下面简称为“UI”)的一个例子。图10和图11A-11C中所示的UI可设置在控制设备100和/或信息表现设备200中,或者可设置在作为遥控器形成的操作单元107中。

图10中所示的UI被用于进行把图像内容与再现该图像内容的信息表现设备200联系起来的处理。在图10中所示屏幕左侧的环绕方框的数字表示信息表现设备200,通过利用在所述数字右侧的列表框,能够指定将显示在相应信息表现设备200上的图像内容的存储位置。在图10中所示的例子中,保存在C驱动器中的内容将被显示在信息表现设备(1)上,保存在DVD-ROM驱动器中的内容将被显示在信息表现设备(2)上,保存在万维网上的内容将被显示在信息表现设备(3)上。

图11A-11C表示用于设置各个信息表现设备200在每个时间点的移动目标位置的UI的例子。在图11A-11C中所示的各个UI中,显示内容的图像的窗口被设置在屏幕的左上角,在所述窗口的右侧的两个轴(即,X轴和Y轴)上表示信息表现设备200的排列。能够设置各个坐标位置X,Y,Z的调节器Kb2设置在屏幕的下部。

在图11A-11C中所示的UI中,首先执行指定图像内容内的时间代码的处理。如图11A中所示,通过移动调节器Kb,能够实现该操作,调节器Kb能够在时间轴上前后移动图像中的时间代码,到达左右轴上的所需位置。

在指定了时间代码之后,在图11B中所示的屏幕上完成选择将由用户设置其移动目标位置的信息表现设备的处理。通过按下设置在显示图像内容的窗口下面的按钮之一,能够完成将由用户设置其移动目标位置的信息表现设备的选择。所述按钮从左侧开始按照1、2、3的顺序排列,并且对应于信息表现设备200。图11B表示选择了信息表现设备(1)的状态。

在图11B中所示的屏幕上,在选择了将设置其移动目标位置的信息表现设备之后,进行实际设置移动目标位置的处理。如图11中所示,通过把分别为X,Y,Z而设的调节器Kb2沿左右方向移动到所需位置,信息表现设备被移入设置在右上方的图表中。在图11C中所示的例子中,通过向右移动对应于X轴的调节器Kb2,设置在右上方的图表中的信息表现设备(1)一致地向右移动。通过利用这种UI,能够把图像内容和信息表现设备200的操作关联起来。

按照这种方式,当现有内容被用作将在信息表现设备200上表现的内容时,如果每个信息表现设备200配有用于获取它自己的三维位置的装置,那么信息表现设备200将能够独自表现信息,而不使用控制设备100。

也可通过为系统或设备提供记录有实现上述实施例的功能的软件的程序代码的记录介质,并使系统或设备的计算机(或者诸如CPU之类的控制设备)读出和执行保存在记录介质中的程序代码,实现本发明。

作为提供所述程序代码的记录介质的例子,可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM。

此外,不仅通过执行由计算机读出的程序代码,而且通过使在计算机上运行的OS(操作系统)或类似物根据程序代码的指令,执行部分或者全部的实际处理,都可实现上述实施例的功能。

本发明既包括其中按照本说明书中给出的时间顺序执行构成所述软件的程序中的步骤的处理,又包括其中不一定按照时间顺序执行所述步骤,而是独立地或者并行地执行所述步骤的处理。

注意本发明并不局限于上面描述的实施例,可以进行各种修改,而不脱离本发明的范围。本领域的技术人员应该明白,根据设计需求和其它因素,可以产生各种修改、组合、子组合和变化,只要它们在附加权利要求或其等同物的范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号