功能扩展装置、功能扩展方法、功能扩展程序以及集成电路

摘要

对象识别部(1101)根据现实空间的影像数据识别包含在该影像数据中的物体。功能设定部(1103)保存针对物体的各种类能够设定的由操作和处理的组构成的功能被规定的功能信息。然后，功能设定部(1103)针对由对象识别部(1101)识别出的各物体，根据各物体的种类设定能够设定的功能。选择判定部(1105)从由对象识别部(1101)识别出的各物体中判定被用户选择为操作对象的选择物体。操作判定部(1106)判定用户对选择物体进行的操作。处理决定部(1107)决定对构成由功能设定部(1103)设定的功能的操作中、由操作判定部(1106)判定出的操作的处理。

说明书

技术领域

本发明涉及一种在扩展现实空间中对识别出的物体设定功能的技术。

背景技术

作为在扩展现实空间中对作为对象而被识别出的物体设定功能的技术，以往已知一种 利用预先对物体赋予的搜索功能的技术。

在此，对作为对象而被识别出的物体设定的“功能”是指用户与物体间的相互作用，由 用户进行的一系列操作和对一系列操作各自的处理的组构成。更详细而言，“功能”由作为 从用户向物体的输入的“操作”和作为对用户的操作的反馈而被执行的“处理”的组构成。

作为“功能”的例子，考虑写入履历记录功能、颜色变更功能以及搜索功能等。在搜索 功能的情况下，针对用户指示物体的这样的“操作”，进行搜索所指示的物体的信息并将搜 索结果在视觉上提示给用户的这样的“处理”。

例如，在专利文献1中公开了一种提供与用户所关心的物体有关的信息的指向系统 (pointing system)。

用户将手持式装置指向想要访问的物(相当于上述的“操作”)。该手持式装置测定位置和 手势，制作基准，搜索预先编程的包含与物体有关的信息的数据库，由此判断哪一个物体 被访问。然后，将与被判断为当前被访问的物体的物体有关的信息提示在用户接口上(相当 于上述的“处理”)。

然而，在专利文献1的结构中，预先确定对被访问的物体提示何种信息。也就是说， 预先确定对被访问的物体赋予的功能。因而，在专利文献1中，不存在针对物体在多个功 能中追加或从多个功能中删除哪个功能的机构。因此，虽然能够利用对物体预先确定的功 能，但是无法动态地追加或删除功能。

另外，在专利文献1中，也不存在根据物体的种类确定能够对物体设定的功能的机构、 针对物体的各种类判断能够赋予的功能的机构。因此，无法对物体追加与物体的种类相适 应的功能。

例如，对于书这种种类的物体来说，写入履历记录功能是能够赋予的功能，对于地球 仪这种种类的物体来说，搜索功能和颜色变更功能是能够赋予的功能。

然而，在专利文献1的技术中，不存在针对物体的各种类判断能够赋予的功能的机构。 因此，在作为物体的种类存在书、白板、地球仪，作为系统对物体赋予的功能存在写入履 历记录功能、颜色变更功能以及搜索功能的情况下，无法判断对哪个物体赋予何种功能来 追加功能。

专利文献1：日本特表2004-531791号公报

发明内容

本发明的目的在于提供一种对被取入扩展现实空间的现实空间的物体能够动态地设 定适合该物体的种类的功能的功能扩展装置、功能扩展方法、功能扩展程序以及集成电路。

本发明的一方面所涉及的功能扩展装置，是将现实空间中的物体取入到扩展现实空间 并对该物体设定功能的功能扩展装置，包括：对象识别部，从由影像输入装置获取的现实 空间的影像数据识别包含在该影像数据中的物体，对识别出的物体的种类以及该物体在现 实空间中的位置进行识别；功能设定部，保存针对物体的各种类能够设定的由操作和处理 的组构成的功能被规定的功能信息，在由所述对象识别部识别出物体时，参照所述功能信 息，根据识别出的物体的种类对该物体设定功能；输入识别部，识别在所述现实空间中由 用户进行的输入动作以及所述输入动作被进行的现实空间中的输入位置；选择判定部，基 于所述对象识别部识别出的物体在现实空间中的位置以及所述输入识别部识别出的现实 空间中的输入位置，判定由用户选择为操作对象的选择物体；操作判定部，利用所述输入 识别部识别出的输入动作判定用户的操作；处理决定部，针对所述选择判定部所选择的选 择物体决定对构成由所述功能设定部设定的功能的操作中、由所述操作判定部判定出的操 作的处理；以及执行部，执行所述处理决定部所决定的处理。

另外，本发明的另一个方面所涉及的功能扩展方法、功能扩展程序以及集成电路具备 与所述功能扩展装置相同的特征。

附图说明

图1是表示本发明的实施方式的功能扩展装置所适用的功能扩展系统的结构例的框 图。

图2是示意性地示出图1所示的功能扩展系统识别现实空间的物体、设定与该物体的 种类相适应的功能的处理以及利用所设定的功能的处理的一例的图。

图3是示意性地示出功能设定部所保存的功能信息的一例的图。

图4(A)是示出表示功能设定部对由对象识别部作为对象识别出的各物体设定的功能 的功能设定信息的一例的图，(B)是示意性地示出本发明的实施方式的功能扩展装置对作为 对象识别出的物体设定的功能的一例的图。

图5是表示在本发明的实施方式的功能扩展装置中执行的初始化处理的一例的流程 图。

图6是表示本发明的实施方式的功能扩展装置对物体进行对象识别并对作为对象识别 出的物体设定功能的处理的一例的流程图。

图7是表示本发明的实施方式的功能扩展装置对用户的操作进行识别并执行对物体设 定的功能时的处理的一例的流程图。

具体实施方式

下面，参照附图来说明本发明的实施方式。此外，说明中使用的附图是为了说明本发 明可采用的技术特征而使用的，所记载的装置的结构和处理等只不过示出简单的一例。因 而，只要没有特殊的以限定为目的的记载，则装置的结构和处理并不限定于所记载的内容。

本发明的实施方式的功能扩展装置将存在于现实空间的物体进行对象识别，并取入到 扩展现实空间，对作为对象识别出的物体追加新的功能，让用户利用所追加的功能。也就 是说，本功能扩展装置对作为对象识别出的物体不仅设定固定的功能，而且还追加与该物 体的种类相适应的功能、与该物体相称的功能，让用户利用固定的功能以及追加的功能。

在此，对作为对象识别出的物体设定的“功能”是指用户与物体间的相互作用 (interaction)，由用户的一系列操作和处理的组构成。在此，“操作”是指用户对物体进行的 操作。另外，“处理”是指从物体对用户作为上述的“操作”的反馈而被执行的处理。

更详细而言，“功能”由作为从用户向物体的输入的“操作”和作为从物体向用户的输出、 作为“操作”的反馈而被执行的“处理”的组构成。作为“功能”，例如包括写入履历记录功能、 颜色变更功能、搜索功能等。

在此，搜索功能例如包括用户指示物体的“操作”、以及从数据库搜索与所指示的物体 有关的信息并将搜索结果在视觉上提示给用户的“处理”的组。

在此，作为“处理”，例如相当于对由用户操作的物体同步或非同步地输出影像的处理。 作为对物体同步地输出影像的处理，可举出例如在用户对物体进行了操作时，生成与操作 对象的物体相关联的图形，并将所生成的图形重叠到操作对象的物体而进行输出。另外， 作为对物体非同步地输出影像的处理，可举出例如在用户对物体进行了操作时，保存与操 作内容相应的数据，在对物体的操作结束之后，从所保存的数据生成图形，并将所生成的 图形与物体相关联地输出。

由此，在扩展现实空间中，用户通过头戴式显示器、3D立体视觉电视或触觉输出设 备等输出设备能够利用对物体追加的新的功能。

例如，在作为“功能”追加了写入履历记录功能的情况下，如果用户对现实空间的书进 行“描”的操作，则在描过的位置处划下线的图形被重叠在扩展现实空间的书上加以显示。 在此，作为重叠显示，可以仅将伴随操作的图形重叠在扩展现实空间的物体上进行显示， 也可以将伴随操作的图形进一步重叠在重叠显示的图形上进行显示。

另外，在用户再次打开了用户过去操作过的扩展现实空间的某书时，根据在过去的操 作时保存的数据生成图形，并重叠在物体上显示。由此，用户能够获得在扩展现实空间中 用手指对书画下划线，事后确认下划线的体验。

在本实施方式中，作为“操作”，以用户移动手来输入操作为基本进行说明。然而，本 发明中的“操作”并不限定于手的移动，也可以采用视线、声音(语言)等作为操作。

另外，在本实施方式中，作为“处理”，以将图形重叠在物体上进行显示的影像输出为 基本进行说明。然而，作为“处理”，并不限定于影像输出，例如也可以采用声音输出、触 觉输出等其它输出。

下面，以将本发明的实施方式中的功能扩展装置应用于功能扩展系统的情况为例具体 进行说明。图1是表示应用本发明的实施方式的功能扩展装置1002的功能扩展系统1001 的结构例的框图。此外，图1所示的功能扩展系统1001例如搭载于头戴式显示器(HMD)。 另外，图1所示的功能扩展装置1002例如由具备CPU、ROM以及RAM等的微型计算 机构成，例如通过CPU执行本发明的功能扩展程序来实现各模块的功能。扩展功能程序 保存在例如ROM或RAM等的存储装置中。

具体而言，对象识别部1101、3D模型管理部1102、输入识别部1104、选择判定部 1105、操作判定部1106、处理决定部1107、图形生成部1108、影像输出控制部1109、 触觉输出控制部1110分别是例如存储在存储装置1007中的扩展功能程序所包含的程序， 从存储装置1007读出并由CPU执行，功能设定部1103是存储在存储装置1007中的扩 展功能程序所包含的程序，从存储装置1007读出并由CPU执行。

从存储装置1007读出并由CPU执行的功能设定部1103例如从存储装置1007读出 功能信息并保存在RAM中。此外，虽然是将图1所示的功能扩展装置1002所包含的对 象识别部1101、3D模型管理部1102、输入识别部1104、选择判定部1105、操作判定部 1106、处理决定部1107、图形生成部1108、影像输出控制部1109、触觉输出控制部1110 以及功能设定部1103作为分别保存在存储装置1007中的程序并由CPU执行，但是无需 限定于此。

例如，也可以利用专用的处理电路(例如LSI等集成电路)来构成图1所示的功能扩展 装置1002所包含的对象识别部1101、3D模型管理部1102、输入识别部1104、选择判 定部1105、操作判定部1106、处理决定部1107、图形生成部1108、影像输出控制部1109、 触觉输出控制部1110以及功能设定部1103。

功能扩展系统1001具备功能扩展装置1002、影像输入装置1003、用户输入识别装 置1004、影像输出装置1005、触觉输出装置1006、存储装置1007以及通信部1008。

功能扩展装置1002具备对象识别部1101、3D模型管理部1102、功能设定部1103、 输入识别部1104、选择判定部1105、操作判定部1106、处理决定部1107、图形生成部 1108、影像输出控制部1109(执行部的一例)以及触觉输出控制部1110(执行部的一例)。

下面，说明功能扩展装置1002所具备的各结构。对象识别部1101从由影像输入装置 1003获取的现实空间的影像数据识别该影像数据所包含的物体，对识别出的物体的种类以 及该物体在现实空间中的位置进行识别。具体而言，由影像输入装置1003向对象识别部 1101提供影像输入装置1003通过拍摄现实空间而获取到的影像数据。然后，对象识别部 1101对提供的影像数据中所包含的物体的种类、形状、大小以及在现实空间的位置进行识 别，并通知给3D模型管理部1102。

在此，在影像输入装置1003例如由3D照相机构成的情况下，对象识别部1101可以 进行下述的处理来识别物体。首先，对象识别部1101从影像输入装置1003获取视线不同 的2个系统的影像数据。然后，影像输入装置1003对其中之一系统的影像数据进行特征 点提取处理来提取影像数据所包含的特征点。作为特征点，例如是物体的轮廓上的点，相 当于顶点、曲率大的点等的带有物体的形状特征的点。然后，对象识别部1101对从影像 数据提取出的特征点进行群集来分为多个特征点群，从特征点群的特征点的配置图案确定 特征点群所表示的物体。在这种情况下，对象识别部1101针对各种物体预先保存作为基 准的特征点的配置图案即基准配置图案，通过将该基准配置图案与从影像数据提取出的特 征点的配置图案进行比较，来确定特征点群所表示的物体即可。

此外，作为这种识别物体的技术，例如在数码照相机等中广泛采用的脸识别技术已为 公知，对象识别部1101可以使用与该脸识别技术相同的方法来识别影像数据所包含的物 体。

然后，对象识别部1101从另一系统的影像数据确定表示与已确定的物体的各特征点 相同的位置的对应点。然后，对象识别部1101可以根据各特征点与各对应点的视差并用 立体法求出各特征点在现实空间中的三维位置，将各特征点在现实空间中的位置识别为物 体的位置。

另外，对象识别部1101也可以通过识别对现实空间的物体赋予的标记信息来识别影 像数据所包含的物体。在此，标记信息是描述物体的种类、形状、大小以及位置等的信息 的信息。例如，对物体预先赋予以条形码、符号串表示标记信息的信息，对象识别部1101 可以从影像数据识别该条形码，根据识别出的条形码、符号串识别物体的种类、形状、大 小以及在现实空间的位置。

另外，也可以将标记信息存储在IC标签中而让物体保存，对象识别部1101读出IC 标签所保存的数据来获取标记信息。在这种情况下，也可以在功能扩展系统1001中设置 IC标签读取器，对象识别部1101让该IC标签读取器读出标记信息从而获取标记信息。

此外，包含在标记信息中的位置例如采用物体被配置的经度和纬度。而且，在功能扩 展系统1001中设置GPS。对象识别部1101可以从GPS识别功能扩展系统1001在现实 空间中的位置，并与包含在标记信息中的物体的位置进行比较，求出物体相对于功能扩展 系统1001的相对位置。

另外，在影像输入装置1003例如由深度传感器构成的情况下，对象识别部1101从通 过影像输入装置1003获取的距离成分的图像数据提取物体的特征点。然后，可以根据提 取出的特征点的配置图案识别物体的种类、形状、大小以及在现实空间的位置。

3D模型管理部1102由对象识别部1101通知对象识别部1101识别出的各物体的种 类、形状、大小以及在现实空间的位置，将包含被通知的各物体的种类、形状、大小以及 在现实空间的位置的数据生成为各物体的3D立体视觉模型并加以保存。

另外，3D模型管理部1102对各物体的3D立体视觉模型赋予用于辨别各物体的物体 标识符。也就是说，各物体的3D立体视觉模型为表示物体的种类、形状、大小以及在现 实空间的位置的数据附带有物体的物体标识符的数据。此外，3D模型管理部1102将所生 成的3D立体视觉模型作为物体识别通知D1通知给功能设定部1103。

另外，当从处理决定部1107提供指定物体标识符在物体(选择物体)上重叠图形的重叠 委托D2时，3D模型管理部1102生成与该物体有关的图形生成信息并加以保存。在此， 图形生成信息是为了生成在虚拟现实空间中重叠在物体上显示的图形所需的信息。在图形 的重叠委托D2中包含有表示图形的大小、形状以及重叠位置的数据。因而，3D模型管理 部1102可以将表示图形的大小、形状以及重叠位置的数据作为图形生成信息生成。

3D模型管理部1102将生成的图形生成信息作为图形生成委托D3通知给图形生成部 1108。

功能设定部1103保存针对物体的各种类能够设定的由一系列操作和处理的组而构成 的功能被规定的功能信息。关于功能信息，稍后用图3进行说明。而且，功能设定部1103 在由对象识别部1101识别出物体时参照功能信息，根据识别出的物体的种类对该物体设 定功能。此外，功能设定部1103当由3D模型管理部1102提供了物体识别通知D1时， 可以判定该物体识别通知D1所表示的物体由对象识别部1101识别出。

然后，功能设定部1103当被通知来自3D模型管理部1102的物体识别通知D1时， 参照图3(A)所示的功能类别候选信息，根据识别出的物体的种类搜索能够设定的功能类别 的候选，从搜索到的功能类别的候选中决定对该物体设定的功能。

此外，在本发明中，也可以省略3D模型管理部1102。在这种情况下，对象识别部 1101对识别出的物体赋予物体标识符，将物体标识符以及识别出的物体的种类、形状、大 小以及在现实空间的位置作为物体识别通知D1通知给功能设定部1103。然后，功能设定 部1103将从对象识别部1101通知的物体识别通知D1与图3(A)所示的功能类别候选信息 进行对照，可以根据识别出的各物体的种类搜索能够设定的功能类别的候选，从搜索到的 功能类别的候选中决定对各物体设定的功能。

在此，功能设定部1103也可以在由对象识别部1101识别出物体时，向用户提示对该 物体的种类能够设定的操作和处理的候选，将由用户选择的操作和处理设定为该物体的功 能，将所设定的功能与用户标识符对应起来加以保存。在这种情况下，不是将对识别出的 物体能够设定的所有操作和处理设定为物体的功能，而是将对物体能够设定的所有操作和 处理中的、由用户选择的一系列操作和处理设定为物体的功能。这样，功能设定部1103 通过将功能与用户标识符对应起来预先记录，即使对于同一物体也能够由各用户设定不同 的功能，从而能够对各物体设定与用户的喜好相适应的功能。

在此，作为向用户询问喜好的功能的时机，不限于物体被识别时，也可以是识别物体 之后。在识别物体之后，当由用户输入了功能的变更委托时，可以向用户询问喜好的功能。

另外，功能设定部1103也可以在由对象识别部1101识别出物体时，根据识别出的物 体的特征判定能够设定的操作和处理，将判定出的操作和处理设定为物体的功能。在此， 作为特征，相当于识别出的物体的形状和大小中的至少其中之一。

并且，功能设定部1103也可以在由对象识别部1101识别出物体时，根据功能扩展装 置1002的能力以及与功能扩展装置1002连接的外围设备的能力决定对识别出的物体能够 设定的操作和处理，将决定的操作和处理设定为物体的功能。

也就是说，在本实施方式中，不是将对识别出的物体能够设定的所有操作和处理设定 为物体的功能，而是将符合物体的特征及功能扩展系统1001的性能(规格)的操作和处理选 择性地设定为物体的功能。

另外，功能设定部1103当通过从后述的处理决定部1107通知关于某物体的物体标识 符而被通知用于询问对该物体设定的功能的功能询问委托D4时，参照对该物体设定的功 能设定信息(图4(A))，确定对该物体设定的功能，将与确定的功能对应的功能对应信息 D7(参照图3(C))通知给处理决定部1107。

输入识别部1104从由用户输入识别装置1004获取的表示用户的动作的信息，识别用 户的输入动作以及输入动作被进行的现实空间的位置即输入位置。具体而言，输入识别部 1104通过获取从用户输入识别装置1004作为表示用户的动作的信息而输出的表示用户的 手的动作的信息，识别用户的输入动作和输入位置。然后，输入识别部1104在识别出用 户的输入动作和输入位置时，将表示手的动作的信息通知给操作判定部1106，并且将输入 位置通知给选择判定部1105。在此，作为表示手的动作的信息，采用例如将表示用户的手 的特征点在现实空间中的位置的位置数据按时间序列排列的数据。

另外，输入识别部1104在由用户开始使用本功能扩展系统时(例如电源接通时)，从该 用户获取用户标识符。在此，输入识别部1104可以通过认证用户的指纹或让用户输入用 户标识符来获取用户标识符。在认证用户的指纹的情况下，输入识别部1104预先将被允 许使用本功能扩展系统1001的用户的指纹的图像数据与用户标识符对应起来加以保存。 然后，输入识别部1104在本功能扩展系统1001的使用开始时让用户输入识别装置1004 获取用户的指纹的图像数据。然后，输入识别部1104可以将获取到的指纹的图像数据与 预先保存的指纹的图像数据进行对照，确定使用本功能扩展系统的用户，从而获取所确定 的用户的用户标识符。

另外，在让用户输入用户标识符的情况下，可以使影像输出装置1005显示键盘的图 形，通过该图形用户输入用户标识符。或者，可以在本功能扩展系统中设置物理键盘，通 过操作该键盘来输入用户标识符。此外，输入识别部1104将获取到的用户标识符通知给 操作判定部1106。

选择判定部1105基于由对象识别部1101识别出的各物体在现实空间中的位置和由输 入识别部1104识别出的现实空间中的输入位置，从由对象识别部1101识别出的各物体中 判定被用户选择为操作对象的选择物体。

具体而言，选择判定部1105被3D模型管理部1102通知各物体的位置数据与物体标 识符相对应的物体信息D5，从被提供的物体信息D5中识别各物体在现实空间中的位置。 然后，选择判定部1105将重叠在由输入识别部1104通知的用户的当前的输入位置而存在 的物体判定为选择物体。在此，当物体相对于输入位置位于指定范围内时，选择判定部1105 可以判断该物体是选择物体。另外，在多个物体相对于输入位置存在于指定范围内的情况 下，可以将离输入位置最近的物体判定为选择物体。然后，选择判定部1105将选择物体 的物体标识符通知给操作判定部1106。

此外，在省略了3D模型管理部1102的情况下，选择判定部1105被对象识别部1101 通知识别出的各物体在现实空间中的位置。然后，选择判定部1105根据从对象识别部1101 通知的各物体在现实空间中的位置和从输入识别部1104通知的输入位置，判定用户所选 择的选择物体。然后，选择判定部1105将选择物体的物体标识符通知给操作判定部1106。

操作判定部1106根据由输入识别部1104识别出的输入动作判定用户对选择物体进行 的操作。在此，操作判定部1106所判定的“操作”不是手的坐标信息、加速度信息，而是“描”、 “抓”、“敲”这样的对人的动作赋予含义的操作信息。

具体而言，操作判定部1106管理将从输入识别部1104提供的表示手的动作的信息与 用户的“操作”对应起来的词典信息。然后，当从输入识别部1104提供表示手的动作的信 息时，操作判定部1106参照词典信息，进行判定与表示手的动作的信息对应的操作的处 理。在此，词典信息既可以预先登记，也可以从用户的手的动作的履历学习所得。此外， 作为从用户的手的动作判断用户的操作的技术，例如Prime Sense公司的Prime传感用 软件的NITE(Prime Sense’s Natural Interface Middleware)的手势识别功能已为公知， 操作判定部1106可以利用该技术来判定用户的操作。

然后，操作判定部1106当判定出用户的操作时，向处理决定部1107通知将用户的操 作、由选择判定部1105判定出的选择物体的物体标识符与用户标识符对应起来的处理委 托D6。

处理决定部1107当由操作判定部1106通知了处理委托D6时，取出该处理委托D6 所包含的物体标识符(选择物体的物体标识符)和用户标识符，将取出的物体标识符和用户 标识符作为用于询问对选择物体设定的功能(操作和处理的组)的功能询问委托D4通知给 功能设定部1103。

此外，处理决定部1107也可以通过让选择判定部1105通知选择物体的物体标识符来 识别选择物体。

功能设定部1103当被通知了功能询问委托D4时，参照图4(A)所示的功能设定信息， 根据构成功能询问委托D4的物体标识符和用户标识符确定各用户对该物体设定的功能， 将与确定的功能对应的功能对应信息D7(图3(C))通知给处理决定部1107。

然后，处理决定部1107将从功能设定部1103通知的功能对应信息D7与从操作判定 部1106通知的处理委托D6所表示的用户的操作进行对照，决定对选择物体执行的处理。

在此，当处理决定部1107所决定的处理是伴随对物体的图形重叠的处理时，处理决 定部1107向3D模型管理部1102通知选择物体的物体标识符、以及表示对选择物体重叠 的图形的大小、形状以及重叠位置的数据被指定的图形的重叠委托D2。

由此，对物体的处理通过视觉反馈给用户，能够对用户赋予操作感。

另外，在处理决定部1107所决定的处理是附随于对物体的图形重叠对用户赋予触觉 的处理的情况下，处理决定部1107向触觉输出控制部1110通知触觉输出委托D8。由此， 对物体的处理不仅通过视觉还通过触觉反馈给用户，能够对用户赋予更具刺激的操作感， 能够进一步提高用户的好奇心。

在此，处理决定部1107在决定了伴随图形重叠的处理时，向3D模型管理部1102通 知图形的重叠委托D2，但在省略了3D模型管理部1102的情况下，可以向图形生成部1108 通知图形的重叠委托D2。

在这种情况下，图形生成部1108从图形的重叠委托D2所规定的信息生成重叠到选 择物体的图形。然后，图形生成部1108可以从3D模型管理部1102获取选择物体在影像 数据中的位置数据，将描绘委托D9输出到影像输出控制部1109。

另外，在本发明中，除了3D模型管理部1102以外还可以省略图形生成部1108。在 这种情况下，处理决定部1107可以生成对选择物体重叠的图形，将所生成的图形与影像 数据中的重叠位置对应起来的数据作为描绘委托D9输出到影像输出控制部1109，对选择 物体重叠图形。

图形生成部1108生成对3D模型管理部1102所管理的物体重叠的图形。具体而言， 当从3D模型管理部1102提供了图形生成委托D3时，图形生成部1108按照图形生成委 托D3所包含的图形生成信息生成图形。在此，图形生成部1108例如将用于在图形生成 信息所规定的选择物体在影像数据中的位置处显示所生成的图形的描绘委托D9输出到影 像输出控制部1109。

此外，在本发明中，也可以省略图形生成部1108。在这种情况下，处理决定部1107 可以生成对影像数据所包含的选择物体重叠的图形，将用于在选择物体在影像数据中的位 置处显示所生成的图形的描绘委托D9输出到影像输出控制部1109。

影像输出控制部1109在处理决定部1107所决定的处理是伴随对选择物体的图形重叠 的处理时，向影像输出装置1005提供在影像输入装置1003所获取到的影像数据显示的选 择物体上重叠图形生成部1108所生成的图形而得到的影像数据。

另外，影像输出控制部1109在处理决定部1107所决定的处理是不伴随对物体的图形 重叠的处理时，不对由影像输入装置1003获取的影像数据重叠图形而提供给影像输出装 置1005。

触觉输出控制部1110按照从处理决定部1107通知的触觉输出委托D8，让触觉输出 装置1006动作。作为触觉输出委托D8，采用例如用于驱动触觉输出装置1006的电子信 号，该电子信号被提供给触觉输出装置1006指定时间，触觉输出装置1006被驱动指定时 间来对用户赋予触觉。

以上是关于功能扩展装置1002所具备的各结构的说明。

影像输入装置1003例如以指定的帧率拍摄现实空间的影像，获取现实空间的影像数 据，将获取到的影像数据依次提供给功能扩展装置1002。在此，作为影像输入装置1003， 可列举例如3D照相机、深度传感器。

用户输入识别装置1004获取表示用户的动作的信息，并提供给功能扩展装置1002。 作为识别用户的动作的装置，大体分为识别用户的手的动作的3D位置估计设备、识别用 户的视线的动作的设备、识别用户的声音(语言)输入的设备以及识别用户的脑波的设备、 识别用户的位置信息的设备。

作为3D位置估计设备，可列举例如深度传感器、红外线传感器、磁传感器、超声波 传感器、立体照相机以及加速度传感器等。作为深度传感器，可列举例如Panasonic电工 公司的D-IMager(注册商标)、Microsofit公司的KINECT(注册商标)、Prime Sense的 Prime传感器等。

作为加速度传感器，列举任天堂公司的Wii遥控器(注册商标)。另外，作为识别用户 的位置信息的设备，列举GPS。

在本实施方式中，作为用户输入识别装置1004，可以采用3D位置估计设备、识别用 户视线的移动的设备、识别用户声音(语言)输入的设备以及识别用户的脑波的设备以及识 别用户的位置信息的设备的其中之一，但在以下的说明中，以识别用户的手的动作作为用 户的动作的情况为例进行说明，因此作为用户输入识别装置1004采用深度传感器、3D照 相机。此外，在图1中，将影像输入装置1003和用户输入识别装置1004描述为不同的模 块，但是在用深度传感器或3D照相机构成影像输入装置1003和用户输入识别装置1004 的情况下，可以用相同的深度传感器或3D照相机构成两个模块。

影像输出装置1005输出功能扩展装置1002所构建的影像。在本实施方式中，作为影 像输出装置1005例如采用头戴式显示器。

触觉输出装置1006接收来自触觉输出控制部1110的指示，对用户赋予触觉。具体而 言，触觉输出装置1006将从触觉输出控制部1110输出的电子信号变换为对于用户来说能 够感觉的物理表现。在此，作为物理表现，例如采用振动。在这种情况下，可以采用佩戴 于用户的身体的振动器作为触觉输出装置1006。作为振动器的佩戴位置，例如采用用户的 手尖、用户的腰的位置等，但是只要是用户能够感到触觉的位置，就可以采用任何位置。 这样，通过让用户佩戴振动器作为触觉输出装置1006，能够对佩戴HMD移动的用户可 靠地赋予触觉。

此外，作为附随于图形的重叠向用户赋予的物理现象，并不限定于触觉，例如也可以 采用声音。在这种情况下，当用户的耳朵上佩戴耳机，执行对选择物体的处理时，处理决 定部1107将说明处理的执行的声音信号输出到耳机，可以从耳机输出声音。

存储装置1007例如由非易失性存储装置构成，记录功能设定部1103对物体设定的功 能(操作和处理的组)以及处理决定部1107所决定的数据。

图2是示意性地示出图1所示的功能扩展系统1001识别现实空间的物体并设定与该 物体的种类相适应的功能的处理以及利用所设定的功能的处理的一例的图。

扩展现实空间是指用户通过头戴式显示器等输出设备来识别的虚拟空间。在不配备头 戴式显示器时，用户识别现实空间，在配备了头戴式显示器时，用户识别扩展现实空间。

图2(A)是示意性地示出对象识别现实空间的物体并对作为对象识别出的物体设定功 能的处理的一例的图。图2(A)的左侧框内的图表示现实空间2001。在现实空间2001内例 如存在6个物体2001a至2001f。

图2(A)的右侧框内的图表示扩展现实空间2002。在图2(A)的例子中，现实空间2001 中的物体2001a、2001d、2001e被作为对象识别，作为对象识别出的物体2001a、2001d、 2001e被取入到扩展现实空间2002，并分别被设定功能。对象识别是指功能扩展装置1002 对由影像输入装置1003获取的影像数据中出现的物体进行识别。

在本实施方式中，例如基于物体的种类、大小、向用户的询问结果等，设定适合于该 物体的功能。例如，由于物体2001a的种类为“书”，因此在扩展现实空间2002中设定有“读 书履历记录功能”。

另外，由于物体2001d的种类为“罐”，因此在扩展现实空间2002中设定有“颜色变更 功能”。在这种情况下，在罐上重叠显示图形以使罐例如在被用户打开之前为蓝色而在打开 之后为红色。

另外，由于物体2001e的种类为“地球仪”，因此在扩展现实空间2002中设定有“搜索 功能”。在这种情况下，当用户用手指接触记载于地球仪上的某一场所时，关于该场所的信 息被显示在扩展现实空间2002内。

图2(B)是示意性地示出利用对作为对象识别的物体设定的功能的处理的一例的图。图 2(B)的左侧框内的图表示现实空间2101，右侧框内的图表示扩展现实空间2102。

如图2(B)的右侧所示的扩展现实空间2102所示那样，对设定有功能的物体2001a、 2001d、2001e实施了用于对用户在视觉上提示功能被设定的情况的视觉效果。因而，在 对物体实施了视觉效果的情况下，用户能够识别对该物体设定了功能，从而利用该功能。

在图2(B)的例子中，对物体2001a、2001d、2001e设定了功能，为了使用户在视觉 上识别该情况，将物体2001a、2001d、2001e的亮度设定得高于现实空间2101的亮度。

此外，本实施方式的功能扩展装置1002对现实世界中的物体进行识别并设定适合于 该物体的功能的处理以及利用对物体设定的功能的处理并不限定于该例子。

图3是示意性地示出功能设定部1103所保存的功能信息的一例的图。在图3的例子 中，功能信息具有从上位层起依次包括(A)所示的“功能类别候选信息”、(B)所示的“功能一 览信息”以及(C)所示的“功能对应信息”的3层的分层结构。

“功能类别候选信息”保存对物体的各种类能够设定的功能类别的候选。“功能一览信 息”保存各个功能类别所具备的功能的一览。“功能对应信息”保存对(B)所示的功能分别规 定的操作和处理的组。

图3(A)所示的功能类别候选信息具有列3001至3004。在列3001中保存有功能类别 的标识符。在列3002中保存有功能类别。在列3003中保存有对各功能类别能够设定的物 体的种类。在列3004中保存有用于参照与各功能类别对应的功能一览信息的指针。

图3(B)所示的功能一览信息是保存在图3(A)的行3011中的功能类别为“写入履历记 录的记录”的功能一览信息。在图3(B)的例子中，功能一览信息具有列3101至3103和行 3111至3113。

列3101中保存有功能的标识符。列3102中保存有表示各功能是默认功能还是自定义 功能的信息。在此，默认功能是对相当于记载于列3003中的物体种类的物体预先设定的 功能。

自定义功能1、2由利用功能扩展系统1001的用户所选择的操作和处理、判断为适合 于物体的特征(形状和大小)而设定的操作和处理、或者从构成功能扩展系统1001的装置的 性能能够选择的操作和处理等与默认功能不同的操作和处理的组构成。在列3103中保存 有用于参照与各功能对应的功能对应信息的指针。

图3(C)所示的功能对应信息规定构成在图3(B)的功能一览信息中列举的各功能的操 作和处理的组。

在图3(C)的例子中示出规定构成图3(A)所示的功能类别为“写入履历记录的记录”的默 认功能的一系列操作和处理的组的功能对应信息。功能对应信息具有列3201、3202。列 3201中保存有规定用户进行的操作的信息。列3202中保存有与各操作对应的处理的内容。

例如，当对象识别部1101识别出种类为”书”的物体时，功能设定部1103参照图3(A) 的功能类别候选信息，判断对”书”能够设定标识符为“A”的“写入履历记录的记录”以及标识 符为“T”的“种类显示”作为功能。

如图3(B)的功能一览信息所示，对于“写入履历记录的记录”能够选择标识符为“A-a” 的“默认功能”、标识符为“A-b”的“自定义功能1”以及标识符为“A-c”的“自定义功能2”。在 此，在没有特别指定的情况下，选择“默认功能”，设定图3(C)的功能对应信息所示的操作 和处理作为”书”的物体的功能。

而且，当操作判定部1106识别出由用户输入了“描”的操作时，处理决定部1107参照 图3(C)所示的功能对应信息，决定作为与“描”的操作对应的处理的“画下划线”的处理。由 此，图形生成部1108在扩展现实空间的书上生成表示用户用手指描过的位置的下划线的 图形，影像输出装置1005将该下划线的图形重叠在扩展现实空间的书上进行显示。由此， 用户在扩展现实空间中能够在书上画下划线。

图4(A)是示出表示功能设定部1103对由对象识别部1101作为对象识别出的各物体 设定的功能的功能设定信息的一例的图。在功能设定信息中，将被作为对象识别并取入到 扩展现实空间的物体与对该物体设定的功能对应起来加以存储。

功能设定信息具备列4001至4005。列4001中保存有作为对象识别出的物体的物体 标识符“ObjectID”。列4002中保存有作为对象识别出的各物体的种类。列4003中保存有 对作为对象识别出的各物体设定的功能类别的标识符。列4004中保存有对作为对象识别 出的各物体设定的功能的标识符。在此，为了简单，设连字符以下为“-a”的标识符表示默 认功能，连字符以下为“-b”的标识符表示自定义功能。列4005中保存有表示对作为对象识 别出的各物体设定的功能是有关哪个用户的功能的用户标识符。

行4011至4018分别表示与作为对象识别出的各物体对应的记录。在此，在即使对同 一物体也由多个用户设定不同的功能的情况下，按用户分行。

图4(B)是示意性地示出本发明的实施方式的功能扩展装置1002对作为对象识别出的 物体设定的功能的一例的图。

图4(B)所示的框内的图表示在扩展现实空间4101中被作为对象识别出的物体。物体 2001a至2001f是影像输入装置1003所获取到的影像数据中所包含的物体。物体2001a 至2001f被对象识别，被赋予物体标识符(ObjectID)ID1至ID6。

物体2001a是ObjectID为“ID1”、种类为”书”的物体。而且，物体2001a在扩展现实 空间4101中例如设定有“写入履历记录的记录”的功能。物体2001d是ObjectID为“ID5”、 种类为“罐”的物体。而且，物体2001d在扩展现实空间4101中例如设定有“颜色变更功能”。 物体2001e是ObjectID为“ID6”、种类为“地球仪”的物体。而且，物体2001e在扩展现实 空间4101中例如设定有“搜索功能”。

功能扩展系统1001对作为对象识别出的物体设定功能的处理并不限定于该例子。另 外，稍后用图6的流程图说明设定功能的处理。

图5是表示在本发明的实施方式的功能扩展装置1002中执行的初始化处理的一例的 流程图。首先，功能设定部1103保存图3所示的预先制作的功能信息(S5001)。在此，功 能信息预先被存储在存储装置1007中，例如当功能扩展装置1002的电源被用户接通时， 功能设定部1103从存储装置1007读出功能信息并通过保存在省略图的RAM等中，来保 存功能信息。

此外，功能设定部1103也可以从通过通信网络与功能扩展装置1002连接的服务器随 时读入最新的功能信息。在这种情况下，可以使用图1所示的功能扩展装置1002的通信 部1008。通信部1008由用于将功能扩展装置1002连接到通信网络NT的通信装置构成。 作为通信网络NT，例如采用因特网。

服务器1009(外部判定装置的一例)例如由管理功能扩展系统1001的管理者所持有， 由操作员随时保存制作成的最新的功能信息。并且，当功能扩展装置1002的电源被接通 时，对服务器1009发送功能信息的取入请求。然后，如果服务器1009接收到功能信息的 取入请求，则向发送了功能取入请求的功能扩展系统1001发送最新的功能信息。通信部 1008在接收到功能信息时，将该功能信息提供给功能设定部1103。

由此，功能设定部1103能够利用始终最新的功能信息对作为对象识别出的物体设定 功能。因此，能够防止对作为对象识别出的物体设定不需要的功能。

图6是表示本发明的实施方式的功能扩展装置1002对物体进行对象识别并对作为对 象识别出的物体设定功能的处理的一例的流程图。

首先，对象识别部1101对包含在由影像输入装置1003获取的现实空间的影像数据中 的物体进行识别，将识别出的物体的种类、形状、大小以及在现实空间的位置通知给3D 模型管理部1102(S6001)。此外，在省略了3D模型管理部1102的情况下，对象识别部 1101可以对识别出的物体赋予物体标识符，将物体标识符以及识别出的各物体的种类、形 状、大小以及在现实空间的位置作为物体识别通知D1通知给功能设定部1103。

在此，作为表示物体的形状的数据，可以采用例如表示物体的特征点的配置图案的数 据。另外，作为表示物体的大小的数据，可以采用物体的轮廓内的面积。另外，作为现实 空间的位置，可以采用表示以功能扩展系统1001为基准时的物体的位置的三维数据。

3D模型管理部1102对由对象识别部1101识别出的物体的种类、形状、大小以及位 置赋予物体标识符，针对各物体生成3D立体视觉模型(S6002)。然后，3D模型管理部1102 保存所生成的各3D立体视觉模型，并且将其作为物体识别通知D1通知给功能设定部 1103。

此外，在省略了3D模型管理部1102的情况下，对象识别部1101可以向功能设定部 1103通知物体识别通知D1。

接着，功能设定部1103在不存在与识别出的物体对应的对象类的实例(instance)的情 况下，生成对象类的实例并加以保存(S6003)。

在此，对象类是指识别出的物体的“物体标识符”、“种类”、“设定的功能”、“设定的用 户”以及“功能设定已实施标志”已被定义的类。另外，实例是指规定识别出的各物体的“物 体标识符”、“种类”、“设定的功能”、“设定的用户”以及“功能设定已实施标志”的实例。

接着，功能设定部1103判定实例的“功能设定已实施标志”是OFF还是ON(S6004)。

在S6004中，当存在“功能设定已实施标志”为OFF的实例时(在S6004中为“是”)， 即在存在未完成设定功能的物体的情况下，功能设定部1103参照图3(A)所示的功能类别 候选信息，从识别出的物体的种类搜索对该物体能够设定的功能类别的候选(S6005)。在 图3(A)的例子中，对于种类为书的物体，能够设定的功能类别的候选是标识符为“A”的“写 入履历记录的记录”和标识符为“T”的“种类显示”。

另一方面，在S6004中，当所有的实例的“功能设定完毕标志”为ON时(在S6004中 为“否”)、即在对所有的物体已设定功能的情况下，结束处理。

接着，功能设定部1103从搜索到的能够设定的功能类别的候选中选择一个功能类别 的候选(S6006)。在图3(A)的例子中，种类为书的物体能够设定的功能类别的候选是“写入 履历记录的记录”和“种类显示”。因此，功能设定部1103如首先选择保存在上侧的行中的 “写入履历记录的记录”，接着选择“种类显示”那样从上起按顺序选择图3(A)所示的功能类 别的候选。

接着，功能设定部1103决定是否将在所选择的功能类别中被定义的一系列操作和处 理中的哪一个操作和处理设定给相应的物体(S6007)。

下面，记载功能设定部1103决定操作和处理的方法的三个例子。

(方法1)

方法1是从识别出的物体的形状、大小以及功能扩展系统1001的规格决定适合于该 物体的操作和功能的方法。

具体而言，列举如下的(例1-a)至(例1-d)。

(例1-a)

功能设定部1103根据操作判定部1106是否具有识别文字的功能，来判定是否将关于 “写”的操作设定为功能。例如，有时操作判定部1106虽然能够识别用户的“描”的动作，但 是不具有从识别出的“描”的动作识别出用户所输入的文字的功能。在这种情况下，即使将 图3(C)所示的“写”的操作设定为功能也是无用的。因此，功能设定部1103在操作判定部 1106不具有文字识别功能的情况下，不将“写”的操作设定为功能。

例如，对于种类为书的物体，功能设定部1103进行以下的处理。首先，功能设定部 1103参照与“写入履历记录的记录”的默认功能对应的功能对应信息(图3(C))。然后，功能 设定部1103如果决定省略关于“写”的操作，则从默认功能的功能对应信息中删除规定关 于“写”的操作和处理的行3214。然后，功能设定部1103将行3214被删除的功能对应信 息生成为自定义功能1，将自定义功能1与书对应起来。具体而言，功能设定部1103对 自定义功能1赋予标识符“A-b”，生成并保存自定义功能1的功能对应信息，将标识符“A-b” 写入书的实例的“设定的功能”。由此，将自定义功能1的功能对应信息中被规定的一系列 操作和处理设定为书的功能。

(例1-b)

功能设定部1103根据物体的大小判定是否将图3(C)所示的“文字记入”的处理设定为 功能。例如，在对象识别部1101识别出的物体为书的情况下，如果是大的书则用户写入 文字，如果是小的书则用户不写入文字。在这种情况下，功能设定部1103在物体的大小 小于规定值时，对该物体不设定“文字记入”的处理。

例如，在对于类为书的物体，功能设定部1103进行以下的处理。首先，功能设定部 1103参照与“写入履历记录的记录”的默认功能对应的功能对应信息(图3(C))。然后，功能 设定部1103如果决定省略关于“文字记入”的处理，则从默认功能的功能对应信息中删除 规定关于“文字记入”的操作和处理的行3214。然后，功能设定部1103将行3214被删除 的功能对应信息生成为自定义功能1，将自定义功能1与书对应起来。

(例1-c)

功能设定部1103根据存储装置1007的容量、访问限制功能的有无，判断是否将“写 入履历记录的记录”设定为功能。例如，当存储装置1007的容量小、或对存储装置1007 的访问施加有限制时，存储装置1007无法存储用户的写入履历记录。在这种情况下，即 使将“写入履历记录的记录”设定为物体的功能也是无用的。

因此，功能设定部1103在存储装置1007的容量小于规定值、或对存储装置1007施 加有访问限制的情况下，不将“写入履历记录的记录”设定为功能。

例如，对于种类为书的物体，功能设定部1103在判定对书不设定“写入履历记录的记 录”的功能的情况下，不使“写入履历记录的记录”的标识符“A”与书的物体标识符相对应。 由此，对书不设定“写入履历记录的记录”所规定的所有操作和处理。

(例1-d)

例如，作为物体考虑椅子。椅子存在旋转式的椅子和固定式的椅子。固定式的椅子的 形状一般是腿为4根。旋转式的椅子一般是腿为1根。对于固定式的椅子，用户不进行“旋 转”的操作。在这种情况下，即使对固定式的椅子将“旋转”的操作设定为功能也是无用的。

因此，功能设定部1103在对象识别部1101识别出的物体是椅子且形状为具有4根腿 的情况下，对椅子不设定关于“旋转”的操作和处理。

假设在表示例如图3(C)所示的默认功能的功能对应信息中规定了关于旋转的操作和 处理。在这种情况下，功能设定部1103针对种类为椅子且形状为具有4根腿的物体，将 从功能对应信息中删除了规定关于“旋转”的操作和处理的行的功能对应信息生成为自定义 功能1。然后，将所生成的自定义功能1的标识符与椅子的物体标识符对应起来。

(方法2)

方法2是管理功能扩展系统1001的管理者对识别出的各物体设定功能的方法。具体 而言，功能设定部1103委托服务器1009进行对识别出的各物体能够设定的操作和处理的 判定处理。于是，服务器1009对被委托了判定处理的物体判定操作和处理，将包含判定 出的操作和处理的判定结果发送到功能扩展系统1001。此外，作为管理者，相当于功能扩 展系统1001的制造者、向功能扩展系统1001提供应用程序的提供者、进行功能扩展系统 1001的管理服务的服务提供者。

然后，功能设定部1103将服务器1009的判定结果所表示的操作和处理设定为已被进 行判定委托的物体的功能。

在此，服务器1009使用与上述的方法1相同的方法来进行判定处理。也就是说，服 务器1009预先保存图3所示的功能信息，当接收到判定委托时，参照功能信息来决定已 被进行判定委托的物体的操作和处理。在此，判定委托中包含物体标识符、形状、大小、 设备信息等。而且，服务器1009可以根据包含在判定委托中的物体标识符、形状、大小 以及设备信息决定操作和处理。此外，作为设备信息，包含操作判定部1106是否具有文 字识别功能以及存储装置1007的存储容量等的信息。

(方法3)

方法3是向用户提示能够设定的操作和处理并让用户从所提示的操作和处理中选择所 希望的操作和处理的方法。具体而言，当由对象识别部1101识别出种类为书的物体时， 功能设定部1103向用户提示与书的默认功能对应的功能对应信息中规定的操作和处理(图 3(C))。

在这种情况下，功能设定部1103可以将用于显示图3(C)所示的操作和处理的显示委 托通知给图形生成部1108，让影像输出装置1005显示将图3(C)所示的操作和处理进行列 表显示的图形。

用户将从列表显示于影像输出装置1005的操作和处理中选择所希望的操作和处理的 选择指令输入到用户输入识别装置1004。于是，功能设定部1103将包含由用户选择的操 作和处理的功能对应信息生成为自定义功能1，并使自定义功能1和选择了操作和处理的 用户的用户标识符与书对应起来。

在此，对于与已由某用户将自定义功能1对应起来的物体相同的物体(物体标识符相同 的物体)，有时会有其它用户选择操作和处理。在这种情况下，功能设定部1103将包含其 它用户选择的操作和处理的功能对应信息生成为自定义功能2，并使其它用户的用户标识 符和自定义功能2与物体对应起来。由此，即使对于同一物体，也能够按用户对该物体设 定功能。通过以上，设定适于各物体的功能。

返回到图6，功能设定部1103判定是否选择了所有的能够设定的功能类别的候选 (S6008)。然后，在选择了所有的能够设定的功能类别的情况下(在S6008中为“是”)，功能 设定部1103将决定设定的功能设定为对象类的实例，将“功能设定已实施标志”设定为 ON(S6009)。另一方面，功能设定部1103在未选择所有的能够设定的功能类别的情况下(在 S6008中为“否”)，将处理返回到S6006，继续进行处理。

也就是说，功能设定部1103反复进行S6006至S6008的处理直到识别出的所有物体 的实例的“功能设定已实施标志”变为ON为止，并结束处理。

例如，对于书，在图3(A)中，首先选择“写入履历记录的记录”。然后，对于“写入履历 记录的记录”，若利用方法1至方法3的其中之一生成功能对应信息，则接着选择“种类显 示”，对于“种类显示”利用方法1至方法3的其中之一生成功能对应信息。此外，在图3中， 未示出与“种类显示”对应的功能对应信息，但在具有如图3(C)所示的默认的功能对应信息 的情况下，功能设定部1103可以利用该默认的功能对应信息生成功能对应信息。

图7是表示本发明的实施方式的功能扩展装置1002识别用户的操作并执行对物体设 定的功能时的处理的一例的流程图。

输入识别部1104根据由用户输入识别装置1004获取的表示用户的手的动作的信息识 别用户的输入动作和输入位置，将输入位置通知给选择判定部1105，并且将表示手的动作 的信息通知给操作判定部1106(S7001)。

接着，选择判定部1105根据从输入识别部1104通知的输入位置和从3D模型管理部 1102通知的物体信息D5判定用户所选择的选择物体(S7002)。

接着，操作判定部1106根据从输入识别部1104通知的表示用户的手的动作的信息判 定用户的操作(S7003)。

接着，处理决定部1107将用于询问对选择物体设定的功能的功能询问委托D4通知 给功能设定部1103(S7004)，获取对该物体设定的功能。

具体而言，功能设定部1103首先参照图4所示的功能设定信息，确定对选择物体设 定的功能。例如，假设包含在功能询问委托D4中的物体标识符为“ID1”，当前正在使用功 能选择系统的用户是A。在这种情况下，功能设定部1103参照图4所示的行4011。于是， 在行4011的列4004中保存作为功能的标识符的“A-a”。也就是说，对功能询问委托D4 所涉及的书设定“写入履历记录的记录”的默认功能。

因此，功能设定部1103将与功能的标识符“A-a”对应的功能对应信息(参照图3(C))通 知给处理决定部1107。由此，处理决定部1107获取对作为选择物体的书设定的功能。

接着，处理决定部1107参照获取到的功能，决定与由操作判定部1106判定出的操作 对应的处理(S7005)。例如，若设由用户输入的操作为“描”，则处理决定部1107参照图3(C) 所示的功能对应信息，决定与“描”的操作对应的“画下划线”的处理。

接着，处理决定部1107判定所决定的处理是否伴随图形重叠(S7006)。在此，关于处 理是否伴随图形重叠的判定，可以根据所决定的处理的内容来判定。例如，在图3(C)的例 子中，“显示前次为止的写入履历记录”、“画下划线”、“记入文字”的处理是伴随图形的重叠 的处理。因而，处理决定部1107在所决定的处理相当于上述的处理时，判定是伴随图形 的重叠的处理。

然后，在所决定的处理伴随图形的重叠的情况下(在S7006中为“是”)，处理决定部1107 将包含图形的大小、形状以及重叠位置的图形的重叠委托D2通知给3D模型管理部 1102(S7007)。

接着，3D模型管理部1102将所通知的图形的重叠委托D2生成为图形生成信息，将 该图形生成信息作为图形生成委托D3通知给图形生成部1108(S7008)。

接着，图形生成部1108按照图形生成委托D3生成图形(S7009)，将描绘委托D9通 知给影像输出控制部1109。接着，影像输出控制部1109按照描绘委托D9，将由图形生 成部1108生成的图形重叠于影像数据所显示的选择物体上(S7010)，并提供给影像输出装 置1005。在S7006中，如果处理不伴随图形的重叠(在S7006中为“否”)，则处理进入S7011。

此外，在省略了3D模型管理部1102和图形生成部1108的情况下，在S7007至S7009 中，处理决定部1107可以生成在选择物体上重叠的图形，并将表示所生成的图形和重叠 位置的描绘委托D9通知给影像输出控制部1109。

接着，处理决定部1107判定所决定的处理是否包含操作/利用状况的记录(S7011)。 然后，在判定所决定的处理包含操作/利用状况的记录的情况下(在S7011中为“是”)，处理 决定部1107将操作/利用状况记录到存储装置1007中(S7012)，并结束处理。在此，作为 包含操作/利用状况的记录的处理，相当于例如图3(C)所示的“开始记录写入履历记录”以及 “结束记录写入履历记录”的处理。

处理决定部1107在决定“开始记录写入履历记录”的处理时，开始由用户输入的文字 的记录。以后，每次由用户输入文字时，该文字都被保存到存储装置1007中。然后，处 理决定部1107在决定“结束记录写入履历记录”的处理时，结束文字向存储装置1007的保 存。

另一方面，在所决定的处理不包含操作/利用状况的记录的情况下(在S7011中为“否”)， 跳过S7012结束处理。

这样，根据本实施方式的功能扩展装置1002，对作为对象识别出的物体不是设定固定 的功能，而是动态地设定适于该物体的种类的功能。

因此，即使不对各物体分别设定功能，也能够对物体设定功能。因而，即使用户在完 全没有设定功能的现实空间中移动物体，也能够对该物体设定功能。

此外，可以将图1所记载的所有模块搭载于头戴式显示器，也可以将一部分模块搭载 于头戴式显示器，由集成电路等构成其它模块，外置于头戴式显示器。

另外，上述的本发明的实施方式所涉及的功能扩展装置的处理过程可以通过由CPU 对保存在存储装置(ROM、RAM、硬盘等)中的能够执行上述的处理过程的功能扩展程序 进行解释执行来实现。在这种情况下，功能扩展程序既可以通过存储介质导入存储装置内， 也可以从存储介质上直接执行。此外，存储介质是指ROM、RAM、快闪存储器等的半导 体存储器、软盘、硬盘等的磁盘存储器、CD-ROM、DVD、BD等的光盘存储器以及存储 卡等。另外，存储介质是包含电话线路、传输路等的通信介质的概念。

另外，上述的本发明的实施方式所涉及的功能扩展装置的各结构能够分别作为集成电 路的LSI而实现。这些结构既可以分别被单片化，也可以以分别包含全部或一部分的方式 而被单片化。在此，虽然设为LSI，但是也可以根据集成度的差异而有时称为IC、系统 LSI、超级(super)LSI、大规模(ultra)LSI。

另外，集成电路化的方法不限于LSI，也可以由专用电路或通用处理器实现。也可以 利用在制造LSI之后能够编程的FPGA(Field Programmable Gate Array：现场可编程 门阵列)、能够将LSI内部的电路单元的连接或设定重新构成的可重构处理器。并且，如 果通过半导体技术的进步或派生的其它技术而出现取代LSI的集成电路化的技术，则当然 也可以利用该技术来进行功能模块的集成化。生物技术的应用例具有可能性。

上述的功能扩展装置的技术的特征能够归纳为如下。

(1)功能扩展装置是将现实空间中的物体取入到扩展现实空间并对该物体设定功能的 功能扩展装置，包括：对象识别部，从由影像输入装置获取的现实空间的影像数据识别包 含在该影像数据中的物体，对识别出的物体的种类以及该物体在现实空间中的位置进行识 别；功能设定部，保存针对物体的各种类能够设定的由操作和处理的组构成的功能被规定 的功能信息，在由所述对象识别部识别出物体时，参照所述功能信息，根据识别出的物体 的种类对该物体设定功能；输入识别部，识别在所述现实空间中由用户进行的输入动作以 及所述输入动作被进行的现实空间中的输入位置；选择判定部，基于所述对象识别部识别 出的物体在现实空间中的位置以及所述输入识别部识别出的现实空间中的输入位置，判定 由用户选择为操作对象的选择物体；操作判定部，使用所述输入识别部识别出的输入动作， 来判定用户的操作；处理决定部，针对所述选择判定部所选择的选择物体决定对构成由所 述功能设定部设定的功能的操作中、由所述操作判定部判定出的操作的处理；以及执行部， 执行所述处理决定部所决定的处理。

根据该结构，预先保存针对物体的各种类能够设定的由操作和处理构成的功能被规定 的功能信息。并且，当从由影像输入装置获取的现实空间的影像数据识别出包含在影像数 据中的各物体时，参照功能信息，针对识别出的各物体以各物体的种类为指标来设定功能。

而且，当用户进行输入动作时，识别该输入动作和输入动作被进行的现实空间中的输 入位置。然后，基于识别出的各物体在现实空间中的位置和识别出的输入位置，从识别出 的各物体中判定由用户选择为操作对象的选择物体。然后，根据输入动作判定用户的操作， 决定与该操作对应的处理，对选择物体执行所决定的处理。

因而，能够对识别出的物体动态地设定适合的功能。因此，即使不预先对各物体设定 功能，也能够对各物体设定功能。

(2)优选的是，所述对象识别部针对各识别出的物体辨别该物体的种类，即使是种类相 同的物体，所述功能设定部也对各物体设定功能。

例如，如果对种类相同但大小或性能不同的物体设定完全相同的功能，则有可能对物 体设定不需要的功能。因此，通过即使是种类相同的物体也对各物体分别设定功能，能够 更加可靠地防止对物体设定不需要的功能。

(3)优选的是，所述输入识别部获取用于辨别进行了输入动作的用户的用户标识符，所 述功能设定部在由所述对象识别部识别出物体时，向用户提示对该物体的种类能够设定的 操作和处理的候选，将由用户选择的操作和处理设定为该物体的功能，并将所设定的功能 与所述用户标识符对应起来加以保存，所述处理决定部决定对构成由所述功能设定部为具 有所述用户标识符的用户设定的功能的操作中、由所述操作判定部判定出的操作的处理。

根据该结构，即使是同一物体，也能够配合用户的喜好按用户分别设定功能。

(4)优选的是，所述功能设定部在由所述对象识别部识别出物体时，判定对该物体的种 类能够设定的操作和处理中的、对该物体能够设定的操作和处理，将判定出的操作和处理 设定为该物体的功能。

根据该结构，能够将根据物体的种类确定的一系列操作和处理中的适合于各物体的操 作和处理设定为功能，能够对各物体设定更加适合的功能。

(5)优选的是，所述对象识别部识别物体的形状和大小，所述功能设定部基于所述对象 识别部识别出的物体的形状和大小的至少其中之一，判定对该物体能够设定的操作和处 理。

根据该结构，能够基于物体的形状和大小的至少其中之一设定适合于物体的包含操作 和处理的功能。

(6)优选的是，所述功能设定部基于所述功能扩展装置的能力以及与所述功能扩展装置 连接的外围装置的能力，判定对由所述对象识别部识别出的物体能够设定的操作和处理。

根据该结构，能够基于功能扩展装置的能力、外围装置的能力对物体设定包含可执行 的操作和处理的功能。

(7)优选的是，功能设定部通过指定的通信网络与外部判定装置连接，在由所述对象识 别部识别出物体时，将对该物体的种类能够设定的操作和处理中的、对该物体能够设定的 操作和处理的判定处理委托给所述外部判定装置，并根据所述外部判定装置的判定结果对 该物体设定功能。

根据该结构，由于外部判定装置判定对各物体的操作和处理，因此能够减轻功能扩展 装置的处理负担。

(8)优选的是，所述功能设定部从通过指定的通信网络连接的服务器获取所述功能信 息。

根据该结构，能够从服务器获取适宜的且最新的功能信息。

(9)优选的是，所述执行部具备将图形重叠在由所述影像输入装置获取的影像数据上而 显示于影像输出装置，上述的功能扩展装置还包括图形生成部，在由所述处理决定部决定 的处理是对所述选择物体重叠图形的处理的情况下，生成重叠到所述选择物体上的图形， 并将对所述选择物体重叠所生成的图形的描绘委托输出到所述影像输出控制部。

根据该结构，在通过由用户对选择物体进行操作而决定的处理是在选择物体上重叠图 形的处理的情况下，由图形生成部生成在选择物体上重叠的图形，使所生成的图形重叠在 影像数据中的选择物体上的描绘委托输出到影像输出控制部。然后，通过收到描绘委托的 影像输出控制部在影像数据中的选择物体上重叠图形，重叠后的影像数据显示在影像输出 装置上。因此，对于选择物体的处理通过视觉反馈到用户，能够对用户赋予操作感。

(10)优选的是，所述执行部具备控制对用户赋予触觉的触觉输出装置的触觉输出控制 部，所述触觉输出控制部驱动所述触觉输出装置以伴随图形在所述选择物体上的重叠而对 用户赋予触觉。

根据该结构，在对选择物体重叠图形时，触觉输出装置被驱动而对用户赋予触觉。因 此，对选择物体的处理不仅通过视觉而且还通过触觉反馈，能够对用户赋予更具刺激的操 作感，能够进一步提高用户对操作的好奇心。

(11)优选的是，上述的功能扩展装置还包括3D模型管理部，该3D模型管理部对由对 象识别部识别出的各物体赋予物体标识符，生成包含所述物体标识符、所述物体的种类以 及所述物体在现实空间中的位置的各物体的3D立体视觉模型，将所生成的各物体的3D 立体视觉模型作为物体识别通知通知给所述功能设定部，所述功能设定部在从所述3D模 型管理部通知了物体识别通知时，判定所通知的物体识别通知表示的物体是由所述对象识 别部识别出，并参照所述功能信息，根据识别出的物体的种类对该物体设定功能。

根据该结构，当由对象识别部识别出物体时，通过3D模型管理部对各物体赋予物体 标识符，针对各物体生成包含物体标识符、物体的种类以及物体在现实空间中的位置的3D 立体视觉模型，所生成的3D立体视觉模型作为物体识别通知被通知给功能设定部。这样， 当由对象识别部识别出物体时，与识别出的物体有关的信息被快速地通知给功能设定部， 因此功能设定部能够快速地对识别出的各物体设定功能。

(12)优选的是，所述3D模型管理部将由所述对象识别部识别出的各物体的位置数据 与物体标识符被对应起来的物体信息通知给所述选择判定部，所述选择判定部根据从所述 3D模型管理部通知的物体信息识别由所述对象识别部识别出的各物体在现实空间中的位 置，并将相对于由所述输入识别部识别出的所述输入位置位于指定范围内的物体判定为所 述选择物体。

根据该结构，当由对象识别部识别出物体时，从3D模型管理部向选择判定部通知将 物体标识符与各物体的位置数据对应起来的物体信息。因此，选择判定部能够根据从3D 模型管理部通知的物体信息识别各物体在现实空间中的位置。并且，选择判定部将识别出 的各物体的位置与用户的输入位置进行对照，从而能够正确地将相对于输入位置位于指定 范围内的物体判定为选择物体。

产业上的可利用性

本发明所涉及的功能扩展装置作为在使用头戴式显示器等的扩展现实的世界中对作 为作为对象识别出的物体动态地设定与物体的种类相适应的功能并利用该功能的手段极 为有用。