首页> 中国专利> 信息提供装置、信息提供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供系统

信息提供装置、信息提供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供系统

摘要

能够高效地检索包含符合用户喜好的物体的图像的图像数据,或者能够高效地推荐与符合用户喜好的摄影点有关的信息。信息提供装置从终端装置接收表示三维空间中的物体的配置的三维配置信息和用于确定三维空间中的视点位置和视线方向的视线信息,根据接收到的三维配置信息和视线信息,生成表示投影到二维面上的物体在二维面内的配置的二维配置信息,对存储有图像数据和配置信息的存储单元中所存储的配置信息、和所生成的二维配置信息进行比较,根据比较的结果来检索图像数据,其中,该配置信息表示图像数据示出的图像中所包含的物体的图像内的配置。

著录项

  • 公开/公告号CN103562957A

    专利类型发明专利

  • 公开/公告日2014-02-05

    原文格式PDF

  • 申请/专利权人 乐天株式会社;

    申请/专利号CN201180071234.X

  • 发明设计人 高见真也;

    申请日2011-05-31

  • 分类号G06T1/00;G06F17/30;

  • 代理机构北京三友知识产权代理有限公司;

  • 代理人李辉

  • 地址 日本东京都

  • 入库时间 2024-02-19 23:02:09

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-12-14

    授权

    授权

  • 2014-03-12

    实质审查的生效 IPC(主分类):G06T1/00 申请日:20110531

    实质审查的生效

  • 2014-02-05

    公开

    公开

说明书

技术领域

本发明涉及可经由网络向用户推荐与符合用户喜好的摄影点有关的有用的信息 的信息提供装置等的技术领域。

背景技术

以往,公知有将与摄影对象有关的信息(例如,日出、高原植物、红叶等)作为 关键字来检索关联的信息的检索服务。在这样的检索服务中,针对经由互联网连接的 用户终端提供与该检索关键字相应的信息,并且在想要检索摄影点的情况下,能够检 索通过评论等对所摄影的图像附加了关联信息后的信息。在专利文献1中公开了如下 技术:在Exif形式的扩展标签部分中设定经度纬度信息,生成带位置信息原始图像, 将该生成的图像在网页上公开,针对以用户的当前位置等任意的地点信息作为关键字 的信息检索,提供与该任意的地点附近的场所的摄影点有关的信息。

现有技术文献

专利文献

专利文献1:日本特开2002-373168号公报

发明内容

发明要解决的问题

然而,在上述那样的现有技术中,检索摄影点的用户需要设定适合于该摄影点的 检索关键字,对用户来讲该关键字的设定比较繁琐。此外,专利文献1是根据图像信 息中所包含的经度纬度信息来提供与用户设定的任意的地点附近的摄影点有关的信 息,根据摄影图像中作为图像所包含的物体(object)(例如,山、海等风景、家庭或 孩子等人物等)来有效地推荐与符合用户喜好的摄影点有关的信息是困难的。此外, 例如,在用户不去摄影点而想得到希望的图像等情况下,在现有技术中,高效地检索 包含用户想象的物体(符合用户喜好的物体)的图像的图像并进行推荐是困难的。

本发明正是鉴于以上情况而完成的,其目的在于提供一种信息提供装置、信息提 供方法、信息提供处理程序、记录了信息提供处理程序的记录介质以及信息提供系统, 能够高效地检索包含符合用户喜好的物体的图像的图像数据,或者能够高效地推荐与 符合用户喜好的摄影点有关的信息。

用于解决问题的手段

为了解决上述课题,权利要求1中记载的发明是一种信息提供装置,终端装置能 够经由网络访问该信息提供装置,该信息提供装置的特征在于具有:接收单元,其从 所述终端装置接收三维配置信息和视线信息,该三维配置信息表示三维空间中的物体 的配置,该视线信息用于确定所述三维空间中的视点位置和视线方向;生成单元,其 根据所述接收到的三维配置信息和视线信息,生成二维配置信息,该二维配置信息表 示投影到二维面上的所述物体在该二维面内的配置;以及检索单元,其对存储在存储 单元中的配置信息和所述生成的二维配置信息进行比较,根据该比较的结果来检索图 像数据,其中,该存储单元存储有图像数据和所述配置信息,所述配置信息表示该图 像数据表示出的图像所包含的物体在该图像内的配置。

根据该发明,通过使用户根据自己的喜好来指定物体、该物体在三维空间中的配 置、用于确定视点位置和视线方向的信息,能够高效地检索包含符合用户喜好的物体 的图像的数据。此外,能够高效地向用户推荐与可通过符合用户喜好的视点位置和视 线方向对符合用户喜好地配置的物体进行摄影的摄影点有关的信息。

权利要求2中记载的发明是在权利要求1中记载的信息提供装置中,其特征在于, 所述接收单元接收用于确定多个由视点位置和视线方向组成的组的所述视线信息,所 述生成单元根据由所述接收到的视线信息确定的多个所述组,生成多个所述二维配置 信息,所述检索单元对存储在所述存储单元中的所述配置信息和所述生成的多个二维 配置信息进行比较。

根据该发明,例如使用户指定多个视点位置与视线方向的组合,或者使用户指定 视点位置或视线方向的范围等,由此,在三维空间中物体的配置相同且在图像内的物 体的配置成为与各个视点位置和视线方向对应的配置的多个图像数据成为检索对象。 因此,能够容易地找到包含用户喜好的物体的图像的数据。此外,能够容易地找到与 可对符合用户喜好地配置的物体进行摄影的摄影点有关的信息。此外,能够针对同一 物体检索多个图像数据。此外,能够针对同一物体推荐与摄影角度或摄影距离彼此不 同的多个摄影点有关的信息。

权利要求3中记载的发明是在权利要求2中记载的信息提供装置中,其特征在于, 所述信息提供装置还具有选择单元,该选择单元从所述生成的多个二维配置信息中, 选择表示所述二维面内的所述物体之间重叠最小的配置的二维配置信息,所述检索单 元对存储在所述存储单元中的所述配置信息和所述选择出的二维配置信息进行比较。

根据该发明,能够检索图像内的物体之间的重叠小的图像数据。此外,能够推荐 与可以物体之间的重叠变小的方式进行摄影的摄影点有关的信息。

权利要求4中记载的发明是在权利要求1至3中的任意一项中记载的信息提供装 置中,其特征在于,所述接收单元还接收选择信息,该选择信息表示所述三维空间内 配置的物体中被用户所选择的物体,所述检索单元对所述生成的二维配置信息表示的 配置中的、所述接收到的选择信息表示的所述物体的配置,和存储在所述存储单元中 的所述配置信息表示的配置中的、与所述接收到的选择信息表示的所述物体对应的物 体的配置进行比较。

根据该发明,将用户指定了配置的物体中的被用户所选择的物体作为配置的比较 对象,将图像内的物体中的与被用户所选择的物体对应的物体作为配置的比较对象。 因此,能够检索至少包含用户所选择的物体的图像的数据。此外,能够推荐与至少可 对用户所选择的物体进行摄影的摄影点有关的信息。

权利要求5中记载的发明是在权利要求1至3中的任意一项中记载的信息提供装 置中,其特征在于,所述接收单元还接收选择信息,该选择信息表示所述三维空间内 配置的物体中被用户所选择的物体,所述生成单元将所述三维空间内配置的物体中的 所述接收到的选择信息表示的物体以外的物体从向所述二维面的投影对象中排除,生 成所述二维配置信息。

根据该发明,将用户指定了配置的物体中的被用户所选择的物体以外的物体视为 未配置的状态。因此,即使用户不解除物体的配置的指定,也能够检索不包含用户所 选择的物体以外的物体的图像的数据。此外,能够推荐与可以不映入用户所选择的物 体以外的物体的方式进行摄影的摄影点有关的信息。

权利要求6中记载的发明是在权利要求1至5中的任意一项中记载的信息提供装 置中,其特征在于,所述信息提供装置还具有显示控制单元,该显示控制单元以能够 由用户进行选择的方式将表示三维空间内配置的物体的物体候选显示在所述终端装 置的显示画面上,所述接收单元接收表示被所述用户选择的在虚拟三维空间内配置的 所述物体候选的配置的三维配置信息,作为表示所述三维空间中的物体的配置的三维 配置信息。

根据该发明,用户能够根据自己的喜好容易地指定物体和该物体在三维空间中的 配置。

权利要求7中记载的发明是在权利要求1至6中的任意一项中记载的信息提供装 置中,其特征在于,所述接收单元还接收颜色信息,该颜色信息表示所述三维空间中 的物体的颜色,所述检索单元还对所述接收到的颜色信息所示的所述物体的颜色和所 述图像数据表示的图像所包含的物体的颜色进行比较。

根据该发明,通过使用户进一步指定物体的颜色,能够通过该物体的配置和颜色, 高效地检索包含符合用户喜好的物体的图像的数据。此外,能够高效地向用户推荐与 可将该物体拍摄出该颜色的摄影点有关的信息。

权利要求8中记载的发明是在权利要求1至7中的任意一项中记载的信息提供装 置中,其特征在于,在所述存储单元中存储有所述图像数据的位置信息,所述接收单 元还接收条件信息,该条件信息表示与所述位置信息有关的条件,所述检索单元针对 与满足所述接收到的条件信息所示的所述条件的位置信息对应的所述图像数据进行 所述比较。

根据该发明,通过使用户进一步指定与位置信息有关的条件,能够筛选与用户指 定的条件一致的图像数据来进行检索。此外,能够筛选与用户指定的条件一致的、与 可对上述物体进行摄影的摄影点有关的信息来进行推荐。

权利要求9中记载的发明是在权利要求1至8中的任意一项中记载的信息提供装 置中,其特征在于,所述信息提供装置还具有发送单元,该发送单元将由所述检索单 元检索到的所述图像数据发送到所述终端装置。

根据该发明,能够高效地向用户提供包含符合用户喜好的物体的图像的数据。

权利要求10中记载的发明是在权利要求1至8中的任意一项中记载的信息提供 装置中,其特征在于,在所述存储单元中存储有所述图像数据的位置信息,所述信息 提供装置还具有发送单元,该发送单元将由所述检索单元检索到的所述图像数据的位 置信息发送到所述终端装置。

根据该发明,能够高效地向用户提供包含符合用户喜好的物体的图像的数据的位 置信息。

权利要求11中记载的发明是一种信息提供装置中的信息提供方法,终端装置能 够经由网络访问该信息提供装置,该信息提供方法的特征在于包含以下步骤:接收步 骤,从所述终端装置接收三维配置信息和视线信息,该三维配置信息表示三维空间中 的物体的配置,该视线信息用于确定所述三维空间中的视点位置和视线方向;生成步 骤,根据所述接收到的三维配置信息和视线信息,生成二维配置信息,该二维配置信 息表示投影到二维面上的所述物体在该二维面内的配置;以及检索步骤,对存储在存 储单元中的配置信息和所述生成的二维配置信息进行比较,根据该比较的结果来检索 图像数据,其中,在该存储单元中存储有图像数据和所述配置信息,所述配置信息表 示该图像数据表示出的图像所包含的物体在该图像内的配置。

权利要求12中记载的发明使终端装置能够经由网络访问的信息提供装置所包含 的计算机作为以下单元进行工作:接收单元,其从所述终端装置接收三维配置信息和 视线信息,该三维配置信息表示三维空间中的物体的配置,该视线信息用于确定所述 三维空间中的视点位置和视线方向;生成单元,其根据所述接收到的三维配置信息和 视线信息,生成二维配置信息,该二维配置信息表示投影到二维面上的所述物体在该 二维面内的配置;以及检索单元,其对存储在存储单元中的配置信息和所述生成的二 维配置信息进行比较,根据该比较的结果来检索图像数据,其中,该存储单元存储有 图像数据和所述配置信息,所述配置信息表示该图像数据表示出的图像所包含的物体 在该图像内的配置。

权利要求13中记载的发明以计算机能够读取的方式记录有如下信息提供处理程 序,该信息提供处理程序使终端装置能够经由网络访问的信息提供装置所包含的计算 机作为以下单元进行工作:接收单元,其从所述终端装置接收三维配置信息和视线信 息,该三维配置信息表示三维空间中的物体的配置,该视线信息用于确定所述三维空 间中的视点位置和视线方向;生成单元,其根据所述接收到的三维配置信息和视线信 息,生成二维配置信息,该二维配置信息表示投影到二维面上的所述物体在该二维面 内的配置;以及检索单元,其对存储在存储单元中的配置信息和所述生成的二维配置 信息进行比较,根据该比较的结果来检索图像数据,其中,该存储单元存储有图像数 据和所述配置信息,所述配置信息表示该图像数据表示出的图像所包含的物体在该图 像内的配置。

权利要求14中记载的发明是一种信息提供系统,其包含终端装置和该终端装置 能够经由网络访问的信息提供装置,该信息提供系统的特征在于,所述终端装置具有 发送单元,该发送单元向所述信息提供装置发送三维配置信息和视线信息,该三维配 置信息表示三维空间中的物体的配置,该视线信息用于确定所述三维空间中的视点位 置和视线方向,所述信息提供装置具有:接收单元,其接收从所述终端装置发送的所 述三维配置信息和所述视线信息;生成单元,其根据所述接收到的三维配置信息和视 线信息,生成二维配置信息,该二维配置信息表示投影到二维面上的所述物体在该二 维面内的配置;以及检索单元,其对存储在存储单元中的配置信息与所述生成的二维 配置信息进行比较,根据该比较的结果来检索图像数据,其中,该存储单元存储有图 像数据和所述配置信息,所述配置信息表示该图像数据所包含的物体在该图像内的配 置。

权利要求15中记载的发明是在权利要求14中记载的信息提供系统中,其特征在 于,所述终端装置或者所述信息提供装置中的至少任意一方还具有确定单元,该确定 单元确定在三维空间中视线被定向的基准位置,所述终端装置还具有:取得单元,其 取得三维配置信息,该三维配置信息表示通过用户的操作而配置在虚拟三维空间内的 虚拟物体在该虚拟三维空间内的配置;以及设定单元,其按照所述用户的操作,一边 将从视点位置朝向所述确定的基准位置的方向作为视线方向,一边使该视点位置移 动,来设定所述视线信息,所述发送单元对所述取得的三维配置信息和所述设定的视 线信息进行发送。

根据该发明,通过进行以基准位置为中心而使视点位置移动的操作,能够设定视 点位置和视线方向。

权利要求16中记载的发明是在权利要求15中记载的信息提供系统中,其特征在 于,所述确定单元确定所述配置在虚拟三维空间内的虚拟物体中的大小最大的虚拟物 体的位置,作为所述基准位置。

根据该发明,能够以将大小最大的物体投影到二维面上的方式设定视点位置和视 线方向。

权利要求17中记载的发明是在权利要求15或权利要求16中记载的信息提供系 统中,其特征在于,在所述虚拟三维空间内配置有多个所述虚拟物体的情况下,所述 确定单元确定成为所配置的多个所述虚拟物体的位置的重心的位置,作为所述基准位 置。

根据该发明,能够将对多个物体的位置取得平衡的位置作为基准位置。

权利要求18中记载的发明是在权利要求15中记载的信息提供系统中,其特征在 于,所述终端装置或者所述信息提供装置中的至少任意一方还具有第2生成单元,该 第2生成单元根据所述取得的三维配置信息,生成多个二维配置信息,该多个二维配 置信息分别表示投影到所述二维面上的所述虚拟物体在该二维面内的配置,且该多个 二维配置信息的视点位置或者视线方向中的至少任意一方彼此不同,所述确定单元在 由如下的视点位置和视线方向示出的视线上确定所述基准位置,该视点位置和视线方 向是生成所述生成的多个二维配置信息中的、配置在所述二维面内的虚拟物体之间重 叠最小的二维配置信息时使用的,所述设定单元将生成配置在所述二维面内的虚拟物 体之间的重叠最小的二维配置信息时使用的视点位置和视线方向设为初始状态,响应 于所述用户的操作,使视点位置和视线方向从初始状态起进行变化。

根据该发明,能够从投影到二维面上时的二维面内的物体之间的重叠最小的视点 位置和视线方向开始视点位置和视线方向的设定作业。

发明的效果

根据本发明,让用户根据自己的喜好来指定物体、该对象在三维空间中的配置、 用于确定视点位置和视线方向的信息,能够高效地检索包含符合用户喜好的物体的图 像的数据。此外,能够高效地向用户推荐与可通过符合用户喜好的视点位置和视线方 向对符合用户喜好地配置的物体进行摄影的摄影地点有关的信息。

附图说明

图1是示出本实施方式的信息提供系统S的概要结构的一例的图。

图2是示出信息提供服务器2的概要结构例的框图。

图3是示出各数据库中所登记的信息的结构例的图。

图4是用于说明图像数据表示的图像中所包含的物体的配置位置信息的图。

图5是示出终端装置1-k的概要结构例的框图。

图6是示出物体配置画面300的一例的图。

图7是示出物体配置确认画面400的一例的图。

图8是示出终端装置1-k的系统控制部37的物体配置确认处理的流程图。

图9是示出信息提供服务器2的系统控制部23的地点信息的推荐处理的流程图。

图10是用于说明用户配置的虚拟物体在用户二维配置信息中的配置位置信息的 图。

具体实施方式

以下,参照附图对本发明的实施方式进行详细说明。另外,以下说明的实施方式 是对信息提供系统应用本发明的情况下的实施方式。

[1.信息提供系统的结构和功能概要]

首先,使用图1来说明本实施方式的信息提供系统S的结构和功能概要。图1 是示出本实施方式的信息提供系统S的概要结构的一例的图。

如图1所示,信息提供系统S构成为包含多个终端装置1-k(k=1、2、3···n) (终端装置的一例)和信息提供服务器2(信息提供装置的一例)。终端装置1-k与信 息提供服务器2例如可经由网络NW在通信协议中使用TCP/IP等彼此进行数据的 收发。另外,网络NW例如是通过互联网、专用通信回线(例如,CATV(Community  Antenna Television:共用天线电视)回线)、移动通信网(包含基站等)以及网关等 构建的。

接着,信息提供服务器2例如由具有Web服务器、应用服务器以及数据库服务 器等的功能的1个或多个服务器计算机构成。信息提供服务器2提供摄影点提供网站。 摄影点提供网站是根据来自会员的请求,提供与能够对会员想要摄影的风景等进行摄 影的点有关的信息(摄影地点信息)的网站。

图2是示出信息提供服务器2的概要结构例的框图。如图2所示,信息提供服务 器2大致由通信部21、存储部22和系统控制部23构成。通信部21与网络NW连接, 控制与终端装置1-k等的通信状态。存储部22例如由硬盘驱动器等构成,对OS (Operating System:操作系统)、服务器程序(本发明的信息提供处理程序等)以及 各种数据进行存储。另外,本发明的信息提供处理程序例如也可以从规定服务器等经 由网络NW取得(下载),还可以记录在CD(Compact Disc:光盘)、DVD(Digital  Versatile Disc:数字多功能光盘)等记录介质而被读入。此外,在存储部22中构建有 用户信息数据库(DB(database))221和图像信息数据库(DB)222等。存储部22 的图像信息DB222是本发明中的图像数据存储单元的一例。

图3是示出各数据库中所登记的信息的结构例的图。在图3(A)所示的用户信 息DB221中按照每个用户对应地登记(存储)有在摄影点提供网站上被会员注册的 用户的用户ID、密码、昵称、姓名、性别、住址、电话号码和邮件地址等用户信息。 另外,会员注册例如通过从终端装置1-k向摄影点提供网站进行访问而提供的会员注 册步骤画面来进行,此时,发布用户ID。

在图3(B)所示的图像信息DB222中对应地登记有图像数据(包含文件名)、 该图像数据的摄影日期时间、该图像数据的摄影地点信息(表示该图像数据的摄影点 的摄影地点信息。本发明的“位置信息”的一例)、表示该图像数据示出的图像(基 于图像数据所显示的图像)中作为物体图像(本发明的图像中所包含的物体的一例) 所包含的物体的物体信息、该图像数据表示的图像中的各物体图像的配置位置信息以 及用于识别该图像数据的图像ID等。另外,在图像数据表示的图像中包含多个物体 图像的情况下,针对各个物体图像登记物体信息及其配置位置信息。图3(B)示出 了在照片中仅包含一个物体图像时的例子,在包含多个物体图像的情况下,登记物体 图像的数量的“物体信息”和“物体图像的配置位置信息”。

在图像信息DB222中登记的图像数据是至少能够确定摄影地点信息的图像数据 即可。例如,(i)在信息提供服务器2中登记了向另外经营的图像投稿网站投稿的图 像数据的情况下,让投稿者与图像数据一起发送摄影地点信息来进行登记。此外,(ii) 在对通过所谓的抓取器(Crawler)取得的网页上的图像数据进行登记的情况下,仅 对可根据网页确定摄影地点信息的图像数据进行登记。这里,摄影地点信息例如是纬 度经度信息或住址信息。另外,在(i)的情况下,如果是用具备GPS功能的相机摄 影得到的图像数据,则一并记录摄影地点信息,从而发送该摄影地点信息。此外,在 是用不具备GPS功能的相机摄影得到的图像数据的情况下,通过投稿者来指定摄影 地点信息。例如,可以让投稿者在图像数据投稿用的画面上所显示的地图上进行指定, 也可以让投稿者从分层地显示的住址一览中阶段地进行选择。此外,优选的是,在登 记图像数据时,除了摄影地点信息以外,针对能够取得摄影日期时间的图像数据,在 图像信息DB222中预先登记。

物体例如是实际存在之物或者是虚拟之物。作为物体,例如有图像数据所涉及的 照片中的被摄体等。作为物体的例子,例如可举出人物、动物(鹿、猿、熊、鸟等)、 植物(花、高原植物等)、风景(建筑物、桥、山、湖、河、海、温泉、大树、森林、 瀑布、红叶、旭日、夕阳等)、虫子等。这样的物体在图像信息DB222中所登记的 图像数据所涉及的照片中表示为图像。该图像是物体图像。物体信息例如是示出物体 图像表示的物体的种类(例如,“人物”“山”等)的信息。例如,系统控制部23从 图像数据中提取梯度信息和边缘信息等特征量,与预先准备的多个正确数据(作为基 准的物体图像的特征量)进行比较,由此能够识别物体。在这样的物体识别算法中, 能够识别图像数据所涉及的照片中表示的物体的种类、位置、数量、大小、颜色等。 由此,能够根据图像数据取得例如“多个人物”、“两座山”、“湖”、“夕日和高原植物”、 “鹿和森林”这样的物体信息。另外,也可以构成为,在提取了与预先准备的任意的 正确数据(既知数据)进行比较也无法确定的未知的物体的情况下,将该新的物体的 特征量作为正确数据进行登记。该情况下,新登记了正确数据的物体的物体信息通过 管理者侧被任意地设定,或者,通过从与未知的物体对应的文本信息(例如,附加到 图像的标题或标签)等提取特征词来进行设定。此外,也可以构成为,在与预先准备 的任意的正确数据进行比较也无法确定物体信息等的情况下,由对图像数据进行投稿 的用户任意地对该图像数据附加物体信息。该情况下,例如,从用户的终端装置1-k 与图像数据一起将附加到该图像数据的物体信息发送给信息提供服务器2,并登记在 图像信息DB222中。此外,例如也可以构成为,从信息提供服务器2向用户的终端 装置1-k发送用于输入或选择物体信息的物体信息指定画面的数据。该情况下,在终 端装置1-k的显示部33所显示的用户物体信息指定画面上,由用户通过操作部34输 入的物体信息,或者由用户从用户物体信息候选一览中选择的物体信息被发送到信息 提供服务器2,与该图像数据对应起来登记在图像信息DB222中。

作为在图像信息DB222中登记的物体图像的配置位置信息,例如图4(A)所示, 对被分配到分割图像P得到的各区域的区域号码N进行登记。例如图4(B)所示, 在区域号码“12”、“13”、“22”、“23”、“32”、“33”的区域中表示大厦(以下,记作 “大厦”。)B的情况下,登记这些区域号码,作为物体信息表示“大厦”的物体图像 的配置位置信息。另外,所登记的区域号码为与由物体图像占据规定比例(例如,60 %)以上的区域对应的区域号码。此外,在图4的例中,将图像P分割为80个区域, 但也可以是,通过更细致地分割,由此能够更详细地确定物体图像的大小和形状。

另外,作为上述物体识别算法,能够使用公知的SIFT(Scale Invariant Feature Transform:尺度不变特征变换)等技术,因此省略进一步的详细说明。此外,还存在 由于图像数据而无法识别物体的情况下(没有对应的正确数据、图像复杂等),但如 果是对由投稿者投稿的图像数据进行登记等的情况下,也可以构成为,让投稿者输入 在图像数据表示的图像中所包含的物体图像的物体信息及其配置位置信息,并进行登 记。

系统控制部23由CPU(Central Processing Unit:中央处理单元)23a、ROM(Read  Only Memory:只读存储器)23b、RAM(Random Access Memory:随机访问存储器) 23c等构成。而且,由CPU23a读出存储在ROM23b和存储部22中存储的服务器程 序并执行该程序,由此,系统控制部23作为本发明的接收单元、生成单元、检索单 元、选择单元、发送单元和显示控制单元等进行工作,进行后述的处理。

另一方面,终端装置1-k例如是由用户使用的PC(Personal Computer:个人计算 机)、移动电话机、PDA、便携游戏机等。图5是示出用户终端3的概要结构例的框 图。如图5所示,用户终端3具有通信部31、存储部32、显示部33、操作部34、驱 动部35、输入输出接口36和系统控制部37。而且,系统控制部37与输入输出接口 36经由系统总线38而连接。通信部31与网络NW等连接,控制与信息提供服务器 2等的通信状态。存储部32例如由硬盘驱动器或闪存等构成。在该存储部32中存储 有OS和浏览器等程序。显示部33例如由液晶显示器等构成,对字符和图像等信息 进行显示。操作部34例如由键盘和鼠标或者键、触摸面板等构成,受理来自用户的 操作指示,将该指示内容作为指示信号输出到系统控制部37。驱动部35从DVD或 存储卡等碟片DK读出数据等,另一方面,向该碟片DK记录数据等。输入输出接口 36进行通信部31~驱动部35与系统控制部37之间的接口处理。

系统控制部37由CPU37a、ROM37b、RAM37c等构成。而且,由CPU37a读 出存储在ROM37b和存储部32中的各种程序并执行该程序,由此,系统控制部37 作为本发明的发送单元、取得单元、确定单元、设定单元、第2生成单元进行工作。

系统控制部37访问摄影点提供网站,控制登录处理。然后,系统控制部37在通 过登录处理进行了用户认证的情况下,从信息提供服务器2接收用于显示物体配置画 面的显示数据,在显示部33中显示物体配置画面。显示数据例如包含用于将物体配 置画面显示为网页的HTML(HyperText Markup Language:超文本标记语言)文档、 XML(Extensible Markup Language:可扩展标记语言)文档、图像数据等。

图6是示出物体配置画面300的一例的图。物体配置画面300是用于用户在虚拟 三维空间中对虚拟物体进行配置的画面。虚拟三维空间是虚拟的三维空间。虚拟物体 是配置在虚拟三维空间中的虚拟的物体。在物体配置画面300中显示对虚拟物体的一 览进行显示的物体候选显示部310、配置画面320、画面切换按钮330和发送按钮340。

在物体候选显示部310中,显示按照虚拟物体的每个类别(例如,人物、动物、 植物、风景等)设置的栏标(tab)311(311a~311e)。将属于与用户从这些栏标311 中选择出的栏标311对应的类别的物体候选312(312a~312h)显示在物体候选显示 部310中。物体候选312是用模拟的三维图像表示虚拟物体的候选的图像。

在配置画面320中显示虚拟三维空间内的虚拟物体配置状况。虚拟三维空间中的 坐标是由世界坐标系定义的。例如,当用户观察配置画面320时,横向(宽度方向) 的坐标轴是X轴。此外,深度方向的坐标轴是Y轴,高度方向(纵向)的坐标轴是 Z轴。虚拟三维空间中纵、横和深度各自的长度被作为预先设定的单位距离的立方体 划分。将该立方体称作块。虚拟三维空间的大小例如被预先设定。

在配置画面320中显示地面物体322。地面物体322是表示配置虚拟物体的地面 的图像。地面物体322是从上空斜向下观察时看到的地面的模拟三维图像。即,在配 置画面320中显示鸟瞰图的图像。地面物体322上表示的格子图案表示XY平面上的 块的划分。

此外,在配置画面320中,在地面物体322上显示物体321(321a~321d),该 物体321(321a~321d)表示按照用户的操作而配置在虚拟三维空间内的虚拟物体。 物体321是从上空斜向下观察时的虚拟物体的立体形状的模拟三维图像。例如,由用 户通过拖放等选择在物体候选显示部310中显示的物体候选312,将配置在地面物体 322上的任意一个块上的物体候选312作为物体321进行显示。这样,将虚拟物体配 置在虚拟三维空间内。

虚拟物体可以块单位进行配置。根据所选择的物体候选312的不同,所配置的虚 拟物体在虚拟三维空间所占的块的数量不同。例如,物体321b是表示森林的图像。 该物体321b表示的森林占1个块。此外,物体321d是表示大厦的图像。该物体321d 的大小为,纵向长度为2个块,横向和深度的长度为1个块。即,物体321d表示的 大厦占2个块。

能够对配置在虚拟三维空间内的虚拟物体的大小进行变更。例如,在用户通过例 如点击等将在配置画面320内显示的任意一个物体321设为选择状态后,例如通过拖 放等进行使该物体321在纵、横或深度的方向上运动的操作。于是,物体321在被操 作的方向上的大小发生变化。此外,也可以是,能够通过数值输入来改变虚拟物体的 大小。例如,在用户选择了任意一个物体321后,进行弹出式菜单等的操作,由此在 物体配置画面300内显示用于数值输入的对话框。在对话框中分别显示与纵、横和深 度对应的输入栏。当用户在对话框内的各输入栏中输入数值后,所选择的物体321 的纵、横和深度的大小变化为与所输入的数值对应的大小。例如,物体321a和物体 321c表示变更了大小后的虚拟物体。物体321a是表示山的图像。该物体321a表示的 山的纵、横和深度的长度是5个块、7个块和8个块。此外,物体321c是表示大厦 的虚拟物体。该物体321c表示的大厦的纵长是4个块。

此外,能够通过用户的操作,使配置在虚拟三维空间内的物体321在虚拟三维空 间内移动,或者将该物体321从虚拟三维空间删除。此外,也可以将虚拟物体配置成 与地面分离。例如,用户在选择了物体321后,通过弹出式菜单等的操作输入块数。 于是,所选择的物体321向上移动与所输入块数对应的量。即,虚拟物体浮在空中。

用户通过对物体配置画面300的操作,能够根据用户喜好来指定配置在虚拟三维 空间中的虚拟物体并指定该虚拟物体的配置。

物体321表示的虚拟物体在虚拟三维空间中的配置被表示为三维配置位置信息 (本发明的三维配置信息的一例)。三维配置位置信息例如包含虚拟物体的位置坐标 和对虚拟物体的立体形状进行定义的形状数据。虚拟物体的位置坐标例如是示出配置 了虚拟物体的块的位置和根据虚拟物体的形状算出的虚拟物体的重心的位置的世界 坐标。形状数据例如包含对虚拟物体的各顶点的坐标、连接各顶点的线段或面进行定 义的信息等。形状数据例如包含在从信息提供服务器2接收到的显示数据中。

另外,虚拟物体的配置状态也可以通过从正上方向下观察时的俯视图来表现。该 情况下,虚拟三维空间中配置的虚拟物体也可以通过俯视图形来表现。在通过俯视图 来表现的情况下,在配置画面320中,无法确认Z轴方向的虚拟物体的配置。但是, 在该情况下,虚拟三维空间中所配置的虚拟物体的位置也用三维来定义。

在配置画面320还显示有视线标记323。视线标记323是示出虚拟三维空间内的 视点的位置及来自该视点的视线的方向的图形。即,视线标记323示出对配置在虚拟 三维空间内的虚拟物体进行摄影时的摄影位置和摄影方向。具体而言,在视线标记 323中,引出箭头的支点表示视点,箭头被定向的方向表示视线方向。视点位置和视 线方向被设定成视线通过虚拟三维空间内的基准点的位置和方向。基准点成为用于在 后述的物体配置确认画面400中使视点位置旋转的中心点。该基准点的坐标(基准位 置)的初始值例如被预先设定。例如,基准位置被设定为,在横和深度方向上位于虚 拟三维空间的中心,并且距离地面物体322表示的地面的高度为1个块以内的高度。 初始状态下的视点的高度例如被设定为与基准点的高度相同的高度。

画面切换按钮330是用于切换画面的按钮。具体而言,当画面切换按钮330被用 户按下时,系统控制部37从信息提供服务器2接收用于显示物体配置确认画面400 的显示数据,根据接收到的显示数据,在显示部33中显示物体配置确认画面400。

图7是示出物体配置确认画面400的一例的图。物体配置确认画面400是用于确 认在对虚拟三维空间内配置的虚拟物体进行了摄影时得到的图像中所包含的虚拟物 体的图像的配置的画面。在物体配置确认画面400中显示有模拟框410、移动按钮420 (420a~420f)和画面切换按钮430。

模拟框410是将通过对虚拟三维空间内配置的虚拟物体进行透视投影而得到的 投影像作为三维图像进行显示的模拟的框。具体而言,在模拟框410中,显示将视线 从由视线标记323表示的视点位置朝向由视线标记323表示的视线方向时观察到的虚 拟物体的像,作为物体三维图像411(411a~411c)。物体三维图像411a是物体310a 表示的山的三维图像。此外,物体三维图像411b是物体310b表示的森林的三维图像。 此外,物体三维图像411c是物体310c表示的大厦的三维图像。另外,由于物体310d 表示的大厦被物体310c表示的大厦挡住,因此在模拟框410内未显示物体310d的三 维图像。

另外,在物体配置确认画面400中,由于能够确认模拟框410内的虚拟物体的配 置(投影像的配置)即可,因此也可以不是必须将虚拟物体立体地显示为三维图像。 例如,通过用户能够理解虚拟物体的部分与没有虚拟物体的部分之间的边界,并且用 户能够理解虚拟物体之间的边界的方式来显示图像即可。

移动按钮420是用于使虚拟三维空间中的视点位置或视线方向中的至少任意一 方移动的按钮。例如,当移动按钮420a或420b被用户按下时,在被按下的期间内, 视点位置在视线方向或其相反方向上移动。此时,视线方向不变化。此外,当移动按 钮420c、420d、420e或420f被用户按下时,在被按下的期间内,视点以基准点为中 心,向左、右、上或下方向圆状地移动。此时,为了从移动后的视点向基准点的方向 维持视线,因此视线方向变化。通过移动按钮420的操作而使视点位置或视线方向发 生变化,因此模拟框410内所显示的三维图像也变化。另外,在使用鼠标作为操作部 34的情况下,也可以根据滚轮的操作、使鼠标移动的操作等,来变更视点位置、视 线方向。

用户操作移动按钮420并确认在模拟框410中所显示的图像,由此能够设定用户 喜好的视点位置和视线方向。

画面切换按钮430是用于切换画面的按钮。具体而言,当画面切换按钮430被用 户按下时,系统控制部37在显示部33中显示物体配置画面300。在物体配置确认画 面400中,用户改变了视点位置或视线方向后,当显示物体配置画面300时,视线标 记323示出的视点位置或视线方向发生变化。

在物体配置画面300中,发送按钮340是用于将虚拟三维空间中的虚拟物体的配 置状态发送到信息提供服务器2的按钮。具体而言,当发送按钮340被用户按下时, 系统控制部37将包含用户三维配置信息和视线信息的请求消息发送到信息提供服务 器2。用户三维配置信息包含配置在虚拟三维空间中的各虚拟物体的物体信息和三维 配置位置信息。视线信息是用于确定通过用户操作所设定的视点位置和视线方向的信 息。例如,视线信息包含视点位置的世界坐标和示出视线方向的角度。

另外,也可以是,能够通过用户的操作来变更基准位置。例如,系统控制部37 在物体配置画面300的配置画面320中显示例如示出基准点的标记。用户例如通过拖 放等使该标记移动,由此使基准位置移动。此外,也可以是,在物体配置画面300 中,能够通过用户的操作来变更视点位置和视线方向。例如,用户例如通过拖放等使 视线标记323移动,由此使视点位置移动。该情况下,视线方向不变化。此时,基准 位置移动,使得视线通过基准点。此外,用户例如通过拖放等使视线标记323的箭头 部分移动,由此以视点为中心而使视线方向旋转。该情况下,基准位置也移动。此外, 在物体配置画面300中视点位置和视线方向可变更的情况下,也可以在物体配置确认 画面400中不能够变更视点位置和视线方向。此外,也可以是,终端装置1-k仅显示 物体配置画面300,不显示物体配置确认画面400。该情况下,用户能够一边根据配 置画面320中所显示的物体321的配置状况和视线标记323来想象模拟框410内的虚 拟物体的配置,一边进行配置作业。此外,也可以在物体配置确认画面400中显示用 于发送请求消息的发送按钮。该情况下,当物体配置确认画面400中所显示的发送按 钮被用户按下时,将包含与按下了发送按钮340时相同的信息的请求消息发送到信息 提供服务器2。此外,在以显示发送按钮的方式构成物体配置确认画面400的情况下, 也可以在物体配置画面300中不显示发送按钮340。

[2.信息提供系统的动作]

接着,使用图8对终端装置1-k中的物体配置确认处理进行说明。物体配置确认 处理是显示物体配置确认画面400时的终端装置1-k的处理。

图8是示出终端装置1-k的系统控制部37的物体配置确认处理的流程图。当在 终端装置1-k显示物体配置画面300的状态下画面切换按钮330被用户按下,并由此 显示了物体配置确认画面400时,开始物体配置确认处理。

在图8中,系统控制部37取得配置在虚拟三维空间中的各虚拟物体的三维配置 位置信息(步骤S1)。接着,系统控制部37确定虚拟三维空间中的基准位置、视点 位置和视线方向的初始值(步骤S2)。例如,系统控制部37由从信息提供服务器2 接收到的显示数据中取得预先设定的基准位置、视点位置和视线方向的坐标作为初始 值。

接着,系统控制部37根据三维配置位置信息、所确定的视点位置和视线方向, 将物体三维图像411在模拟框410中显示(步骤S3)。具体而言,系统控制部37在 虚拟三维空间内定义投影了虚拟物体的投影面(本发明的二维面的一例)的世界坐标。 该投影面相当于模拟框410,是纵和横的长度为预先设定的长度的平面。此外,该投 影面将由视点位置和视线方向所示的视线作为法线,位于与视点位置相距预先设定的 距离的位置。接着,系统控制部37根据三维配置位置信息中所包含的虚拟物体的位 置坐标和形状数据,计算虚拟物体的各顶点的世界坐标等。接着,系统控制部37根 据虚拟物体的各顶点、投影面和视点位置的世界坐标等,将各虚拟物体朝向视点位置 在投影面上进行透视投影。这里,系统控制部37将通过投影而得到的投影面上的虚 拟物体的投影像的世界坐标变换为屏幕坐标。屏幕坐标例如是将模拟框410(投影面) 的横向坐标轴作为X轴、模拟框410(投影面)的纵向坐标轴作为Y轴的二维坐标 系的坐标。接着,系统控制部37根据各虚拟物体的屏幕坐标,生成包含各物体三维 图像411的框图像(显示尺寸与模拟框410相同的图像)。此时,系统控制部37进行 隐藏面消除等处理。然后,系统控制部37将生成的框图像在模拟框410中显示。由 此,在模拟框410中显示如图7所示的物体三维图像411。

接着,系统控制部37判定是否按下了移动按钮420(步骤S4)。此时,在系统控 制部37判定为按下了移动按钮420的情况下(步骤S4:“是”),按照被按下的移动 按钮420来变更视点位置或视线方向中的至少任意一方(步骤S5)。例如,系统控制 部37在移动按钮420a或420b被用户按下的情况下,使视点位置在视线方向或视线 方向的相反方向上移动规定距离。此外,系统控制部37在移动按钮420c、420d、420e 或420f被按下的情况下,使视点位置向左、右、上或下方向以基准点为中心圆状地 移动规定距离。此时,系统控制部37以使得视线通过基准点的方式变更视线方向。 系统控制部37在变更视点位置和视线方向后,使用变更后的视点位置和视线方向, 生成包含物体三维图像411的框图像,并进行显示(步骤S3)。

另一方面,在系统控制部37判定为未按下移动按钮420的情况下(步骤S4: “否”),判定是否按下了画面切换按钮430(步骤S6)。此时,在系统控制部37判定 为未按下画面切换按钮430的情况下(步骤S6:“否”),转移到步骤S4。另一方面, 在系统控制部37判定为按下了画面切换按钮430的情况下(步骤S6:“是”),结束 物体配置确认处理。然后,系统控制部37在显示部33中显示物体配置画面300。

接着,使用图9和图10,对信息提供服务器2中的摄影地点信息的推荐处理进 行说明。

图9是示出信息提供服务器2的系统控制部23的摄影地点信息的推荐处理的流 程图。另外,在从终端装置1-k访问例如摄影点提供网站,并通过登录处理进行了用 户认证时,开始图9所示的处理。

在图9中,信息提供服务器2的系统控制部23将用于显示物体配置画面300的 显示数据发送到终端装置1-k(步骤S21)。终端装置1-k在接收到该显示数据后在显 示部33中显示物体配置画面300。然后,系统控制部23根据通过用户按下画面切换 按钮而发送来的消息,发送物体配置确认画面400的显示数据,或者发送物体配置画 面300的显示数据。然后,如上所述,在配置了物体321的状态下,发送按钮340 被用户按下时,终端装置1-k将包含用户三维配置信息和视线信息的请求消息发送到 信息提供服务器2。

信息提供服务器2的系统控制部23在从终端装置1-k接收到请求消息后(步骤 S22),根据请求消息中所包含的用户三维配置信息和视线信息,生成用户二维配置信 息(步骤S23)。用户二维配置信息是表示通过在基于视点位置和视线方向而确定的 投影面上投影虚拟物体而在投影面上表示的投影像(本发明的投影到二维面上的物体 的一例)在投影面内的配置的信息。用户二维配置信息包含投影到投影面上的每个虚 拟物体的配置位置信息(本发明的二维配置信息的一例)。该配置位置信息的内容与 在图像信息DB222中所登记的配置位置信息的内容相同。系统控制部23与物体配 置确认处理中的步骤S3的处理同样地,将在虚拟三维空间中配置的虚拟物体投影到 投影面上。由此,系统控制部23计算虚拟物体(投影像)在投影面中的二维坐标。 该二维坐标例如是将投影面的横向坐标轴作为X轴、投影面的纵向坐标轴作为Y轴 的二维坐标系的坐标,与上述的模拟框410的屏幕坐标基本相同。接着,系统控制部 23根据各虚拟物体的二维坐标生成用户二维配置信息。

图10是用于说明用户配置的虚拟物体的用户二维配置信息中的配置位置信息的 图。如图10所示,与在图像信息DB222中所登记的图像数据同样,投影面Q被分 割为多个区域。并且,各区域被分配了区域号码N。纵和横的分割数量与在图像信息 DB222中所登记的图像数据相同。系统控制部23与在图像信息DB222中所登记的 配置位置信息的情况同样地,确定表示所投影的虚拟物体的区域(例如,投影像占据 规定比例以上的区域)。例如,山M1表示在区域号码“56”、“65”、“66”、“68”的 区域中。此外,大厦B1表示在区域号码“27”、“37”、“47”、“57”、“67”的区域中。 这样,系统控制部23通过确定表示各虚拟物体的区域,来按照每个虚拟物体生成配 置位置信息。然后,生成包含投影到投影面上的各虚拟物体的配置位置信息的用户二 维配置信息。

接着,系统控制部23进行一致度判定处理(步骤S24)。具体而言,系统控制部 23对用户三维配置信息中所包含的物体信息和所生成的用户二维配置信息中所包含 的配置位置信息、与在图像信息DB222中所登记的物体信息和配置位置信息进行比 较,由此来判定一致度是否较高,根据一致度的判定结果来检索图像数据(即,根据 上述比较的结果来检索图像数据)。例如,在用户三维配置信息中所包含的物体信息、 与在图像信息DB222中所登记的图像数据表示的图像中作为物体图像而包含的物体 的物体信息完全一致,并且在一致的物体信息的配置位置信息之间区域号码完全一致 的情况下,判定为一致度较高。此外,也可以是,在用户三维配置信息中所包含的物 体信息、与在图像信息DB222中所登记的图像数据表示的图像中所包含的物体的物 体信息完全一致,并且在一致的物体信息的配置位置信息间之间区域号码一致的比例 在规定比例(例如,70%)以上的情况下,判定为一致度较高。此外,也可以是,系 统控制部23在用户三维配置信息中所包含的至少一部分的物体信息、与在图像信息 DB222中所登记的图像数据表示的图像中所包含的物体的至少一部分的物体的物体 信息一致,并且一致的物体之间的配置位置信息之间区域号码完全一致或者规定比例 一致的情况下,判定为一致度较高。

此外,也可以是,系统控制部23针对投影到投影面上的各虚拟物体和在图像信 息DB222中所登记的图像数据表示的图像中所包含的各物体计算一致度,根据所计 算出的各一致度来计算整体的一致度,并对一致度进行判定。例如,系统控制部23 从投影到投影面上的虚拟物体和图像数据表示的图像中所包含的物体中确定处于对 应关系的虚拟物体和物体。具体而言,系统控制部23确定物体信息一致的虚拟物体 和物体,来作为处于对应关系的虚拟物体和物体。这里,在物体信息一致的虚拟物体 和物体中至少任意一方存在多个的情况下(例如,大厦的虚拟物体是3个,大厦的物 体是2个等),系统控制部23在它们中确定配置位置信息示出的配置最接近的虚拟物 体和物体,作为处于对应关系的虚拟物体和物体。然后,系统控制部23计算处于对 应关系的虚拟物体和物体的配置的一致度。例如,在处于对应关系的虚拟物体和物体 的配置位置信息之间,区域号码一致的比例越高一致度就越高。此外,也可以是,例 如在虚拟物体和物体的配置位置信息之间,区域号码所示的区域间的距离越短,一致 度就越高。例如,设为将虚拟物体在区域号码“12”的区域中显示。另一方面,在图 像中所包含的物体显示在区域号码“12”的区域中的情况下,例如,一致度示出最高 的值。而且,例如当表示物体的“23”、“34”、“45”的区域远离表示虚拟物体的区域 时,一致度根据距离而变低。另外,在投影到投影面的虚拟物体中不存在处于对应关 系的物体的情况下,作为该虚拟物体的一致度,例如设定为能够设定的最低的一致度。 此外,即便在图像数据表示的图像中所包含的物体中不存在处于对应关系的虚拟物 体,作为该物体的一致度,例如也设定能够设定的最低的一致度。系统控制部23例 如通过计算处于对应关系的虚拟物体和物体之间的一致度的整体的平均值等,来求出 整体的一致度。然后,系统控制部23例如在整体的一致度为规定值以上情况下,判 定为一致度较高。此外,也可以是,系统控制部23例如在图像信息数据库222中所 登记的图像数据中,确定将相对较高的一致度计算为整体的一致度的图像数据,作为 一致度较高的图像数据。即,将与其他图像数据相比,图像内的物体的配置接近投影 面内的虚拟物体的配置的图像数据,作为一致度较高的图像数据。该情况下,也可以 是,系统控制部23例如在图像信息数据库222中所登记的图像数据中确定计算出最 高的一致度的图像数据,作为一致度较高的图像数据。或者,也可以是,系统控制部 23确定从所计算出的一致度第1高的图像数据起到规定名次高的图像数据,作为一 致度较高的图像数据。根据配置位置信息来进行一致度的判定,由此能够优选地检索 包含符合用户喜好的物体信息的图像数据。

在系统控制部23通过上述检索无法确定一致度较高的图像数据的情况下(步骤 S25:“否”),结束图9所示的处理。另一方面,在系统控制部23通过上述检索确定 了一致度较高的图像数据的情况下(步骤S25:“是”),进入步骤S26。

在步骤S26中,系统控制部23从图像信息DB222中取得根据一致度的判定结 果而确定的图像数据、和与该图像数据对应地登记的摄影地点信息(表示该图像数据 的摄影点的摄影地点信息)中的至少任意一方。

然后,系统控制部23执行将该取得的图像数据和摄影地点信息中的至少任意一 方发送到终端装置1-k的推荐处理(步骤S27)。通过将这样发送的图像数据和摄影 地点信息中的至少任意一方显示在终端装置1-k的显示部33的画面上来通知用户。 这样,向用户推荐与摄影点有关的信息(图像数据和表示该图像数据的摄影点的摄影 地点信息)。

另外,也可以构成为,在该推荐处理中,将该图像数据和摄影地点信息中的至少 任意一方记述在电子邮件中,并将该电子邮件发送到该用户的邮件地址。

如以上说明的那样,根据上述实施方式,信息提供服务器2根据从终端装置1-k 接收到的用户三维配置信息中所包含的三维配置位置信息和视线信息,生成用户二维 配置信息,对在图像信息DB222中所登记的图像数据表示的图像中所包含的物体的 物体信息及其配置位置信息、与用户三维配置信息中所包含的物体信息和用户二维配 置信息中所包含的配置位置信息进行比较,根据其比较的结果来检索图像数据,因此 能够高效地检索包含符合用户喜好的物体的图像的图像数据。然后,信息提供服务器 2将所检索到的图像数据和该图像数据的摄影地点信息中的至少任意一方通知给终 端装置1-k的用户。由此,通过让终端装置1-k的用户根据自己的喜好来指定物体、 该物体在三维空间中的配置位置、视点位置和视线方向,能够优选地推荐与可以符合 用户喜好的视点位置和视线方向对该物体进行摄影的摄影点有关的信息。

此外,在信息提供服务器2中,系统控制部23发送在终端装置1-k的显示画面 上可由用户选择地显示表示配置在虚拟三维空间中的物体的候选的物体候选312的 物体配置画面300用的显示数据,此外,在信息提供服务器2中接收被用户选择的物 体候选312表示的、配置在虚拟三维空间内的物体的候选的物体信息,以及该候选的 配置位置信息。由此,用户能够根据自己的喜好来容易地指定物体及其配置位置。

此外,终端装置1-k取得表示通过用户的操作而配置在虚拟三维空间内的虚拟物 体在该虚拟三维空间内的配置的三维配置位置信息,确定在虚拟三维空间中视线被定 向的基准位置,按照用户的操作,一边将从视点位置朝向基准位置的方向作为视线方 向,一边使视点位置移动,由此设定视点位置和视线方向,将取得的三维配置位置信 息以及表示设定的视点位置和视线方向的视线信息向信息提供服务器2发送。由此, 通过由用户进行以基准位置为中心使视点位置移动的操作,能够设定视点位置和视线 方向。

另外,在上述实施方式中,从终端装置1-k发送的请求消息中所包含的视线信息 仅示出了一组视点位置和视线方向。然而,视线信息也可以是能够确定多组视点位置 和视线方向的信息。而且,也可以是,信息提供服务器2在上述步骤S23中,根据多 组视点位置和视线方向生成多个用户二维配置信息,按照每个用户二维配置信息进行 图像数据的检索。

例如,在物体配置确认画面400中,用户能够对移动按钮420进行操作,并将模 拟框410中所显示的物体三维图像411的配置成为用户喜好的配置时的视点位置和视 线方向保存在RAM37c等中。该保存例如能够通过按下物体配置确认画面400上的 规定按钮来实现。用户在保存了多个视点位置和视线方向的组之后,在物体配置画面 300中按下发送按钮340。于是,终端装置1-k将包含至此所保存的多组视点位置和 视线方向的视线信息的请求消息向信息提供服务器2发送。接收到请求消息的信息提 供服务器2的系统控制部23按照视点位置和视线方向的每个组来生成用户二维配置 信息。然后,系统控制部23按照生成的每个用户二维配置信息,对在图像信息DB222 中所登记的图像数据表示的图像中所包含的物体的物体信息及其配置位置信息、与用 户三维配置位置信息中所包含的物体信息和用户二维配置信息中所包含的配置位置 信息进行比较。然后,系统控制部23按照生成的每个用户二维配置信息来检索图像 数据。

此外,也可以是,能够由用户来指定视点位置或视线方向中的至少任意一方的范 围,并且信息提供服务器2在所指定的范围内确定多组视点位置和视线方向。例如, 在物体配置画面300或者物体配置确认画面400中,设为能够由用户指定从基准点到 视点的距离的范围,或者设为能够由用户指定以基准点为中心的视线方向的范围(例 如,视线的角度的范围,或者以基准点为中心的、能够使视点位于其上的圆弧的长度 等)。终端装置1-k将包含了含有用户的范围指定的视线信息的请求消息向信息提供 服务器2发送。信息提供服务器2的系统控制部23根据视线信息,确定多个视点位 置和视线方向的组。例如,系统控制部23在所指定的范围内,按照每个规定距离和 规定角度确定视点位置和视线方向,或者在所指定的范围内,以相等间隔确定规定数 量的视点位置和视线方向。另外,也可以是,由用户指定用于确定多个视点位置和视 线方向的、距离间隔、角度间隔、确定的个数等,并将所指定的信息包含于视线信息 中,向信息提供服务器2发送。系统控制部23通过计算多个视点位置或视线方向, 来确定多组视点位置和视线方向。

根据多组视点位置和视线方向来进行图像数据的检索,由此,在三维空间中的物 体的配置相同、且图像内的物体的配置成为与各个视点位置和视线方向相应的配置的 多个图像数据成为检索对象。因此,能够容易地找到包含用户喜好的物体的图像的数 据。此外,能够容易到找到与可以符合用户喜好地配置的物体进行摄影的摄影点有关 的信息。此外,能够针对同一物体检索多个图像数据。此外,能够针对同一物体推荐 与摄影角度和摄影距离彼此不同的多个摄影点有关的信息。

这里,也可以是,系统控制部23从根据多组视点位置和视线方向而生成的多个 用户二维配置信息中,选择示出投影面内的虚拟物体之间的重叠最小的配置的用户二 维配置信息,仅将选择出的用户二维配置信息中所包含的配置位置信息与在图像信息 DB222中所登记的配置位置信息进行比较,来检索图像数据。

例如,在图10所示的投影面Q中,山M1与大厦B1在区域号码“57”和“67” 上重叠。由于山M1的相比于大厦B1与视点的距离较远,因此,在区域号码“57” 和“67”上优先显示大厦B1。该情况下,在2个区域中,虚拟物体之间重叠。也可 以是,系统控制部23针对各用户二维配置信息计算虚拟物体之间重叠的区域的个数, 选择虚拟物体之间重叠的区域的个数最少的用户二维配置信息。此外,也可以是,系 统控制部23针对各用户二维配置信息来计算虚拟物体所占的区域中的虚拟物体之间 重叠的区域的比例,选择虚拟物体之间重叠的区域的比例最低的用户二维配置信息。 在图10的例中,虚拟物体所占的区域的个数是9个,因此虚拟物体之间的重叠的区 域的比例为2/9。

由此,能够检索图像内的物体之间的重叠较小的图像数据。此外,能够推荐与可 以物体之间的重叠变小的方式进行摄影的摄影点有关的信息。

此外,也可以是,在物体配置画面300或物体配置确认画面400中,可由用户从 虚拟三维空间内配置的虚拟物体中选择1个以上的虚拟物体,信息提供服务器2对由 用户选择的虚拟物体的物体信息和配置位置信息,与在图像信息DB222中所登记的 图像数据表示的图像中所包含的物体中的、与由用户所选择的虚拟物体对应的物体的 物体信息及其配置位置信息进行比较,来检索图像数据。

例如,终端装置1-k将包含表示由用户所选择的虚拟物体的选择物体信息(本发 明的选择信息的一例)的请求消息向信息提供服务器2发送。信息提供服务器2的系 统控制部23根据选择物体信息来确定由用户选择的虚拟物体的物体信息和三维配置 位置信息。系统控制部23在上述步骤23中的用户二维配置信息的生成时,针对未被 用户选择的虚拟物体,可以生成配置信息,也可以不生成配置信息。系统控制部23 在上述步骤24的一致度的判定处理中,从在图像信息DB222中所登记的图像数据 表示的图像中作为物体图像而包含的物体中,确定与被用户选择的虚拟物体对应的物 体。例如,系统控制部23确定物体信息与所选择的虚拟物体的物体信息一致,并且 配置位置信息表示的配置与所选择的虚拟物体的配置位置信息表示的配置最接近的 物体(例如,一致的区域号码最多的物体),作为对应的物体。然后,系统控制部23 针对由用户所选择的虚拟物体和与该虚拟物体对应的物体,对配置位置信息进行比 较。这里,系统控制部23针对未被用户选择的虚拟物体和与由用户所选择的虚拟物 体对应的物体以外的物体,不进行配置位置信息的比较。由此,系统控制部23判定 一致度是否较高。

由此,能够检索至少包含与由用户所选择的虚拟物体相当的物体的图像的图像数 据。此外,能够推荐与至少能够对由用户所选择的虚拟物体相当的物体进行摄影的摄 影点有关的信息。例如,适合以下用户,该用户认为与自己选择的虚拟物体相当的物 体以外的任何物体处于怎样的配置位置都可以,想拍摄至少与自己选择的虚拟物体相 当的物体被配置在喜欢的位置的图像。

此外,也可以是,在物体配置画面300或物体配置确认画面400中,可由用户从 虚拟三维空间内配置的虚拟物体中选择1个以上的虚拟物体,信息提供服务器2将由 用户所选择的虚拟物体以外的虚拟物体从向投影面的投影对象中排除,生成用户二维 配置信息。然后,系统控制部23可以根据这样生成的用户二维配置信息,进行步骤 S24中的一致度的判定处理。由此,视为用户在虚拟三维空间中配置的虚拟物体中的 由用户所选择的虚拟物体以外的虚拟物体未被配置的状态,进行一致度的判定。因此, 即便用户不解除虚拟物体的配置的指定,也能够检索尽量不包含与用户所选择的虚拟 物体相当的物体以外的物体的图像的数据。此外,能够推荐与能够以尽量不映入与用 户所选择的虚拟物体相当的物体以外的物体的方式进行摄影的摄影点有关的信息。由 此,例如,用户在图像数据的检索后,在继续虚拟物体的配置作业或视点位置和视线 方向的设定作业等的情况下,能够省略从虚拟三维空间除去虚拟物体和对被除去的虚 拟物体的进行再配置等的麻烦。该情况下,终端装置1-k例如也将包含表示由用户所 选择的物体的选择物体信息的请求消息向信息提供服务器2发送。

此外,在上述步骤S2中,在终端装置1-k确定基准位置的初始值时,取得了预 先设定的基准位置的坐标,但也可以是,根据三维空间内的虚拟物体的配置状况等, 自动地设定基准位置的初始值。

例如,也可以是,终端装置1-k的系统控制部37从配置在虚拟三维空间的虚拟 物体中,确定大小最大的虚拟物体的位置作为基准位置。具体而言,系统控制部37 计算各虚拟物体的立体图形的体积。然后,系统控制部37将体积最大的虚拟物体的 立体图形的重心位置的坐标设为基准位置的坐标。然后,系统控制部37以使得视线 通过基准位置的方式,变更物体配置画面300中所显示的视线标记323表示的视点位 置和视线方向中的至少任意一方,设定视点位置和视线方向初始值。由此,能够根据 用户操作来设定视点位置和视线方向,使得大小最大的虚拟物体投影到投影面上。

此外,也可以是,系统控制部37在虚拟三维空间内配置了多个虚拟物体的情况 下,确定虚拟三维空间内所配置的虚拟物体的位置的重心位置作为基准位置。即,在 多个虚拟物体的配置的虚拟物体间的位置关系中,可以将其重心的位置作为基准位 置。具体而言,系统控制部37确定各虚拟物体的立体图形的重心位置的坐标作为各 个虚拟物体的位置的坐标。接着,系统控制部37计算成为多个虚拟物体的位置的重 心的位置的坐标。例如可以是,系统控制部37将多个虚拟物体的位置的坐标按照X 分量、Y分量、Z分量进行相加,将各分量的合计值除以虚拟物体的个数,由此计算 重心位置的坐标。然后,系统控制部37将计算出的坐标作为基准位置的坐标。在该 情况下,系统控制部37也以使得视线通过基准位置的方式,设定视点位置和视线方 向的初始值。由此,能够将对多个虚拟物体的位置取得了平衡的位置作为基准位置。 另外,在虚拟三维空间中仅配置了1个虚拟物体的情况下,所配置的虚拟物体的立体 图形的重心位置成为基准位置。

此外,也可以是,系统控制部37将虚拟三维空间内配置的全部虚拟物体投影到 投影面上,并且,确定所投影的虚拟物体之间的重叠最小的视点位置和视线方向,在 由所确定的视点位置和视线方向所示的视线上确定基准位置的初始值。具体而言,系 统控制部37根据在上述步骤S1中所取得的三维配置位置信息,生成与视点位置或视 线方向中的至少任意一方不同的多个视点位置和视线方向的组对应的多个用户二维 配置信息。这里,系统控制部37可以将视点位置固定在视线标记323表示的视点位 置,以预先设定的角度间隔(例如,10度等)来改变视线方向,从而生成视点位置 和视线方向的组。此外,系统控制部37也可以将视点方向固定在视线标记323表示 的视线方向,以预先设定的距离间隔(例如,1个块)来改变视点位置,从而生成视 点位置和视线方向的组。此外,系统控制部37也可以改变视点位置和视线方向双方。 用户二维配置信息的生成方法与上述步骤S23的情况相同。这里,系统控制部37针 对判定为虚拟三维空间内配置的虚拟物体中只要还存在1个没有投影到投影面上的 虚拟物体的用户二维配置信息,从基准位置的确定候选中排除。另一方面,系统控制 部37从判定为投影了全部虚拟物体的用户二维配置信息中选择投影面内的虚拟物体 之间的重叠最小的用户二维配置信息。选择虚拟物体之间的重叠最小的用户二维配置 信息的方法与前述的方法相同。接着,系统控制部37将在选择的用户二维配置信息 的生成中所使用的视点位置和视线方向设定为视点位置和视线方向的初始值。此外, 系统控制部23在由作为初始值而设定的视点位置和视线方向所示的视线上确定基准 位置。例如,系统控制部37将位于与视点位置相距预先设定的距离的点作为基准点, 将该基准点的位置作为基准位置。由此,用户能够从投影到投影面上时的投影面内的 虚拟物体之间的重叠最小的视点位置和视线方向起,开始视点位置和视线方向的设定 作业。此外,用户能够在配置在虚拟三维空间内的全部虚拟物体的物体三维图像411 显示在模拟框410中状态下,开始作业。

另外,基准位置、视点位置和视线方向的初始值的确定也可以在信息提供服务器 2侧进行。该情况下,终端装置1-k将用户三维配置信息向信息提供服务器2发送。 此外,终端装置1-k根据需要将视线信息向信息提供服务器2发送。信息提供服务器 2根据接收到的用户三维配置信息等,生成与视点位置或视线方向中的至少任意一方 不同的多个视点位置和视线方向的组对应的多个用户二维配置信息。接着,信息提供 服务器2根据生成的用户二维配置信息,确定基准位置、视点位置和视线方向的初始 值。然后,信息提供服务器2将表示确定的基准位置、视点位置和视线方向的初始值 的初始值信息向终端装置1-k发送。终端装置1-k在上述步骤S3中根据接收到的初 始值信息来显示物体三维图像411。

此外,也可以构成为,在进行上述步骤S24中的一致度的判定时,从终端装置 1-k取得表示进行了用户认证的用户的当前位置的位置信息(例如,由终端装置1-k 的GPS接收机检测到的位置信息),或者表示用户指定的位置的位置信息。该情况下, 系统控制部23从图像信息DB222中所登记的各图像数据中检索在从由终端装置1-k 取得的位置信息所示的位置(例如,用户的当前位置,或者用户指定的位置)起规定 范围(例如,以用户的当前位置或用户指定的位置为中心的半径规定距离内的范围) 内进行摄影得到的图像数据。由此,能够在用户当前所在的场所(例如旅行目的地), 或用户指定的场所附近,高效地检索包含符合用户喜好的物体的图像的图像数据,能 够高效地推荐与可在符合用户喜好的配置位置对符合用户喜好的物体进行摄影的摄 影点有关的信息。

此外,在上述步骤S25的处理中,存在多个根据一致度的判定结果(即,比较的 结果)所确定的图像数据的情况下,也可以构成为,在上述步骤S27的推荐处理中, 将与各图像数据对应起来登记的摄影地点信息的一览发送到终端装置1-k并进行显 示。根据该结构,用户在存在作为多个推荐对象的地点的情况下,也能够容易地掌握 与这些地点邻近的摄影点。

此外,在上述步骤S25的处理中,存在多个根据一致度的判定结果所确定的图像 数据的情况下,也可以构成为,在上述步骤S27的推荐处理中,将表示与各图像数据 对应起来登记的各摄影地点的位置的地图信息发送到终端装置1-k并进行显示。根据 该结构,用户在存在多个作为推荐对象的地点的情况下,也能够容易地在地图上掌握 与这些地点邻近的摄影点的位置。

此外,在上述步骤S25的处理中,无法根据一致度的判定结果确定图像数据的情 况下,也可以逐渐放宽判定的条件,知道能够根据一致度的判定结果确定至少1个图 像数据。具体而言,也可以逐渐减少进行比较的物体的数量。此外,也可以是,用户 在对虚拟物体在投影面上的配置位置、与表示在图像数据中符合的物体的配置位置进 行比较时,逐渐扩大判定一致度的范围。例如,由区域号码“12”、“13”、“22”、“23” 示出投影面中的虚拟物体的配置位置的情况下,也可以扩大进行比较的区域,使得将 在由区域号码“1”~“5”、“11”~“15”、“21”~“25”、“31”~“35”所示的任 意一个区域中显示符合的物体的图像数据判定为一致度较高。由此,能够降低针发生 对用户的请求无法回答这样的情况的可能性。

此外,在上述步骤S24的处理(一致度判定处理)中,仅比较了物体信息的配置 位置,但是,例如也可以是,用户能够在物体配置画面300或物体配置确认画面400 中指定配置在虚拟三维空间中的虚拟物体的颜色,对物体的配置位置和颜色进行比 较。具体而言,系统控制部23还接收表示虚拟物体的颜色的颜色信息,并进一步对 接收到的颜色信息所示出的虚拟物体的颜色与所登记的图像数据表示的图像中所包 含的物体的颜色之间的一致度进行判定。由此,用户例如指定“山”作为物体信息, 并且指定“红”或“黄”作为其颜色,由此能够高效地检索包含树木带红叶的山的 图像的图像数据,并能够取得与可对树木带红叶的山进行摄影的摄影点有关的信息。 另外,通过与摄影地点信息发送摄影日期时间,能够向用户提示适合摄影的时间。

此外,在上述步骤S24的处理(一致度判定处理)中,将图像信息DB222中所 登记的全部图像数据作为了比较对象,但也可以是,让用户指定与摄影地点信息有关 的条件,并仅将与满足该条件的摄影地点信息对应的图像数据作为比较对象。具体而 言,系统控制部23还接收表示与摄影地点信息有关的条件的条件信息,针对与满足 接收到的条件信息所示的条件的摄影地点信息对应的图像数据来进行步骤S24的处 理(一致度判定处理)。由此,用户例如通过指定“摄影地点为关东地区”作为与摄 影地点信息有关的条件,能够有效地检索可在关东地区进行摄影的图像数据,并取得 与关东地区的点有关的信息。此外,在规定去韩国旅行等的情况下,通过指定“摄影 地点为韩国国内”作为与摄影地点信息有关的条件,能够有效地检索可在韩国国内进 行摄影的图像数据,并取得与韩国国内的点有关的信息。此外,通过指定“摄影地点 为住宿施设的房间”作为与摄影地点信息有关的条件,并且根据想要从房间看到的景 色在物体配置画面300中配置物体321,并在物体配置确认画面400中确定物体三维 图像411的配置,能够高效地检索包含喜欢的景色的图像数据,能够取得与关于可看 到喜欢的景色的住宿施设的房间的点有关的信息。另外,也可以是,另外构建住宿施 设引导系统,和与点有关的信息一起提供符合的住宿施设的引导信息。此外,也可以 提供住宿施设的预约服务。

此外,在上述步骤S24的处理(一致度判定处理)中,也可以构成为,根据用户 对特定的摄影对象的物体的指定,来决定图像数据的提取对象范围。例如,在用户指 定“山”作为物体,并为了确定(根据位置信息来确定)该山而指定了“富士山”的 情况下,在上述步骤S24的处理(一致度判定处理)中,决定以该指定的富士山的位 置信息(例如经度和纬度)为基准的规定范围作为图像数据的提取对象范围,进行在 该范围内所摄影的图像数据的检索。由此,能够在用户指定的特定的摄影对象的物体 (例如,富士山)的周围检索包含符合用户喜好的物体(例如富士山)的图像的图像 数据,并能够高效地推荐与可以在符合用户喜好的配置位置对符合用户喜好的物体 (例如,富士山)进行摄影的摄影点有关的信息。另外,例如以富士山的经度和纬度 为中心的半径规定距离(例如,10km)内的范围,符合作为以富士山的位置信息为 基准的规定范围。此外,该提取对象范围例如可以设为以富士山的位置信息为基准的 圆环形的同心圆(即,以该位置信息为中心的圆的外侧的圆环区域)。此外,该半径 规定距离构成为,例如通过以富士山的位置信息为基准,阶段性地变大,来阶段性地 扩大提取对象范围。该情况下,例如可以使以富士山的位置信息为基准的圆环形的同 心圆阶段性地扩大,也可以与该扩大联动地还使以该位置信息为中心的圆(即,圆环 区域的内侧的圆)阶段性地扩大。或者,也可以构成为,例如根据投影到投影面上的 虚拟物体的投影像相对于投影面的大小的比例(例如,面积的比率)来决定该规定范 围。例如,当虚拟物体(山)的投影像对于投影面的大小的比例为90%时,将以该 山的经度和纬度为中心的半径5km内的范围决定为提取对象范围。而且,该比例越 从80%接近0%(换言之,虚拟物体的投影像的大小越小),则该半径逐渐增大,其 结果是,以逐渐增大的方式决定提取对象范围。根据这样的结构,用户仅通过决定虚 拟物体的投影像的大小,就能够简单地决定图像数据的提取对象范围。另外,举出指 定用于确定上述山的“富士山”作为与摄影地点信息有关的条件的例子。该情况下, 系统控制部23将包含所指定的“富士山”作为条件的条件信息与用户配置信息一起 从终端装置1-k接收。

在本实施方式中,(i)将向图像投稿网站投稿的图像数据在图像信息DB222中 进行登记的情况下,采用如下结构:信息提供服务器2的系统控制部23使用物体识 别算法,来确定接收到的图像数据表示的图像中作为物体图像所包含的物体及其配置 位置信息。也可以采用如下结构来代替该结构:在投稿者的终端装置中按照包含物体 识别算法的程序,使该终端装置来确定图像数据表示的图像中所包含的物体及其配置 位置信息,并由信息提供服务器2对其进行接收。此外,将包含物体识别算法的信息 提供处理程序安装到终端装置,并且,预先将图像数据和该图像数据表示的图像中所 包含的物体以及该图像中的该各物体的配置位置信息在例如终端装置内搭载的内部 存储部或与终端装置连接的外部存储部中存储。而且,终端装置也可以构成为,根据 用户的操作生成用户二维配置信息,对上述存储部中所存储的图像数据表示的图像中 所包含的物体的配置位置信息、与所生成的用户二维配置信息中所包含的配置位置信 息进行比较,根据该比较的判定结果来检索图像数据并进行显示。由此,例如能够从 用户收集到的大量的图像数据中高效地检索包含该符合用户喜好的物体的图像的图 像数据,并向该用户进行提示。另外,安装到终端装置中的信息提供处理程序,例如 可以从规定的服务器等经由网络NW而取得(下载),也可以被记录在CD(Compact  Disc:光盘)、DVD(Digital Versatile Disc:数字多功能光盘)等记录介质中而被读入。

此外,在本实施方式中,通过区域号码来管理图像P或者投影面Q上的物体的 配置位置和大小等,但是,也可以通过图像P中的物体图像的轮廓坐标或投影面Q 上的投影像的轮廓坐标来进行管理。该情况下,通过对物体的轮廓坐标之间进行比较 来判定一致度。例如,在将照片P与投影面Q重合时,物体的重复的部分为规定比 例以上时判定为一致度较高。除此以外,还可以使用任意的方法作为管理物体的配置 位置和大小的方法。

此外,在上述实施方式中,作为检索对象的图像数据是在摄影点作为摄影对象的 图像数据,但是,也可以是与摄影点无关的图像数据。

标号说明

1-k:终端装置

2:信息提供服务器

21:通信部

22:存储部

23:系统控制部

NW:网络

S:信息提供系统

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号