注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质

摘要

本发明提供注视位置估计系统，其不用检测虹膜中心位置或者估计眼球中心的投影位置就能够估计用户的注视位置。摄影部(17)拍摄观看显示单元所显示的画面的用户的面部。区域检测部(32)从摄影部(17)的摄影图像检测用户的面部区域与用户的眼睛以外的规定部位区域的至少一方和用户的眼睛区域。面积/位置信息取得部(60)取得眼睛区域的面积信息和位置信息、面部区域与规定部位区域中的至少一方的面积信息和位置信息。注视位置估计部(62)根据由面积/位置信息取得部(60)取得的面积信息和位置信息，估计用户正在注视的画面内的位置。

说明书

技术领域

本发明涉及注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装 置、注视位置估计装置的控制方法、程序以及信息存储介质。

背景技术

公开有如下技术：根据由一个照相机拍摄的用户面部图像来估计用户正在注视的 位置。例如，在专利文献1中公开了如下内容：从由一个照相机拍摄的图像检测用户 的虹膜中心位置，还根据该图像估计用户的眼球中心的投影位置，并基于这些虹膜中 心位置和眼球中心的投影位置来估计用户的视线方向。

现有技术文献

专利文献

专利文献1：日本特开2011-90702号公报

发明内容

发明所要解决的课题

但是，在专利文献1所记载的技术中，需要检测用户的虹膜中心位置或者估计用 户的眼球中心的投影位置。为了检测虹膜中心位置或者估计眼球中心的投影位置，需 要执行处理负荷重的处理，因此存在用于估计用户的注视位置的处理的处理负荷变重 的情况。

本发明是鉴于上述问题而完成的，其目的在于，提供不用检测虹膜中心位置或者 估计眼球中心的投影位置就能够估计用户的注视位置的注视位置估计系统、注视位置 估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及 信息存储介质。

用于解决课题的手段

为了解决上述课题，本发明的注视位置估计系统，其特征在于，包括：摄影单元， 其用于拍摄观看显示单元所显示的画面的用户的面部；区域检测单元，其从所述摄影 单元的摄影图像检测所述用户的面部区域与所述用户的眼睛以外的规定部位区域中 的至少一方和所述用户的眼睛区域；面积/位置信息取得单元，其取得所述眼睛区域 的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述至少一方的面积 信息和位置信息；以及注视位置估计单元，其根据由所述面积/位置信息取得单元取 得的面积信息和位置信息，估计所述用户正在注视的所述画面内的位置。

另外，本发明的注视位置估计系统的控制方法，其特征在于，包括：取得摄影单 元的摄影图像的步骤，该摄影单元用于拍摄观看显示单元所显示的画面的用户的面 部；区域检测步骤，从所述摄影图像检测所述用户的面部区域与所述用户的眼睛以外 的规定部位区域中的至少一方和所述用户的眼睛区域；面积/位置信息取得步骤，取 得所述眼睛区域的面积信息和位置信息、所述面部区域与所述规定部位区域中的所述 至少一方的面积信息和位置信息；以及注视位置估计步骤，根据在所述面积/位置信 息取得步骤中取得的面积信息和位置信息，估计所述用户正在注视的所述画面内的位 置。

另外，本发明的注视位置估计装置，其特征在于，包括：取得面积信息和位置信 息的单元，其取得从摄影单元的摄影图像检测到的、所述用户的面部区域与所述用户 的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息和位置 信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；以及注视位 置估计单元，其根据所述面积信息和所述位置信息，估计所述用户正在注视的所述画 面内的位置。

另外，本发明的注视位置估计装置的控制方法，其特征在于，包括：取得面积信 息和位置信息的步骤，取得从摄影单元的摄影图像检测到的、所述用户的面部区域与 所述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信 息和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；以 及注视位置估计步骤，根据所述面积信息和所述位置信息，估计所述用户正在注视的 所述画面内的位置。

另外，本发明的程序，用于使计算机作为以下单元来发挥功能：取得面积信息和 位置信息的单元，其取得从摄影单元的摄影图像检测到的、所述用户的面部区域与所 述用户的眼睛以外的规定部位区域中的至少一方和所述用户的眼睛区域的面积信息 和位置信息，所述摄影单元用于拍摄观看显示单元所显示的画面的用户的面部；以及 注视位置估计单元，其根据所述面积信息和所述位置信息，估计所述用户正在注视的 所述画面内的位置。

另外，本发明的计算机可读取的信息存储介质，其记录有用于使计算机作为以下 单元来发挥功能的程序：取得面积信息和位置信息的单元，其取得从摄影单元的摄影 图像检测到的、所述用户的面部区域与所述用户的眼睛以外的规定部位区域中的至少 一方和所述用户的眼睛区域的面积信息和位置信息，所述摄影单元用于拍摄观看显示 单元所显示的画面的用户的面部；以及注视位置估计单元，其根据所述面积信息和所 述位置信息，估计所述用户正在注视的所述画面内的位置。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括基准面积 /位置信息取得单元，该基准面积/位置信息取得单元根据所述用户观看所述画面内的 基准位置时的所述眼睛区域的面积信息和位置信息而取得所述眼睛区域的基准面积 信息和基准位置信息，而且根据所述用户观看所述画面内的所述基准位置时的所述面 部区域与所述规定部位区域中的所述至少一方的面积信息和位置信息，取得所述面部 区域与所述规定部位区域中的所述至少一方的基准面积信息和基准位置信息，所述注 视位置估计单元根据由所述面积/位置信息取得单元取得的面积信息和位置信息、与 由所述基准面积/位置信息取得单元取得的基准面积信息和基准位置信息之间的差， 估计所述用户正在注视的所述画面内的位置。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括计算由所 述面积/位置信息取得单元取得的面积信息和位置信息、与由所述基准面积/位置信息 取得单元取得的基准面积信息和基准位置信息之间的差的移动平均的单元，所述注视 位置估计单元根据所述移动平均，估计所述用户正在注视的所述画面内的位置。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括：判定由 所述区域检测单元进行的任意区域的检测是否失败的单元；以及在由所述区域检测单 元进行的任意区域的检测失败时制止所述注视位置估计单元执行估计的单元。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括将表示由 所述注视位置估计单元估计为所述用户正在注视的所述画面内的位置的图像显示到 所述画面内的单元。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括信息处理 装置，所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及 所述注视位置估计单元，所述摄影单元每隔第1规定时间拍摄所述用户的面部，将由 所述摄影单元拍摄到的每隔所述第1规定时间的摄影图像中的、每隔比所述第1规定 时间长的第2规定时间的摄影图像作为所述区域检测单元的检测对象，所述注视位置 估计系统包括设定单元，该设定单元根据与所述信息处理装置的处理能力相关的信 息，设定所述第2规定时间。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括信息处理 装置，所述信息处理装置包括所述区域检测单元、所述面积/位置信息取得单元以及 所述注视位置估计单元，所述注视位置估计单元根据由所述面积/位置信息取得单元 取得的最新的规定数量的取得结果，计算由所述面积/位置信息取得单元取得的面积 信息和位置信息、与由所述基准面积/位置信息取得单元取得的基准面积信息和基准 位置信息之间的差的移动平均，所述注视位置估计系统包括设定单元，该设定单元根 据与所述信息处理装置的处理能力相关的信息，设定所述规定数量。

另外，在本发明的一个方式中，也可以是，所述注视位置估计单元根据由所述面 积/位置信息取得单元取得的面积信息和位置信息，按照一个或多个运算公式来执行 运算，由此估计所述用户正在注视的所述画面内的位置，所述注视位置估计系统包括： 指示位置取得单元，其取得由所述用户指示的所述画面内的位置；以及校正单元，其 根据由所述用户指示的所述画面内的位置、由所述用户指示该位置时的所述眼睛区域 的面积信息和位置信息、所述面部区域与所述规定部位区域中的至少一方的面积信息 和位置信息，对所述一个或多个运算公式所包含的常数或/及系数进行校正。

另外，在本发明的一个方式中，也可以是，所述区域检测单元从所述摄影图像检 测所述用户的面部区域、所述用户的双眼区域、所述用户的左眼区域、所述用户的右 眼区域、所述用户的鼻区域以及所述用户的口区域，所述面积/位置信息取得单元取 得所述面部区域、所述双眼区域、所述左眼区域、所述右眼区域、所述鼻区域以及所 述口区域各自的面积信息和位置信息。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄 影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述 信息处理装置包括将所述摄影图像发送至所述服务器的单元，所述服务器装置包括所 述区域检测单元、所述面积/位置信息取得单元以及所述注视位置估计单元。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄 影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述 信息处理装置包括：所述区域检测单元；以及将所述区域检测单元的检测结果发送至 所述服务器装置的单元，所述服务器装置包括所述面积/位置信息取得单元和所述注 视位置估计单元。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄 影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述 信息处理装置包括：所述区域检测单元和所述面积/位置信息取得单元；以及将由所 述面积/位置信息取得单元所取得的面积信息和位置信息发送至所述服务器装置的单 元，所述服务器装置包括所述注视位置估计单元。

另外，在本发明的一个方式中，也可以是，所述注视位置估计系统包括与所述摄 影单元连接的信息处理装置和能够与所述信息处理装置进行通信的服务器装置，所述 信息处理装置包括：所述区域检测单元、所述面积/位置信息取得单元以及所述注视 位置估计单元；以及将与所述注视位置估计单元的估计结果相关的注视位置数据发送 至所述服务器装置的单元，所述服务器装置包括：接收所述注视位置数据的单元；以 及根据所述注视位置数据，执行与所述用户正在注视的所述画面内的位置相关的合计 处理的单元。

发明效果

根据本发明，例如不用检测虹膜中心位置或者估计眼球中心的投影位置就能够估 计用户的注视位置。

附图说明

图1是示出本发明实施方式的注视位置估计系统的结构的一例的图。

图2是示出信息处理装置的外观的图。

图3是示出显示部所显示的画面的一例的图。

图4是注视位置估计系统的功能框图。

图5是示出初始设定画面的一例的图。

图6是示出摄影部的摄影图像的一例的示意图。

图7是用于对区域检测部的动作进行说明的图。

图8是示出基准面积/位置信息存储部的存储内容的一例的图。

图9是示出由注视位置估计系统执行的处理的一例的流程图。

图10是注视位置估计系统的功能框图。

图11是示出由注视位置估计系统执行的处理的一例的流程图。

图12是示出由注视位置估计系统执行的处理的一例的流程图。

图13是示出用于计算主成分评分的运算公式的图。

图14是示出用于计算用户的注视位置的运算公式的图。

图15是说明用于计算主成分评分的运算公式或用于计算用户注视位置的运算公 式的确定方法的一例的图。

图16是注视位置估计系统的功能框图。

图17是示出由注视位置估计系统执行的处理的一例的流程图。

图18是示出对应关系信息的一例的图。

图19是示出对应关系信息的另一例的图。

图20是注视位置估计系统的功能框图。

图21是示出校正数据存储部的存储内容的一例的图。

图22是示出注视位置估计系统的结构的另一例的图。

具体实施方式

以下，根据附图来详细说明本发明的实施方式的例子。

[第1实施方式]首先，对本发明的第1实施方式进行说明。图1示出本发明第1 实施方式的注视位置估计系统的结构。如图1所示，注视位置估计系统1构成为包含 信息处理装置10(注视位置估计装置)。图2示出信息处理装置10的外观的一例。 此外，图2所示的信息处理装置10是便携式计算机，但信息处理装置10并非仅限于 便携式计算机。信息处理装置10例如可以是台式计算机、平板电脑或智能手机等。

信息处理装置10包含控制部11、主存储部12、辅助存储部13、光盘驱动部14、 通信接口15、操作部16、摄影部17、显示部18以及声音输出部19。

控制部11例如包含一个或多个微处理器，根据存储在辅助存储部13中的操作系 统或程序来执行信息处理。主存储部12例如是RAM，辅助存储部13例如是硬盘或 固态驱动器。光盘驱动部14读取存储在光盘(信息存储介质)中的程序和数据。

通过光盘向辅助存储部13提供程序和数据。即，将存储有程序和数据的光盘安 装到光盘驱动部14，利用光盘驱动部14从光盘中读出程序和数据并存储到辅助存储 部13。此外，光盘驱动部14不是必须的构成要素。可取代光盘驱动部14而包含用 于读取存储在光盘以外的信息存储介质(例如存储卡)中的程序或数据的构成要素。 并且，可通过光盘以外的信息存储介质向辅助存储部13提供程序和数据。

通信接口15是用于使信息处理装置10与通信网络连接的接口。信息处理装置 10可经由通信网络与其它装置(例如服务器装置等)收发数据。此外，也可以经由 通信网络向辅助存储部13提供程序和数据。

操作部16用于由用户进行操作。在本实施方式的情况下，信息处理装置10具备 键盘16A、触控板16B以及鼠标16C作为操作部16。触控板16B和鼠标16C是用于 由用户对显示在显示部18中的画面内的位置进行指定的定位设备。此外，信息处理 装置10也可以具备操纵杆(控制杆)或在显示部18上重叠设置的触摸面板等。

摄影部17构成为包含公知的数字照相机。摄影部17设置在能够拍摄观看显示部 18所显示的画面的用户的面部的位置，摄影部17是为了拍摄观看显示部18所显示 的画面的用户的面部的采用的。在图2所示的例子中，在使镜头朝向用户的状态下摄 影部17设置在显示部18之上。每隔规定时间(例如1/30秒)进行摄影部17的摄影。 即，利用摄影部17拍摄每一秒的帧数为规定数量(例如30)的动态图像。在辅助存 储部13中保存由摄影部17拍摄的动态图像。

显示部18例如是液晶显示器等，声音输出部19例如是扬声器或耳机接口等。通 过各种程序在显示部18中显示各种画面。

例如，当由信息处理装置10执行Web浏览器时，通过Web浏览器向Web服务 器装置发送处理请求(HTTP请求)。在此情况下，从Web服务器装置向信息处理装 置10回复与上述处理请求对应的网页数据(HTTP响应)，根据该网页数据在显示部 18中显示Web网页(画面)。

图3示出在显示部18中显示的画面的一例。图3示出在访问可经由通信网络来 购入商品和服务的电子商务网站(虚拟商店街网站)时显示在显示部18中的Web网 页的一例。具体地说，图3示出在指定了“手提包”作为关键字时显示的商品一览网页 的一例。

如图3所示，商品一览网页包含关键字栏20、检索按钮22以及一览区域24。在 关键字栏20中显示由用户指定的关键字。此外，为了缩小商品的一览而使用关键字 栏20和检索按钮22。

在一览区域24中显示与由用户指定的关键字相关的商品的一览。例如，在一览 区域24中显示商品的名称以及价格和出售商品的店铺。此外，在一览区域24中，商 品名成为链接按钮，用于购入商品的商品网页的链接信息(URL)与商品名相关联。 当用户点击商品名时，在显示部18中显示商品网页。

另外，在商品一览网页上显示店铺或商品的广告26。广告26成为链接按钮，店 铺网页或商品网页的链接信息(URL)与广告26相关联。当点击广告26时，在显示 部18中显示店铺网页或商品网页。

但是，只要在显示部18中显示例如图3所示的商品一览网页时能够取得用户观 看画面(商品一览网页)内的哪个位置的情况，就能够用作重新评估想要使用户注意 到的信息(例如广告26)的显示位置时的决策信息。

关于这点，在注视位置估计系统1中，根据摄影部17的摄影图像来估计用户注 视的画面(换言之，显示部18的显示区域)内的位置。更具体地说，在注视位置估 计系统1中，根据摄影图像中的用户的眼睛区域、面部区域、眼睛以外的部位区域的 面积和位置来估计用户的注视位置。以下，详细说明用于估计用户的注视位置的结构。

在注视位置估计系统1中，为了执行用户的注视位置的估计而需要先执行初始设 定。因此，首先说明用于初始设定的结构。

图4是示出由注视位置估计系统1实现的功能块中的用于初始设定的功能块的功 能框图。如图4所示，注视位置估计系统1包含基准面积/位置信息存储部30、区域 检测部32、基准面积/位置信息取得部34作为用于初始设定的功能块。例如，通过辅 助存储部13来实现基准面积/位置信息存储部30。另外，例如通过控制部11来实现 区域检测部32和基准面积/位置信息取得部34。即，控制部11按照程序来执行处理， 由此控制部11作为它们的功能块来发挥功能。

在进行初始设定时在显示部18中显示初始设定画面。图5示出初始设定画面的 一例。在图5所示的初始设定画面上显示标记40和消息42。标记40表示用户应注 视的画面内的位置。在图5所示的例子中，将画面的中心点设定为“用户应注视的画 面内的位置”。此外，也可以将中心点以外的位置设定为“用户应注视的画面内的位 置”。消息42的内容为向用户请求观看上述位置的内容。

在初始设定中，显示上述的初始设定画面，由此利用摄影部17来拍摄观看画面 中心点的用户的面部图像，并保存到辅助存储部13内。图6是示出摄影部17的摄影 图像的一例的示意图。

对区域检测部32进行说明。图7是用于对区域检测部32的动作进行说明的图。

区域检测部32从摄影图像检测与用户的眼睛对应的眼睛区域。这里，所谓“眼睛 区域”例如是与用户的双眼对应的双眼区域52、与用户的左眼对应的左眼区域52L以 及与用户的右眼对应的右眼区域52R中的至少一个。

在图7所示的例子的情况下，双眼区域52是与用户的双眼对应的矩形区域。另 外，左眼区域52L是与用户的左眼对应的矩形区域，右眼区域52R是与用户的右眼 对应的矩形区域。此外，在图7所示的例子的情况下，双眼区域52、左眼区域52L 以及右眼区域52R为矩形区域，但这些区域也可以是矩形以外的形状的区域。

另外，区域检测部32从摄影图像检测与用户面部对应的面部区域和存在于用户 面部的部位中的与眼睛以外的规定部位对应的规定部位区域的至少一方。这里，所谓 “眼睛以外的规定部位”例如是鼻、口或耳等。

在图7所示的例子的情况下，面部区域50是与用户的面部对应的矩形区域。另 外，鼻区域54是与用户的鼻子对应的矩形区域，口区域56是与用户的嘴对应的矩形 区域。在图7所示的例子的情况下，鼻区域54和口区域56的至少一方相当于上述的 “规定部位区域”。此外，在图7所示的例子的情况下，面部区域50、鼻区域54以及 口区域56成为矩形区域，但这些区域也可以是矩形以外的形状。

此外，以下对通过区域检测部32来检测面部区域50、双眼区域52、左眼区域 52L、右眼区域52R、鼻区域54以及口区域56的情况进行说明。

区域检测部32根据公知的图像识别算法来检测面部区域50、双眼区域52、左眼 区域52L、右眼区域52R、鼻区域54以及口区域56。作为“图像识别算法”例如采用 使用了OpenCV的面部识别算法。

对基准面积/位置信息取得部34进行说明。基准面积/位置信息取得部34取得眼 睛区域的基准面积信息和基准位置信息。具体地说，基准面积/位置信息取得部34根 据从用户观看画面内的基准位置时的摄影图像检测出的眼睛区域的面积信息和位置 信息，取得眼睛区域的基准面积信息和基准位置信息。此外，在本实施方式的情况下， 在初始设定画面中用户要求观看的位置(例如中心点)相当于“基准位置”。

另外，基准面积/位置信息取得部34取得面部区域和规定部位区域的至少一方的 基准面积信息和基准位置信息。具体地说，基准面积/位置信息取得部34根据从用户 观看画面内的基准位置时的摄影图像检测出的面部区域的面积信息和位置信息，取得 面部区域的基准面积信息和基准位置信息。另外，基准面积/位置信息取得部34根据 从用户观看画面内的基准位置时的摄影图像检测出的规定部位区域的面积信息和位 置信息，取得规定部位区域的基准面积信息和基准位置信息。此外如上所述，所谓“规 定部位区域”就是存在于用户面部的部位中的与眼睛以外的规定部位对应的区域。

在本实施方式的情况下，基准面积/位置信息取得部34取得下述信息。

(1)面部区域50的基准面积

(2)面部区域50的代表点的基准X座标和基准Y座标

(3)双眼区域52的基准面积

(4)双眼区域52的代表点的基准X座标和基准Y座标

(5)左眼区域52L的基准面积

(6)左眼区域52L的代表点的基准X座标和基准Y座标

(7)右眼区域52R的基准面积

(8)右眼区域52R的代表点的基准X座标和基准Y座标

(9)鼻区域54的基准面积

(10)鼻区域54的代表点的基准X座标和基准Y座标

(11)口区域56的基准面积

(12)口区域56的代表点的基准X座标和基准Y座标

这里，所谓“代表点”例如是区域的中心点。此外，在区域为矩形区域的情况下， “代表点”可以是矩形区域的某个顶点(例如左上顶点)。另外，通过XY座标系表示“代 表点”的位置。此外，XY座标系例如是将摄影图像的左上顶点设为原点O、将右方向 设为X轴正方向、将下方向设为Y轴正方向的座标系(参照图7)。

例如，基准面积/位置信息取得部34根据从用户观看初始设定画面的中心点时的 摄影图像检测出的面部区域50的面积，取得面部区域50的基准面积。例如，基准面 积/位置信息取得部34取得从用户观看初始设定画面的中心点时的摄影图像检测出的 面部区域50的面积，作为面部区域50的基准面积。或者，基准面积/位置信息取得 部34取得从用户观看初始设定画面的中心点时的多个摄影图像分别检测出的面部区 域50的面积的统计值(例如平均值)，作为面部区域50的基准面积。

另外，基准面积/位置信息取得部34根据从用户观看初始设定画面的中心点时的 摄影图像检测出的面部区域50的代表点的X座标和Y座标，取得面部区域50的基 准X座标和基准Y座标。例如，基准面积/位置信息取得部34取得从用户观看初始 设定画面的中心点时的摄影图像检测出的面部区域50的代表点的X座标和Y座标， 作为面部区域50的基准X座标和基准Y座标。或者，基准面积/位置信息取得部34 取得从用户观看初始设定画面的中心点时的多个摄影图像分别检测出的面部区域50 的代表点的X座标的统计值(例如平均值)，作为面部区域50的基准X座标。另外， 基准面积/位置信息取得部34取得从这些多个摄影图像分别检测出的面部区域50的 代表点的Y座标的统计值(例如平均值)，作为面部区域50的基准Y座标。

基准面积/位置信息取得部34与面部区域50同样地取得面部区域50以外的区域 的基准面积、基准X座标以及基准Y座标。

基准面积/位置信息存储部30存储由基准面积/位置信息取得部34取得的基准面 积信息和基准位置信息。图8示出基准面积/位置信息存储部30的存储内容的一例。 如图8所示，基准面积/位置信息存储部30对面部区域50、双眼区域52、左眼区域 52L、右眼区域52R、鼻区域54以及口区域56的各个基准面积、基准X座标以及基 准Y座标进行存储。

这里，事先说明为了实现以上说明的区域检测部32和基准面积/位置信息取得部 34而在注视位置估计系统1中执行的处理。图9是示出该处理的一例的流程图。控 制部11按照程序执行图9所示的处理，由此控制部11作为区域检测部32和基准面 积/位置信息取得部34来发挥功能。

在初始设定画面显示规定时间之后再执行图9所示的处理。根据辅助存储部13 所保存的动态图像数据(对观看初始设定画面内的中心点的用户的面部进行摄影而形 成的动态图像数据)来执行图9所示的处理。

如图9所示，控制部11从动态图像数据取得一帧量的摄影图像(S101)。此外， 从显示初始设定画面到用户识别消息42而盯着初始设定画面的中心点(标记40)之 前需要一定的时间，因此控制部11无视此期间内的摄影图像，并取得该期间后的摄 影图像。

然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右 眼区域52R、鼻区域54以及口区域56进行检测(S102)。例如，控制部11根据使用 了OpenCV的面部识别算法对上述的各个区域进行检测。

然后，控制部11判定是否对至少一个区域的检测失败(S103)。当未判定为对至 少一个区域的检测失败时、即全部区域的检测成功时，控制部11取得在步骤S102 中检测出的各个区域的面积信息和位置信息(S104)。即，控制部11取得在步骤S102 中检测出的各个区域的面积和在步骤S102中检测出的各个区域的代表点(例如中心 点)的X座标和Y座标。然后，控制部11将在步骤S102中检测出的各个区域的面 积信息和位置信息记录到辅助存储部13内。

然后，控制部11判定是否存在下一帧的摄影图像(S105)。当存在下一帧的摄影 图像时，控制部11从动态图像数据取得下一帧的摄影图像(S106)。然后，控制部 11再次执行步骤S102的处理。

另一方面，当不存在下一帧的摄影图像时、即当前帧的摄影图像是动态图像数据 中的最终帧的图像时，控制部11将面部区域50、双眼区域52、左眼区域52L、右眼 区域52R、鼻区域54、以及口区域56的各个基准面积信息和基准位置信息保存到辅 助存储部13(基准面积/位置信息存储部30)中(S107)。

例如，控制部11将从各个帧的摄影图像检测出的双眼区域52的面积的统计值(例 如平均值)保存为双眼区域52的基准面积。同样，控制部11将从各个帧的摄影图像 检测出的双眼区域52的代表点的X座标的统计值(例如平均值)保存为双眼区域52 的基准X座标。另外，控制部11将从各个帧的摄影图像检测出的双眼区域52的代 表点的Y座标的统计值(例如平均值)保存为双眼区域52的基准Y座标。控制部 11还与双眼区域52同样地取得双眼区域52以外的区域的基准面积、基准X座标以 及基准Y座标。

此外，在步骤S103中，当判定为对至少一个区域的检测失败时，控制部11不执 行步骤S104的处理，而执行步骤S105的处理。即，在图9所示的处理中，当至少一 个区域的检测失败时，无视该帧的摄影图像。

如上所述，在初始设定中，根据用户观看初始设定画面的中心点时的面部区域 50等的面积信息和位置信息，将面部区域50等的基准面积信息和基准位置信息保存 到辅助存储部13(基准面积/位置信息存储部30)中。以上结束关于初始设定的说明。 接着，对估计用户的注视位置的结构进行说明。

图10是示出由注视位置估计系统1实现的功能块中的估计用户的注视位置的功 能块的功能框图。如图10所示，注视位置估计系统1包含基准面积/位置信息存储部 30、区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行部 64，作为估计用户的注视位置的功能块。基准面积/位置信息存储部30和区域检测部 32与图4中的基准面积/位置信息存储部30和区域检测部32相同。例如，由控制部 11实现面积/位置信息取得部60、注视位置估计部62以及处理执行部64。即，控制 部11按照程序执行处理，由此控制部11作为这些功能块来发挥功能。

例如，当估计显示商品一览网页的期间中的用户的注视位置时，区域检测部32、 面积/位置信息取得部60以及注视位置估计部62根据在显示商品一览网页的期间中 由摄影部17拍摄的动态图像数据来工作。

对区域检测部32进行说明。如上所述，区域检测部32从摄影图像检测与用户的 眼睛对应的眼睛区域。另外，区域检测部32从摄影图像检测与用户的面部对应的面 部区域和存在于用户面部的部位中的与除了眼睛以外的规定部位对应的规定部位区 域中的至少一方。

在本实施方式的情况下，区域检测部32对面部区域50、双眼区域52、左眼区域 52L、右眼区域52R、鼻区域54以及口区域56进行检测。

对面积/位置信息取得部60进行说明。面积/位置信息取得部60取得由区域检测 部32检测出的各个区域的面积信息和位置信息。例如，面积/位置信息取得部60取 得眼睛区域的面积信息和位置信息。另外，面积/位置信息取得部60取得面部区域和 规定部位区域的至少一方的面积信息和位置信息。

在本实施方式的情况下，面积/位置信息取得部60取得下述信息。

(1)面部区域50的面积

(2)面部区域50的代表点的X座标和Y座标

(3)双眼区域52的面积

(4)双眼区域52的代表点的X座标和Y座标

(5)左眼区域52L的面积

(6)左眼区域52L的代表点的X座标和Y座标

(7)右眼区域52R的面积

(8)右眼区域52R的代表点的X座标和Y座标

(9)鼻区域54的面积

(10)鼻区域54的代表点的X座标和Y座标

(11)口区域56的面积

(12)口区域56的代表点的X座标和Y座标

“代表点”例如是区域的中心点。此外，在区域为矩形区域时，“代表点”可以是矩 形区域的任意一个顶点(例如，左上顶点)。另外，利用XY座标系(参照图7)表 示各个区域的代表点的位置。

对注视位置估计部62进行说明。注视位置估计部62根据由面积/位置信息取得 部60取得的各个区域的面积信息和位置信息，估计用户注视的画面内的位置。

例如，注视位置估计部62根据由面积/位置信息取得部60取得的各个区域的面 积信息和位置信息与在基准面积/位置信息存储部30中存储的各个区域的基准面积信 息和基准位置信息之间的差，估计用户的注视位置。例如，注视位置估计部62根据 上述的差按照一个或多个运算公式进行运算，由此来估计用户的注视位置。下面，详 细地叙述注视位置估计部62的动作(参照后述的图11和图12的步骤S205～S210)。

对处理执行部64进行说明。处理执行部64根据由注视位置估计部62估计出的 用户的注视位置，执行规定的处理。所谓“规定的处理”例如是与用户的注视位置相关 的合计处理或生成表示用户注视位置分布的分布数据的处理等。

这里，对为了实现以上说明的区域检测部32、面积/位置信息取得部60、注视位 置估计部62以及处理执行部64而在注视位置估计系统1中执行的处理进行说明。图 11和图12是示出该处理的一例的流程图。控制部11按照程序执行图11和图12所 示的处理，由此控制部11作为区域检测部32、面积/位置信息取得部60、注视位置 估计部62以及处理执行部64来发挥功能。

此外，根据在辅助存储部13中预先保存的动态图像数据(例如，在显示商品一 览网页的期间拍摄的用户面部的动态图像数据)，执行图11和图12所示的处理。

如图11所示，首先，控制部11从动态图像数据取得一帧量的摄影图像(S201)。 然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右眼区 域52R、鼻区域54以及口区域56进行检测(S202)。例如，控制部11根据使用了 OpenCV的面部识别算法来检测上述的各个区域。

然后，控制部11判定是否对至少一个区域的检测失败(S203)。当未判定为对至 少一个区域的检测失败时、即全部区域的检测成功时，控制部11取得在步骤S202 中检测出的各个区域的面积信息和位置信息(S204)。即，控制部11取得在步骤S202 中检测出的各个区域的面积和在步骤S202中检测出的各个区域的代表点(例如中心 点)的X座标和Y座标。

然后，控制部11针对在步骤S202中检测出的各个区域计算面积差值(ΔS) (S205)。面积差值(ΔS)是在步骤S204中取得的面积与基准面积的差值。例如， 控制部11通过从在步骤S204中取得的面部区域50的面积减去在辅助存储部13内存 储的面部区域50的基准面积来计算面部区域50的面积差值(ΔS)。控制部11也与 面部区域50同样地计算面部区域50以外的各个区域的面积差值(ΔS)。

另外，控制部11针对在步骤S202中检测出的各个区域计算X座标差值(ΔX) (S206)。X座标差值(ΔX)是在步骤S204中取得的X座标与基准X座标的差值。 例如，控制部11通过从在步骤S204中取得的面部区域50的X座标减去存储在辅助 存储部13内的面部区域50的基准X座标来计算面部区域50的X座标差值(ΔX)。 控制部11也与面部区域50同样地计算面部区域50以外的各个区域的X座标差值 (ΔX)。

此外，控制部11针对在步骤S202中检测出的各个区域计算Y座标差值(ΔY) (S207)。Y座标差值(ΔY)是在步骤S204中取得的Y座标与基准Y座标的差值。 例如，控制部11通过从在步骤S204中取得的面部区域50的Y座标减去存储在辅助 存储部13中的面部区域50的基准Y座标来计算面部区域50的Y座标差值(ΔY)。 控制部11也与面部区域50同样地计算面部区域50以外的各个区域的Y座标差值 (ΔY)。

通过上述步骤S205～S207的处理来取得下述18个差值。

(1)面部区域50的面积差值(ΔS)

(2)面部区域50的X轴差值(ΔX)

(3)面部区域50的Y轴差值(ΔY)

(4)双眼区域52的面积差值(ΔS)

(5)双眼区域52的X轴差值(ΔX)

(6)双眼区域52的Y轴差值(ΔY)

(7)左眼区域52L的面积差值(ΔS)

(8)左眼区域52L的X轴差值(ΔX)

(9)左眼区域52L的Y轴差值(ΔY)

(10)右眼区域52R的面积差值(ΔS)

(11)右眼区域52R的X轴差值(ΔX)

(12)右眼区域52R的Y轴差值(ΔY)

(13)鼻区域54的面积差值(ΔS)

(14)鼻区域54的X轴差值(ΔX)

(15)鼻区域54的Y轴差值(ΔY)

(16)口区域56的面积差值(ΔS)

(17)口区域56的X轴差值(ΔX)

(18)口区域56的Y轴差值(ΔY)

然后，控制部11针对上述18个差值分别计算加权移动平均(S208)。例如，控 制部11计算面部区域50的面积差值(ΔS)的加权移动平均。即，控制部11计算最 新的N个(例如10个)面部区域50的面积差值(ΔS)的加权平均。同样，控制部 11还计算面部区域50的X座标差值(ΔX)的移动加权平均和面部区域50的Y座标 差值(ΔY)的移动加权平均。另外同样，控制部11对面部区域50以外的各个区域 的每个差值计算加权移动平均。此外，在步骤S208中，控制部11也可以针对上述 18个差值分别计算单纯移动平均。

然后，控制部11针对上述18个差值的各个加权移动平均(或单纯移动平均)计 算第1～第18主成分评分(S209)。即，控制部11将上述18个差值的各个加权移动 平均转换为18个主成分评分。控制部11根据图13所示的运算公式来计算第1～第 18主成分评分。

此外，在图13中，“z_i”(i：1～18的自然数)表示第i主成分评分。即，“z₁”表 示第1主成分评分，“z₁₈”表示第18主成分评分。

另外，在图13中，“d₁”～“d₁₈”表示上述18个差值的各个加权移动平均(或单纯 移动平均)。例如“d₁”～“d₁₈”如下所示。

(1)d₁、d₂、d₃：面部区域50的面积差值(ΔS)的加权移动平均、X座标差值 (ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

(2)d₄、d₅、d₆：双眼区域52的面积差值(ΔS)的加权移动平均、X座标差值 (ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

(3)d₇、d₈、d₉：左眼区域52L的面积差值(ΔS)的加权移动平均、X座标差 值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

(4)d₁₀、d₁₁、d₁₂：右眼区域52R的面积差值(ΔS)的加权移动平均、X座标 差值(ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

(5)d₁₃、d₁₄、d₁₅：鼻区域54的面积差值(ΔS)的加权移动平均、X座标差值 (ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

(6)d₁₆、d₁₇、d₁₈：口区域56的面积差值(ΔS)的加权移动平均、X座标差值 (ΔX)的加权移动平均、Y座标差值(ΔY)的加权移动平均

另外，在图13中，“L_{i_j}”(i、j：1～18的自然数)表示预定的系数。后面叙述 系数L_{i_j}的确定方法(参照后述的图15)。

在步骤S305中计算第1～第18主成分评分之后，控制部11根据第1～第18主 成分评分来计算用户的注视位置(S210)。控制部11根据图14所示的运算公式来计 算用户的注视位置。

此外，在图14中，“Gx”表示用户的注视位置的Xs座标，“Gy”表示用户的注视 位置的Ys座标。Xs座标和Ys座标是用于表示画面内的位置的XsYs座标系中的座 标值，XsYs座标系是例如将画面的左上顶点设为原点Os、将右方向设为Xs轴正方 向、将下方向设为Ys轴正方向的座标系(参照图2)。另外，与图13同样，“z_i”(i： 1～18的自然数)表示第i主成分评分。另外，在图14中，“P”和“S”是预定的常数， “Q_i”和“T_i”(i：1～18的自然数)是预定的系数。

但是，在图14所示的运算公式中，使用第1～第18主成分评分的全部来计算用 户的注视位置的Xs座标和Ys座标，但实际上还有将系数Q_i或系数T_i设定为零的情 况。例如，在用于计算用户的注视位置的Xs座标的运算公式中，存在将系数Q₁₆设 定为零的情况，在此情况下，在用户的注视位置的Xs座标的计算中不使用第16主成 分评分。这样，未必使用第1～第18主成分评分的全部来计算用户的注视位置的Xs 座标，而是使用第1～第18主成分评分中的至少一个来进行计算。用户的注视位置 的Ys座标也是同样的。后面叙述常数P、S和系数Q_i以及T_i的确定方法(参照后述 的图15)。

在步骤S210中如上所述计算用户的注视位置，控制部11将计算出的注视位置记 录到辅助存储部13中(S211)。此外，在步骤S203中，当判定为对至少一个区域的 检测失败时，控制部11不执行步骤S204～S211的处理而执行后述的步骤S212的处 理。即，当至少一个区域的检测失败时，控制部11无视此帧的摄影图像，不计算用 户的注视位置。

在将用户的注视位置记录到辅助存储部13之后，控制部11判定是否存在下一帧 的摄影图像(S212)。当存在下一帧的摄影图像时，控制部11从动态图像数据取得下 一帧的摄影图像(S213)。然后，控制部11再次执行步骤S202的处理。

另一方面，当不存在下一帧的摄影图像时、即当前帧的摄影图像是动态图像数据 中的最终帧的图像时，控制部11生成分布数据，该分布数据表示记录在辅助存储部 13中的用户注视位置的分布(S214)。以上结束图11和图12所示的处理的说明。

这里，对用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户 注视位置的运算公式(图14)中的常数和系数的确定方法进行说明。

关于这些系数和常数，通过以多个被实验者为对象收集如以下说明的数据且进行 分析该数据来确定。图15是用于说明上述系数和常数的确定顺序的图。此外，用于 计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位置的运算公 式(图14)需要嵌入到用于估计用户注视位置的程序内，因此在开发该程序时实施 下述说明的数据的收集和分析。另外例如，用于估计用户注视位置的程序的开发人员 或其同事等成为上述的“被实验者”。

在确定上述系数和常数时，首先，取得被实验者观察画面内的规定位置(例如中 心点)时的摄影部17的摄影图像，根据该摄影图像，取得被实验者观察画面内的规 定位置时的被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、 鼻区域54以及口区域56各自的面积信息和位置信息。然后，根据这些面积信息和位 置信息，取得被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、 鼻区域54以及口区域56的各个基准面积信息和基准位置信息(参照图15(A))。用 于取得该基准面积信息和基准位置信息的处理与图9中所说明的处理相同。

接着，取得被实验者观看画面内的各个位置时的摄影部17的摄影图像。具体地 说，请求被实验者使用定位设备来指示画面内的各个位置，取得被实验者指示了画面 内的位置时的摄影部17的摄影图像。然后，根据该摄影图像，取得被实验者指示了 画面内的位置时的被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域 52R、鼻区域54以及口区域56各自的面积信息和位置信息(参照图15(B))。

此外，人们在利用定位设备指示画面内的位置时具有注视该位置的倾向，因此这 里所取得的面积信息和位置信息相当于被实验者观看使用定位设备指示的位置时的 被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以 及口区域56各自的面积信息和位置信息。

接着，取得被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、 鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差 值(ΔY)(参照图15(C))。根据图15(A)所示的数据和图15(B)所示的数据来 取得它们。

接着，将被实验者的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、 鼻区域54以及口区域56的各个面积差值(ΔS)、X座标差值(ΔX)以及Y座标差 值(ΔY)作为对象来实施主成分分析。即，将18个差值(6个区域各自的3个差值) 作为对象按照一般主成分分析的顺序来实施主成分分析，其结果，取得表示第1～第 18主成分评分的运算公式(图13)。即，取得用于计算第1～第18主成分评分的运 算公式中的系数L_{i_j}(i、j：1～18的自然数)。

接着，按照用于计算第1～第18主成分评分的运算公式(图13)，计算第1～第 18主成分评分(参照图15(D))。然后，将被实验者指定的画面内的位置(即，被 实验者实际观看的位置)、被实验者指定该位置时(即，被实验者实际观看该位置时) 的第1～第18主成分评分作为对象来实施线性回归分析。即，可按照一般的线性回 归分析的顺序实施线性回归分析，其结果，取得表示用户的注视位置与第1～第18 主成分评分之间的关系的运算公式(图14)。即，取得用于计算用户的注视位置的运 算公式中的常数P、S和系数Q_i、T_i(i：1～18的自然数)。

如以上说明，确定用于计算第1～第18主成分评分的运算公式(图13)和用于 计算用户注视位置的运算公式(图14)。

根据以上说明的第1实施方式的注视位置估计系统1，能够根据由一个摄影部(照 相机)拍摄的用户面部的图像来估计用户注视的画面内的位置。

但是，作为根据由一个摄影部拍摄的用户面部的图像来估计用户的注视位置的方 法，例如公知有如下方法：检测图像内的用户的虹膜中心位置，还根据图像来估计用 户眼球中心的投影位置，基于这些虹膜中心位置和眼球中心的投影位置来估计用户的 注视位置(例如日本特开2011-90702号公报)。

但是，在采用该方法的情况下，需要检测虹膜中心位置或者估计眼球中心的投影 位置。为了检测虹膜中心位置或者估计眼球中心的投影位置而需要执行处理负荷重的 处理，在采用上述方法的情况下，有时用于估计用户注视位置的处理的处理负荷变重。 与此相对，根据第1实施方式的注视位置估计系统1，不需要检测虹膜中心位置或者 估计眼球中心的投影位置。其结果，根据第1实施方式的注视位置估计系统1，能够 抑制用于估计用户注视位置的处理的处理负荷。

另外，在采用上述方法的情况下，为了检测虹膜中心位置或者估计眼球中心的投 影位置，图像必须具有高分辨率，从而需要高分辨率的摄影部(照相机)。与此相对， 在第1实施方式的注视位置估计系统1中，只要能够判别用户的面部、眼睛、鼻以及 口就足够了，所以不需要高分辨率的照相机。

另外，根据上述方法，可判别用户观看上下左右的哪个方向(例如，参照日本特 开2011-90702号公报的图22)，但对于为了实现判别用户注视比较窄的画面内的哪个 位置这样的目的而言，精度不够充分。与此相对，根据第1实施方式的注视位置估计 系统1，能够通过比上述方法高的精度来估计用户的注视位置。

此外，在第1实施方式的注视位置估计系统1中，计算面部区域50等各个区域 的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的移动平均，根据这 些移动平均来估计用户的注视位置(参照图12的步骤S208)。在从摄影图像检测双 眼区域52等的情况下，有时误将眉毛区域检测为双眼区域52。但是，通过如上所述 构成注视位置估计系统1，从而例如即使在某帧的摄影图像中产生区域的误检测，也 能够抑制该误检测给注视位置的估计精度带来的影响。即，通过上述这样，可提高用 户注视位置的估计精度。

另外，在第1实施方式的注视位置估计系统1中，当面部区域50、双眼区域52、 左眼区域52L、右眼区域52R、鼻区域54以及口区域56中的至少一个检测失败时， 无视该摄影图像，在用户注视位置的估计中不使用该摄影图像(参照图11的步骤 S203)。通过这样，能够提高用户注视位置的估计精度。

另外，根据第1实施方式的注视位置估计系统1，能够取得显示规定画面(例如 商品一览网页)时的用户的注视位置，因此能够得到例如重新评估想要使用户注意到 的信息(例如广告26等)的显示位置时的决策信息。

[第2实施方式]接着，对本发明的第2实施方式进行说明。本发明第2实施方 式的注视位置估计系统1的结构等与第1实施方式相同(参照图1、2)。

第2实施方式的注视位置估计系统1与第1实施方式的不同点在于，实时执行用 户注视位置的估计。另外，第2实施方式的注视位置估计系统1与第1实施方式的不 同点还在于，具备用于实时执行用户注视位置的估计的结构。

图16是示出利用第2实施方式的注视位置估计系统1实现的功能块中的、估计 用户的注视位置的功能块的功能框图。如图16所示，第2实施方式的注视位置估计 系统1包含基准面积/位置信息存储部30、区域检测部32、面积/位置信息取得部60、 注视位置估计部62、处理执行部64以及设定部70。

如上所述，第2实施方式的注视位置估计系统1与第1实施方式的不同点在于， 根据由摄影部17每隔规定时间(例如1/30秒)拍摄的图像来实时执行区域检测部32 的区域的检测、面积/位置信息取得部60的面积信息和位置信息的取得、注视位置估 计部62的注视位置的估计。除了实时执行处理这点之外，区域检测部32、面积/位置 信息取得部60以及注视位置估计部62都与第1实施方式相同。

图17是示出利用第2实施方式的注视位置估计系统1执行的处理的一例的流程 图。在应估计用户的注视位置的期间内，每隔规定时间(例如1/30秒)执行图17所 示的处理。所谓“应估计用户的注视位置的期间”例如是显示规定画面(商品一览网页 等)的期间。

如图17所示，首先，控制部11取得由摄影部17拍摄的最新摄影图像(S301)。 然后，控制部11对摄影图像内的面部区域50、双眼区域52、左眼区域52L、右眼区 域52R、鼻区域54以及口区域56进行检测(S302)。步骤S302的处理与图11的步 骤S202的处理相同。

另外，控制部11判定是否对至少一个区域的检测失败(S303)。在未判定为对至 少一个区域失败时、即全部区域的检测成功时，控制部11取得在步骤S302中检测出 的各个区域的面积信息和位置信息(S304)。步骤S303、S304的处理与图11的步骤 S203、S204的处理相同。

然后，控制部11根据在步骤S302中检测出的各个区域的面积信息和位置信息来 估计用户的注视位置(S305)，并将用户的注视位置记录到辅助存储部13中(S306)。 步骤S305、S306的处理与图11和图12的步骤S205～S211的处理相同。

然后，控制部11将表示用户的注视位置的图像显示在画面内(S307)。例如，控 制部11在估计为用户的注视位置的画面内的位置上显示规定图像(标记等)。

此外，在步骤S303中，当判定为至少一个区域的检测失败时，控制部11不执行 步骤S304～S307的处理，而是结束本处理。在此情况下，无视摄影图像，不执行用 户注视位置的估计等。以上结束图17所示的处理的说明。

在第2实施方式的注视位置估计系统1中，不需要检测虹膜中心位置或者估计眼 球中心的投影位置，其结果，能够抑制用于估计用户注视位置的处理的处理负荷，因 此能够实时估计用户的注视位置。另外，根据第2实施方式的注视位置估计系统1， 可在画面上实时地显示用户的注视位置。由此，对用户实际正在注视的位置与估计为 用户正在注视的位置之间的差一目了然。

此外，在第2实施方式的注视位置估计系统1中，能够实时地取得用户的注视位 置，因此例如还能够实现用户根据注视位置对信息处理装置10给予各种指示这样的 用户接口。例如，还能够实现在规定期间内用户持续注视设定于画面内的规定区域时 信息处理装置10执行与该规定区域对应的处理(例如画面的滚动等)这样的用户接 口。

但是，第2实施方式的注视位置估计系统1与第1实施方式的不同点还在于，包 含设定部70。以下，对设定部70进行说明。

设定部70取得与信息处理装置10的处理能力相关的信息(处理能力信息)。所 谓“处理能力信息”例如是与信息处理装置10的处理速度相关的信息。例如，设定部 70在信息处理装置10中执行规定处理，信息处理装置10对为了执行该规定处理而 所需的时间进行计测。然后，设定部70取得所计测的时间作为“处理能力信息”。在 此情况下，上述时间越短，表示信息处理装置10的处理能力越高。

另外，设定部70根据处理能力信息来设定估计用户注视位置的处理(图17)的 执行间隔。为了根据处理能力信息设定上述执行间隔，需要表示处理能力信息与执行 间隔之间的对应关系的对应关系信息。图18示出该对应关系信息的一例。设定部70 根据图18所示的对应关系信息和信息处理装置10的处理能力信息来设定估计用户注 视位置的处理(图17)的执行间隔。

此外，在图18中，“p”是表示信息处理装置10的处理能力(处理速度)的指标 值。指标值(p)的值越高，表示信息处理装置10的处理能力越高。例如，当将信息 处理装置10为了执行规定处理而所需的时间设为“t”时，根据p＝1/t计算指标值(p)。

另外在图18中，“Pa”和“Pb”表示规定值，它们具有“Pa<Pb”的关系。另外，“Ta”、 “Tb”以及“Tc”表示规定时间，它们具有“Ta>Tb>Tc”的关系。例如，“Ta”是1/10秒，“Tb” 是1/15秒，“Tc”是1/30秒。

在图18所示的对应关系信息中，信息处理装置10的处理能力越高，估计用户注 视位置的处理(图17)的执行间隔越短。另外，在图18所示的对应关系信息中，当 指标值(p)满足“0<p≤Pa”的关系时，将上述执行间隔设定为比摄影部17的摄影间隔 (1/30秒)长的时间(1/10秒)。同样，在指标值(p)满足“Pa<p≤Pb”的关系时，也 将上述执行间隔设定为比摄影部17的摄影间隔(1/30秒)长的时间(1/15秒)。

根据第2实施方式的注视位置估计系统1，包含如上所述的设定部70，由此根据 注视位置估计系统1(信息处理装置10)的处理能力来设定估计用户注视位置的处理 (图17)的执行间隔。例如，当注视位置估计系统1(信息处理装置10)的处理能 力低时，上述的执行间隔变长，其结果，能够减轻与用户注视位置的估计相关的处理 负荷。另一方面，当注视位置估计系统1(信息处理装置10)的处理能力高时，上述 的执行间隔变短，其结果，用户注视位置的估计频率变高。

此外，设定部70的方式不仅限于上述说明的方式。

例如，在图12的步骤S208中，例如说明了当计算在步骤S202中检测出的各个 区域的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)的各个加权移动 平均时使用最新的N个值的情况。设定部70可根据处理能力信息来设定其个数(N)。

为了根据处理能力信息来设定上述个数(N)，需要表示处理能力信息与个数(N) 之间的对应关系的对应关系信息。图19示出该对应关系信息的一例。设定部70根据 图19所示的对应关系信息和信息处理装置10的处理能力信息来设定上述的个数 (N)。

与图18相同，在图19中，“p”是表示信息处理装置10的处理能力(处理速度) 的指标值。另外，“Pa”和“Pb”表示规定值，它们具有“Pa<Pb”的关系。此外在图19中， “Na”、“Nb”以及“Nc”表示规定的个数，它们具有“Na<Nb<Nc”的关系。例如，“Na” 是3个，“Nb”是5个，“Nc”是10个。在图19所示的对应关系信息中，信息处理装 置10的处理能力越高，上述的个数(N)越多。

根据上述这样的设定部70，例如当注视位置估计系统1(信息处理装置10)的 处理能力低时上述的个数(N)变少，其结果，减轻与面积差值(ΔS)、X座标差值 (ΔX)以及Y座标差值(ΔY)的各个加权移动平均的计算相关的处理负荷。另一方 面，当注视位置估计系统1(信息处理装置10)的处理能力高时上述的个数(N)多， 其结果，用户注视位置的估计精度提高。

[第3实施方式]接着，对本发明的第3实施方式进行说明。本发明第3实施方 式的注视位置估计系统1的结构等与第1实施方式和第2实施方式相同(参照图1、 2)。

例如，当用户采用鼠标16C等定位设备指示画面内的位置时，存在用户注视自 己想要指示的位置的倾向。第3实施方式的注视位置估计系统1与第1实施方式和第 2实施方式的不同点在于，考虑到这种用户的倾向，具备用于提高用户注视位置的估 计精度的结构。

图20是示出利用第3实施方式的注视位置估计系统1实现的功能块中的、估计 用户的注视位置的功能块的功能框图。如图20所示，第3实施方式的注视位置估计 系统1包含基准面积/位置信息存储部30、区域检测部32、面积/位置信息取得部60、 注视位置估计部62、处理执行部64、指示位置取得部80、校正数据存储部82以及 校正部84。

第3实施方式的注视位置估计系统1与第1实施方式和第2实施方式的不同点在 于，包含指示位置取得部80、校正数据存储部82以及校正部84。因此，以下对这些 功能块进行说明。此外，因为其它功能块与第1实施方式或第2实施方式相同，所以 这里省略说明。

指示位置取得部80取得由用户指示的画面内的位置。例如，指示位置取得部80 取得用户使用触控板16B或鼠标16C等定位设备指示的画面内的位置。

校正数据存储部82存储用于校正常数或/及系数的校正数据，该常数或/及系数包 含在用于计算用户注视位置的一个或多个运算公式(图13、14)中。

具体地说，校正数据存储部82将由用户指示的画面内的位置与由用户指示该位 置时的面部区域50、双眼区域52、左眼区域52L、右眼区域52R、鼻区域54以及口 区域56各自的面积信息和位置信息对应起来进行存储。图21示出在校正数据存储部 82中存储的校正数据的一例。

校正部84根据校正数据来对用于计算用户的注视位置的一个或多个运算公式 (图13、14)所包含的常数或/及系数进行校正。

例如，校正部84根据校正数据执行与参照图15说明的处理相同的处理，由此重 新确定用于计算第1～第18主成分评分的运算公式(图13)和用于计算用户注视位 置的运算公式(图14)。在此情况下，基准面积/位置信息存储部30的存储内容(图 8)相当于图15(A)所示的数据，校正数据存储部82所存储的校正数据(图21) 相当于图15(B)所示的数据。此外，在重新确定用于计算第1～第18主成分评分 的运算公式(图13)和用于计算用户注视位置的运算公式(图14)时，期望在校正 数据中存储多个记录(例如10000件左右的记录)。

即，校正部84取得用户指示画面内的位置时的用户的面部区域50、双眼区域52、 左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X 座标差值(ΔX)以及Y座标差值(ΔY)。

然后，校正部84将用户指示画面内的位置时的用户的面部区域50、双眼区域52、 左眼区域52L、右眼区域52R、鼻区域54以及口区域56的各个面积差值(ΔS)、X 座标差值(ΔX)以及Y座标差值(ΔY)作为对象实施主成分分析。

即，校正部84将18个差值(6个区域各自的3个差值)作为对象按照一般的主 成分分析的顺序来实施主成分分析，其结果，重新取得表示第1～第18主成分评分 的运算公式(图13)。即，校正部84重新取得用于计算第1～第18主成分评分的运 算公式中的系数L_{i_j}(i，j：1～18的自然数)。在此情况下，当在之后计算第1～第 18主成分评分时，采用重新取得的运算公式。

另外，校正部84按照用于计算第1～第18主成分评分的运算公式(图13)，计 算用户指示画面内的位置时的第1～第18主成分评分。然后，将用户指示的画面内 的位置(即，用户实际观看的位置)与用户指示该位置时(即，用户观看该位置时) 的第1～第18主成分评分作为对象实施线性回归分析。

即，校正部84按照一般的线性回归分析的顺序实施线性回归分析，其结果，重 新取得表示用户注视位置与第1～第18主成分评分之间的关系的运算公式(图14)。 即，校正部84重新取得用于计算用户的注视位置的运算公式中的常数P、S以及系数 Q_i、T_i(i：1～18的自然数)。在此情况下，当在之后计算用户的注视位置时，使用 重新取得的运算公式。

根据以上说明的第3实施方式的注视位置估计系统1，根据用户观看画面内的位 置时的用户的面部区域50等的面积信息和位置信息来重新评估用于估计用户的注视 位置的一个或多个运算公式(图13、14)中的常数或/及系数。即，根据第3实施方 式的注视位置估计系统1，可将用于估计用户的注视位置的一个或多个运算公式中的 常数或/及系数校正为反映用户的面部特征或用户习惯等的值。其结果，能够提高用 户注视位置的估计精度。

此外，以上对校正数据存储部82存储用户指示画面内的位置时的用户的面部区 域50等的面积和位置进行了说明(图21)。

但是，校正数据存储部82也可以存储用户指示画面内的位置时的用户的面部区 域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY)，来取代存储 用户指示画面内的位置时的用户的面部区域50等的面积和位置。

或者，校正数据存储部82也可以存储用户指示画面内的位置时的摄影图像，来 取代用户指示画面内的位置时的用户的面部区域50等的面积和位置。

[第4实施方式]接着，对本发明的第4实施方式进行说明。图22示出本发明第 4实施方式的注视位置估计系统1的结构的一例。如图22所示，第4实施方式的注 视位置估计系统1构成为包含信息处理装置10和服务器装置90。在信息处理装置10 与服务器装置90之间，例如能够经由互联网等通信网络2来收发数据。

信息处理装置10的结构与第1实施方式中的信息处理装置10相同。如图22所 示，服务器装置90包含控制部91、主存储部92、辅助存储部93、光盘驱动部94以 及通信接口95。控制部91、主存储部92、辅助存储部93、光盘驱动部94以及通信 接口95与信息处理装置10的控制部11、主存储部12、辅助存储部13、光盘驱动部 14以及通信接口15相同。

第4实施方式的注视位置估计系统1包含与第1实施方式相同的功能块(图10)。 但是，在第4实施方式的注视位置估计系统1中，在服务器装置90中实现图10所示 的功能块中的至少一个。换言之，在服务器装置90中执行图11和图12所示的处理 中的至少一部分。以下，作为第4实施方式的注视位置估计系统1的具体例，说明第 4-1实施方式、第4-2实施方式以及第4-3实施方式。

[第4-1实施方式]在第4-1实施方式中，在服务器装置90中实现处理执行部64， 在信息处理装置10中实现处理执行部64以外的功能块。即，在该实施方式中，服务 器装置90的控制部91按照程序执行处理，由此控制部91作为处理执行部64来发挥 功能。

在此实施方式的情况下，在信息处理装置10中执行估计(算出)用户的注视位 置之前的处理，在服务器装置90中执行之后的处理。即，在服务器装置90中执行图 11和图12所示的处理中的、步骤S214的处理，在信息处理装置10中执行其它处理。

即，在该实施方式中，当在步骤S212中判定为不存在下一帧的摄影图像时，控 制部11将与记录在辅助存储部13中的用户注视位置相关的数据(注视位置数据)发 送至服务器装置90。

此外，在此情况下，为了能够在服务器装置90侧掌握将什么样的画面显示到显 示部18中，将与显示部18所显示的画面相关的数据也发送至服务器装置90。作为“与 显示部18所显示的画面相关的数据”，例如发送显示部18所显示的画面的识别数据 和显示部18所显示的画面的图像数据。此外，当显示部18所显示的画面的状态根据 用户的操作而变化时(例如，画面根据用户的操作进行滚动时)，将表示在开始画面 的显示之后用户进行的操作历史的操作历史数据也发送到服务器装置90。

当接收到从信息处理装置10发送来的数据时，服务器装置90的控制部91根据 该数据执行与步骤S214相同的处理。

[第4-2实施方式]在第4-2实施方式中，在服务器装置90(注视位置估计装置) 中实现注视位置估计部62和处理执行部64，在信息处理装置10中实现注视位置估 计部62和处理执行部64以外的功能块。即，在该实施方式中，服务器装置90的控 制部91按照程序执行处理，由此控制部91作为注视位置估计部62和处理执行部64 来发挥功能。

在该实施方式的情况下，在信息处理装置10中执行到计算面部区域50等各个区 域的面积和位置为止的处理，在服务器装置90中执行之后的处理。即，在此实施方 式的情况下，在服务器装置90中执行图11和图12所示的处理中的、步骤S205～S211、 S214的处理，在信息处理装置10中执行其它处理。

即，在此实施方式的情况下，在信息处理装置10中执行从图11和图12所示的 处理中去除了步骤S205～S211、S214的处理后的处理。另外，在此实施方式的情况 下，从信息处理装置10向服务器装置90发送表示各个帧的摄影图像中的面部区域 50等的面积和位置的数据。另外，将与显示部18所显示的画面相关的数据也发送至 服务器装置90。然后，在服务器装置90中，根据从信息处理装置10接收到的数据， 执行与图11和图12的步骤S205～S211、S214相同的处理。

此外，也可以在信息处理装置10中执行到计算面部区域50等的面积差值(ΔS)、 X座标差值(ΔX)以及Y座标差值(ΔY)为止的处理，在服务器装置90中执行之 后的处理。即，也可以在服务器装置90中执行图11和图12所示的处理中的、步骤 S208～S211、S214的处理，在信息处理装置10中执行其它处理。

此时，在信息处理装置10中执行从图11和图12所示的处理中去除了步骤S208～ S211、S214的处理之后的处理。并且，从信息处理装置10向服务器装置90发送表 示各个帧的摄影图像中的面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及 Y座标差值(ΔY)的数据。另外，将与显示部18所显示的画面相关的数据也发送至 服务器装置90。然后，服务器装置90根据从信息处理装置10接收到的数据，执行 与图11和图12的步骤S208～S211、S214相同的处理。

或者，也可以在信息处理装置10中执行到计算面部区域50等的面积差值(ΔS)、 X座标差值(ΔX)以及Y座标差值(ΔY)的加权移动平均为止的处理，在服务器装 置90中执行之后的处理。即，也可以在服务器装置90中执行图11和图12所示的处 理中的、步骤S209～S211、S214的处理，在信息处理装置10中执行其它处理。

[第4-3实施方式]在第4-3实施方式中，在服务器装置90(注视位置估计装置) 中实现区域检测部32、面积/位置信息取得部60、注视位置估计部62以及处理执行 部64。即，在此实施方式的情况下，服务器装置90的控制部91按照程序执行处理， 由此控制部91作为区域检测部32、面积/位置信息取得部60、注视位置估计部62以 及处理执行部64来发挥功能。

在此实施方式的情况下，从信息处理装置10向服务器装置90发送摄影部17的 摄影图像(动态图像数据)。另外，将与显示部18所显示的画面相关的数据也发送到 服务器装置90。然后，在服务器装置90中，根据从信息处理装置10接收到的摄影 图像(动态图像数据)，执行图11和图12所示的处理。

此外，根据上述第4-1实施方式和第4-2实施方式，与第4-3实施方式相比，从 信息处理装置10向服务器装置90发送的数据量变小，因此能够减轻通信网络2的负 荷。

但是，在第4实施方式的注视位置估计系统1中也与第2实施方式同样，也可以 实时地执行用户的注视位置的估计。

例如，与第4-2实施方式同样，也可以在服务器装置90中执行图17所示的处理 中的步骤S305，在信息处理装置10中执行步骤S305以外的处理。此时，在执行步 骤S304的处理之后，从信息处理装置10向服务器装置90发送表示面部区域50等的 面积和位置的数据。并且，服务器装置90根据从信息处理装置10接收到的数据，执 行与步骤S305的处理相同的处理，并估计用户的注视位置。然后，从服务器装置90 向信息处理装置10回复用户的注视位置，在信息处理装置10中执行步骤S306、S307 的处理。

或者，也可以在服务器装置90中执行步骤S305的处理的一部分，在信息处理装 置10中执行除此以外的处理。例如，此时，在算出面部区域50等的面积差值(ΔS)、 X座标差值(ΔX)以及Y座标差值(ΔY)之后，从信息处理装置10向服务器装置 90发送表示面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY) 的数据。并且，在服务器装置90中，根据从信息处理装置10接收到的数据来估计用 户的注视位置。之后，从服务器装置90向信息处理装置10回复用户的注视位置，在 信息处理装置10中执行步骤S306、S307的处理。

或者，也可以在算出面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及 Y座标差值(ΔY)的加权移动平均之后，从信息处理装置10向服务器装置90发送 表示面部区域50等的面积差值(ΔS)、X座标差值(ΔX)以及Y座标差值(ΔY) 的加权移动平均的数据。并且，在服务器装置90中，也可以根据从信息处理装置10 接收到的数据来估计用户的注视位置。之后，从服务器装置90向信息处理装置10 回复用户的注视位置，在信息处理装置10中，也可以执行步骤S306、S307的处理。

另外，例如与第4-3实施方式相同，也可以在服务器装置90中执行图17所示的 处理中的步骤S302～S305的处理，在信息处理装置10中执行除此以外的处理。此时， 从信息处理装置10向服务器装置90发送在步骤S301中取得的摄影图像。并且，在 服务器装置90中，根据从信息处理装置10接收到的摄影图像，执行与步骤S302～ S305的处理相同的处理，并估计用户的注视位置。之后，从服务器装置90向信息处 理装置10回复用户的注视位置，在信息处理装置10中执行步骤S306、S307的处理。

此外，在以上说明的第4实施方式中，服务器装置90可以是将Web网页提供给 信息处理装置10的Web服务器装置，也可以是与Web服务器装置不同的服务器装 置(即，用于估计用户的注视位置的专用服务器装置)。例如，服务器装置90也可以 是将如图3所示的商品一览网页提供给信息处理装置10这样的电子商务网站的Web 服务器装置。此时，电子商务网站的Web服务器装置能够取得与自身提供给信息处 理装置10的Web网页(例如商品一览网页)中的用户的注视位置相关的数据。即， Web服务器装置能够获得重新评估各Web网页中的、想要使用户注意到的各种信息 (例如，广告等)的显示位置时的决策信息。

此外，本发明不被以上说明的第1实施方式～第4实施方式所限定。

例如，以上说明了为了估计用户的注视位置而使用面部区域50、双眼区域52、 左眼区域52L、右眼区域52R、鼻区域54以及口区域56这6个区域的全部的情况， 但也可以使用这6个区域中的一部分。例如，也可以仅使用面部区域50、双眼区域 52以及鼻区域54。

另外例如，为了估计用户的注视位置，也可以使用面部区域50、双眼区域52、 左眼区域52L、右眼区域52R、鼻区域54以及口区域56以外的区域。

另外例如，也可以组合第2实施方式与第3实施方式。另外，也可以组合第2 实施方式和第3实施方式的至少一方与第4实施方式。

此外，在组合第2实施方式与第4实施方式的情况下，可以在信息处理装置10 中实现校正数据存储部82和校正部84，也可以在服务器装置90中实现校正数据存 储部82和校正部84。另外，当在服务器装置90中实现校正数据存储部82时(即， 在将所有用户的校正数据存储到服务器装置90中时)，校正部84也可以使用其它用 户的校正数据。但是，此时，也可以使用户的校正数据的权重比其它用户的校正数据 大。

另外例如，具有显示部的装置与具有摄影部和控制部的装置可以是单独的装置。 例如，也可以在家庭用电视的上部或下部等中设置照相机(摄影部)，在信息处理装 置(例如个人计算机)中，根据照相机(摄影部)的摄影图像来估计用户正在注视的 家庭用电视的画面内的位置。