获取观看者观看内容时的兴趣的设备

摘要

为了获取观看者在消费电子设备上观看三维内容时的喜好和兴趣，观看者的眼睛被实时监控。来自监控的生物特征数据被用来为观看者传送高度精确和个性化的观看体验。

说明书

技术领域

公开了在消费电子设备上观看内容时通过人类生物特征获取实 时观看者兴趣程度的设备。本发明涉及能够在消费电子设备上实时跟 踪和监控观看者的视线生物特征，特别是观看内容时观看者的眼睛。

背景技术

媒体内容的生产者和传播者当前获取关于消费电子设备消费内 容的类型、数量、流派等商业信息。但是，电子设备制造商拥有的消 费电子设备所消费类容的百分比是不知道的。此外，电子设备的制造 商不能确定有多大百分比的类型、流派等是被电子设备制造商的消费 者喜欢的此外，目前为止，还没有以不显眼的方式获取生物特征信息 的方法。

发明内容

本发明涉及在观看3D内容时在用户穿戴的三维(3D)眼镜上安 装多个传感器，以不显眼地获取关于用户的生物特征信息，使得高度 精确个性化的内容能够在任何地方传送给用户。

附图说明

图1示出了3D显示设备以及穿戴有追踪器的3D眼镜的用户如 何观看3D显示器。

图2A示出了观看者的眼睛在显示设备上的位置并且图2B示出 了基于图2A的自校准图。

图3示出了使用本发明的方法。

图4示出了用于3D眼镜的附加传感器。

具体实施方式

本发明涉及当观看包括互联网协议(IP)内容在内的内容时，通过 人体生物特征在消费电子设备上用于获取实时观看者兴趣的设备。消 费电子设备可以是具有互联网功能的消费电子设备。实时跟踪和监控 观看者的视线生物特征被使用。具体地，当在消费电子设备上观看内 容时用户的眼睛被监控。获取的生物特征数据是眼睛凝视、注视、运 动和瞳孔放大以及其它将在下面讨论的生物特征数据。获取的生物特 征数据被用来确定兴趣的程度及推断关于观看者内容观看体验的观看 者的满意程度。

图1示出了通过嵌入或者可插拔模块二者任一附连到3D眼镜5 上的眼睛追踪器4。该追踪器4用来追踪用户的眼睛。眼睛或一双眼 睛被绑定到用户配置文件。跨用户观看历史的跨度维护视线生物特征 数据。随着时间的推移，示出用户兴趣程度的生物特征数据被知道。 可选择地，生物特征数据也能够被显示以实时示出生物特征数据指向 场景中特定物体的相关性。

本发明的结果是在任何地方或位置以及在任何时间，基于眼睛识 别提供观看者访问高度精确个性化的内容的入口点。

如图1所示，用于显示图像和3D图像的显示设备1与3D眼镜5 一起使用。3D眼镜5包括框架3、3D镜片7和相机/眼睛追踪器4(传 感器)。显示设备1被附连到消费电子设备2，该消费电子设备2可 以具有互联网功能并且包括诸如机顶盒、游戏站、录像机(VCR)、 磁带录像机(VTR)、数字多功能光盘(DVD)等设备。为了在显示 设备1上观看三维图像，用户需要穿戴3D眼镜5。消费电子设备2 是通过诸如无线上网(Wi-Fi)、红外线、蓝牙等具有无线功能的。此 外，消费电子设备2可以通过互联网8与服务器6通信或者消费电子 设备可以自身使用生物特征数据。

3D眼镜5具有为了将获取的生物特征数据发送到消费电子设备2 的无线发射器10(参见图4)。图4中发射器10的放置仅是说明性的 并且其能够放置在3D眼镜5上的任何地方。在消费电子设备2接收 生物特征数据之后，可以通过互联网8将生物特征数据发射到服务器 6以供分析和储存或消费电子设备自身可以使用该信息。例如，基于 用户关注内容的部分，生物特征数据能够被服务器或者消费电子设备 二者任一用来选择哪个内容接下来播放。可选择地，消费电子设备能 够分析生物特征数据并且然后将诸如在内容播放期间在每一点的用户 兴趣程度(或者凝视点)的摘要信息发送到服务器。

如在图1中所示，追踪器4被安装到3D眼镜5上。虽然图1示 出追踪器4安装在靠近3D眼镜5中间的部分，但是确切的位置是可 变的，只要追踪器4能够不显眼地追踪观看者的眼睛运动。通过使用 追踪器4，观看者的眼睛凝视、注视、运动和瞳孔放大能够被实时追 踪和监控。追踪器4能够检测眨眼、眯眼以及何时用户闭上他/她的眼 睛。这能够至少部分地用来告诉在用户不能或者不想观看内容的情形 下何时用户闭上他的/她的眼睛。追踪器4也能检测用户睡觉的点。

通过使用追踪器4，用户能够在服务器6或者消费电子设备上注 册他的/她的眼睛以建立内容兴趣或满意度的配置文件。追踪器4能够 通过(over)时间函数(见图2B)自校准观看者的眼睛位于3D电视 屏幕或者3D显示设备1的何处。关于用户兴趣的信息能够基于用户 看在屏幕上的何处来确定并且该信息能够被相关到关于在那一帧物体 在屏幕上的位置所已知的元数据。元数据能够被消费类电子产品解析 出、与内容通信、在稍后的点被确认、或者元数据对于服务器已知但 是在该消费电子设备上未知。因此，本发明能够生成能被关联到在一 个位置和一个时间处什么在屏幕上的目光位置信息。该目光位置信息 被不显眼地收集并且数据与观看者在看的物体相关联。

来自追踪器4的生物特征数据被用来确定将要推荐给用户的最佳 内容。这几乎能够实时完成，例如在通告插播期间确定下一内容并且 之后该下一内容被提供到用户的显示设备。

追踪器4能被用来感测用户的眼睛集中在显示器上的位置，并且 该集中位置在服务器或者消费电子设备上因此已知。如果产品位于显 示器上的那个位置，然后知道用户感兴趣的产品。这能够被用来选择 针对用户兴趣的通告。

眼镜5能够针对知道用户身份和配置文件的每个用户是个性化 的。当用户拿起他的/她的眼镜5时，基于用户的身份和配置文件，用 户的兴趣将已知。此外，基于来自消费电子设备和/或服务器的信息， 用户优选的电视设置也将已知以使得内容和通告能够基于用户的兴趣 被送到用户。

当用户的优选设置通过生物特征数据确定后，消费电子设备2和 显示设备1的电视设置能够经由互联网被服务器6控制。可选择的， 用户的电视设置能够经由互联网被服务器6覆盖。

为了从追踪器4获取用户的基准生物特征数据，获取的多个用户 的生物特征数据被作比较以解释每个用户的数据。例如在图2A中所 示的，基准数据是从几个在相同时间看相同内容的观看者累积而来的。

在优选实施例中，因为用户的眼睛和追踪器4之间的距离接近眼 睛导致精确数据，因此3D眼镜5优选追踪眼睛运动。追踪器4被设 在用户为了看3D内容需要使用的3D眼镜5上。该发明的重要特点为 眼镜5包含不显眼地获取生物特征数据的传感器4。

为了获取生物特征信息，如在图3中所示，以下发生：(1)观 看者穿上配备有眼睛运动追踪器的3D眼镜，(2)观看者通过提供用 户身份识别号码(ID)或者通过用户的眼镜身份识别号码(ID)二者 任一向系统/服务器注册他的/他的眼睛；可替代地用户眼睛瞳孔中的 视觉模式允许不显眼地识别用户；新用户可以创建新的配置文件，(3) 追踪器开始校准观看者的眼睛在显示屏幕上的位置；由于观看者的眼 镜在显示屏幕1和该显示屏幕位于的房间中的其他位置周围移动，随 着时间的推移，会有多个(虚拟)眼点在显示屏幕上；为了获取该显 示屏幕和眼睛位置的精确边界，一阶微分随着时间推移被施加到眼点 上；这是自校准(见图2B)，可替代地用于步骤3，当用户第一次戴 上眼镜时，用户可以通过主动的校准步骤；这可以通过眼睛运动来实 现，例如眼睛注视在屏幕的每个角数次；这能够是加快眼镜具有好的 校准的时间的可选步骤，(4)在3D内容观看期间，追踪器4将追踪 和监控观看者的眼睛凝视(在什么位置)、注视(多长时间)、运动 (眼睛运动的模式/方向)以及瞳孔放大(压力的指示)；注意：如果 眼镜在2D内容观看期间被选择地穿戴，追踪器也能够追踪和监控用 户的生物特征，即使眼镜对于2D内容并不需要，(5)生物特征数据 点被实时输入到数据处理单元(未示出)，该数据处理单元可以内置 于眼镜，内置于消费电子设备或者发送到服务器6以建立兴趣程度的 配置文件，生物特征信息由两部分组成：(a)兴趣程度：凝视、注视、 眼睛运动/路径以及(b)满意水平：凝视、注视、眼睛运动/路径和瞳 孔放大，关于特定使用的生物特征配置文件可以包括诸如能够用来被 动地识别相同用户的瞳孔视觉模式的特征，生物特征配置文件也可以 包含有关用户的基准信息，例如用户的典型静息心率或者各种光照水 平下的瞳孔放大量，(6)如果未注册的新观看者加入观看，生物特征 数据将为这个新的观看者被动地收集以建立该用户能够注册的新的配 置文件，用户的配置文件通过被动的生物特征数据来标识，因此注册 是可选的，但是，注册可以允许用户限制他们的账号到他/她能够直接 访问的账号以使得直接关联配置文件到其他账号或者输入兴趣，可选 择地，如果该新用户不想注册，基于跨在该人所在地点、语言、日期/ 时间等内的所有设备的客户默认的生物特征配置文件被最初使用，该 默认的生物特征配置文件由于默认的配置文件跨所有客户持续重新计 算而随着时间变化，由于新用户持续使用系统，一般默认配置文件基 于特定于用户的传感器数据(即生物特征数据)能够然后为新用户定 制，(7)用户的配置文件被检索和更新，(8)随着时间推移，对于 特定的用户/观看者，关于一段内容的精确和实际的感兴趣和满意程度 能够被确定，同时确定场景中的哪一部分或者哪种类型的物体对用户 来说最感兴趣，以使得内容、兴趣和满意程度能够被确定。

除了追踪器4，3D眼镜5也可以包含在图4中一般标记为附图 标记11的多个其他传感器，传感器11的放置仅是为说明性目的并且 能够放置在眼镜5上的任何地方。一个这样的传感器11可以是用来检 测头部运动和方向，诸如加速度计和/或陀螺仪。例如，基于头部运动 传感器，服务器6或者消费电子设备能够确定用户在看屏幕或者看其 他地方。此外，当内容有突然变化时，突然的头部运动将会指示用户 沉浸在观看内容中。陀螺仪该和/或加速度计将会是空间方向检测器的 一部分。

除陀螺仪和加速度计外，或者替代陀螺仪和加速度计，眼镜中的 相机也能够被用来视觉感测到屏幕的方向，其在暗室中在黑暗的场景 期间会是有问题的。可选择地，屏幕可以发射用于眼镜检测的信号以 使得总是有用于眼镜检测的一致的信号。这些信号可以是可见的，例 如发光的边框，或在不能被人检测到的频率中。这些信号可以是屏幕 自身、边框或者屏幕周围设备的其他部分产生的，或者由单独的发射 器产生，这对给现存的不支持感测的显示器添加感测时将会是有用的。

对于显示器不固定的系统，例如手持平板显示器而不是客厅的电 视，将有可能在显示器和眼镜上有空间方向探测器。在这种情况下， 如果显示器发射由眼镜检测的信号，然后该信号的检测将会是与显示 器相关，虽然诸如陀螺仪的传感器将会感测用户在空间中的方向但是 需要与显示器在空间中的方向进行协调。

此外，3D眼镜5可以包含传感器11以感测用户触摸眼镜。该传 感器将拾取诸如流汗的电活动。作为替换，可以提供传感器11以使得 与用户的头部直接接触以感测大脑活动。温度传感器11可以设在眼镜 5上以感测体温和/或感测房间的环境温度。

检测器11也能够检测环境光照水平。环境光照能够用来标准化 由于光照水平的影响导致的瞳孔放大量，以检测何时瞳孔放大变化是 对内容而不是光照变化的反应。检测器11可以感测的其他事情包括用 户的心率和用户的呼吸。例如，当内容有突然变化时，用户突然的喘 息将会指示用户沉浸在观看内容中。

互联网协议消费电子设备2可以经由互联网发送诸如电视设置的 设置到服务器6。消费电子设备也能够确定显示器1不同的内容设置， 例如图片亮度、暗度以及该显示的内容是否涉及运动、戏剧等，这也 能够被发送到服务器6以建立用户配置文件。

3D眼镜5可以包括音频传感器11以感测至少用户的音频。尽管 消费电子设备将知道基于内容产生的音频音量，但是音频传感器也能 够用于该目的。可以安装在3D眼镜5上的额外的传感器11可以包括 用于确定背景噪声或者任何声音干扰的传感器。背景噪声水平能够分 解成确定用户对内容的兴趣水平。此外，3D眼镜可以有安装在其上的 耳机11。类似于噪音消除耳机的工作方式，来自麦克风的环境声音能 够用于从用户检测到的定向声音中减去环境声音，以获取由用户产生 的更加清晰的音频流。服务器6或者消费电子设备2能因此控制这些 耳机的音频水平以克服音频干扰。

定向麦克风11可以安装在3D眼镜5上。定向麦克风11可以拾 取来自用户的音频以拾取用户的喘息、对节目的讲话、与其他人的谈 话等。因此，来自该定向麦克风11的输出能够被服务器6或者消费电 子设备2使用以确定用户对该内容的兴趣水平。

最重要的是，安装在3D眼镜5上的追踪器4和传感器11被用于 校准和建立用户的配置文件并且它们不显眼以使得被动地完成监控生 物特征信息。此外，本发明能够与不那么显眼(less unobtrusive)的 感测方法和设备结合使用。

通过将传感器11和4绑定到3D眼镜，被动校准能被获取以使得 用户不知道数据在被收集。此外，因为3D眼镜5包含传感器11和4， 因而感测是不显眼的。服务器的将从传感器/追踪器获取的生物特征数 据和从消费电子设备2获取的内容相关联可以为用户确定。使用加速 度计和陀螺仪11来感测眼镜5在用户头部上的移动能够用来关联信 息。使用在3D眼镜上的传感器能够是使用在蜂窝电话中的类型。皮 肤传感器可以是金属接触板。追踪器/相机被用来感测有头部运动的眼 睛聚焦。该3D眼镜5能够因此对每个用户配置文件是个性化的。使 用环境数据能够用来经由耳机阻挡背景噪声和环境干扰。应当注意到 在图4中多个传感器11的放置仅是说明性的而并不限制其类型、数量 或者放置。

本发明允许实时监控观看者的眼镜凝视、注视、运动和瞳孔放大 以获取观看者通过互联网协议在消费电子设备上观看3D内容时的喜 好和兴趣。源自生物特征数据的用户兴趣能够被用来传递高度精确个 性化的观看体验，例如在其他目的中发送对用户量身定做的命令和内 容。

将被那些本领域的技术人员认识到，在不背离本发明的精神和范 围的情况下，可以使用各种修改、替代结构和等同。相应地，以上描 述不应该被认为是限制本发明的范围。