首页> 中国专利> 眼睛跟踪使能智能隐藏字幕

眼睛跟踪使能智能隐藏字幕

摘要

提供了使用眼睛跟踪设备来控制隐藏字幕的系统和方法。该用于控制隐藏字幕的系统可以包括显示设备、被配置为在显示设备上显示回放期间媒体项目的隐藏字幕文本的隐藏字幕控制器,以及被配置为检测用户的注视相对于显示设备的位置以及将该位置发送给隐藏字幕控制器的眼睛跟踪设备。隐藏字幕控制器可被配置为识别用户的注视的预定注视模式,以及在检测到预定注视模式时,部分地或者完全地对隐藏字幕文本的显示解除强调。

著录项

  • 公开/公告号CN106164819A

    专利类型发明专利

  • 公开/公告日2016-11-23

    原文格式PDF

  • 申请/专利权人 微软技术许可有限责任公司;

    申请/专利号CN201580015857.3

  • 发明设计人 W·威莱拉特;V·图克拉尔;

    申请日2015-03-20

  • 分类号G06F3/01;H04N21/4223;H04N21/488;

  • 代理机构永新专利商标代理有限公司;

  • 代理人刘瑜

  • 地址 美国华盛顿州

  • 入库时间 2023-06-19 00:54:59

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-26

    授权

    授权

  • 2016-12-21

    实质审查的生效 IPC(主分类):G06F3/01 申请日:20150320

    实质审查的生效

  • 2016-11-23

    公开

    公开

说明书

背景技术

多年来,通过将媒体中出现的对话的文本概述或转录显示在显示媒体的屏幕的底部,隐藏字幕技术已经允许听力受损个体更好地理解诸如电影和电视节目的媒体的口语对话。除了辅助听力受损的用户,隐藏字幕还由一种语言的非本族语讲者使用来更好地领悟该语言的电影和电视节目。

常规的隐藏字幕的一个缺陷在于,其挡住了在其中显示隐藏字幕的电影或电视节目的部分,除了审美上没有吸引力之外,这还可能会妨碍观看者对媒体的可视内容的领悟和享受。对于具有足以理解大部分口语对话的语言技能并且仅偶尔遇到他们不能理解的段落的非本族语讲者而言,该问题尤其麻烦。对于这些极其精通的非本族语讲者,隐藏字幕可能会在节目的极易理解的部分过程中令人烦恼。

通过现有的隐藏字幕技术,这些用户具有将隐藏字幕关闭的选项,例如通过使用遥控装置来协商回放设备的屏幕上菜单以及将隐藏字幕设定为关闭。然而,在隐藏字幕关闭之后,用户可能遇到具有用户所不能理解的对话的节目的部分。用户被迫拾起遥控装置,停止节目,经由屏幕上菜单打开隐藏字幕,倒放节目,并且再次点击播放,从而重新播放对话的未理解的部分。对于观看没有数字视频记录仪的实况播出的电视的用户而言,甚至这种费力的命令序列都是不可能的,因为节目不能被倒放。能够意识到,对于用户而言,在单次查看对话中以这种方式多次激活和去激活隐藏字幕是笨重和麻烦的。

发明内容

提供了使用眼睛跟踪设备来控制隐藏字幕的系统和方法。该用于控制隐藏字幕的系统可以包括显示设备、被配置为在显示设备上显示回放期间媒体项目的隐藏字幕文本的隐藏字幕控制器,以及眼睛跟踪设备,眼睛跟踪设备被配置为检测用户的注视相对于显示设备的位置以及将该位置发送给隐藏字幕控制器。该隐藏字幕控制器可被配置为识别用户的注视的预定注视模式,并且在检测到预定的注视模式时,部分地或者完全地对隐藏字幕文本的显示解除强调。

提供该概述以简化形式介绍概念的选择,下面将在具体实施方式中进行进一步说明。该概述不意在确定所要求保护的主题的关键特征或主要特征,也不意在用于限制所要求保护的主题的范围。此外,所要求保护的主题不限于解决了在本公开的任何部分中提及的任何或全部缺点的实现方式。

附图说明

图1A-1G示出了根据本公开的实施例的用于对来自用户的各种眼睛注视模式做出响应而控制隐藏字幕的系统。

图2示出了根据本公开的实施例的进一步被配置为对停留在字幕词语上的用户的注视做出响应而控制隐藏字幕的图1A-1G的系统。

图3A-3C示出了根据本公开的实施例的进一步配置为对位于预定隐藏字幕显示区域的各个子区域中的用户的注视做出响应而控制隐藏字幕的图1A-1G的系统。

图4A-4D示出了根据本公开的实施例的进一步配置为对位于显示设备上所显示的字符上的用户的注视做出响应而控制隐藏字幕的图1A-1G的系统。

图5A-5C是根据本公开的实施例的控制隐藏字幕的方法的流程图。

图6示意性地示出了能够进行图1A-1G的系统的方法和过程的计算系统。

具体实施方式

为了解决上述难题,本文公开了利用眼睛跟踪设备来控制隐藏字幕的系统和方法。图1A-1G示出了对来自用户的各种眼睛注视模式做出响应而控制隐藏字幕的系统10。如图1A所示,系统10可以包括:显示设备12;隐藏字幕控制器14,其可被配置为将回放期间媒体项目23的隐藏字幕文本16显示在所述显示设备12上;以及眼睛跟踪设备18,其被配置为检测用户的注视20相对于显示设备12的位置21以及将该位置发送到隐藏字幕控制器14。随着在时间间隔内跟踪用户的注视,隐藏字幕控制器14可被配置为基于在时间间隔内检测到用户的注视的一系列位置21来识别用户的注视20的预定注视模式25(参见图1B)。在检测到预定的注视模式时,隐藏字幕控制器14可被配置为部分地或者完全地对隐藏字幕文本16的显示解除强调。

对隐藏字幕文本16的显示解除强调可以通过用于使得隐藏字幕文本16对用户40不太可见的适合的过程来实现。例如,隐藏字幕文本16可完全地去激活或者使其较不不透明,即,部分地半透明或透明。如果被去激活,则去激活典型地仅是暂时的,直至用户再次请求隐藏字幕,如下文所描述的。可选地,可以通过使得隐藏字幕文本较小而对隐藏字幕文本解除强调,可以用与默认字体相比每字符占据更少像素的较细字体来再现隐藏字幕文本,等等。

在图1A-1G中,隐藏字幕控制器14和眼睛跟踪设备18被描绘为彼此分离,以及与关联的显示设备12分离的组件。然而,应当注意,系统10不限于这样的配置。例如,显示设备12和隐藏字幕控制器14可以集成到单个壳体内,诸如在所谓的智能电视中、平板计算机或头戴式显示器中。

此外,图1A-1G所示的系统10的实施例示出单个用户40以及单个用户的注视20。然而,实际上,系统10可被配置为同时对多个用户进行注视跟踪并且可进一步被配置为使用面部识别以及其它各种启发式技术来标识系统10的多个用户。系统10还可被配置为创建并存储多个用户中的每个用户的简档。这些简档可以包含各种形式的信息,包括多个用户中的每一个用户的隐藏字幕文本16的平均阅读速度、优选的语言或者优选的字体尺寸。系统10可被配置为使得简档信息由用户输入,或者通过系统10基于在一定时间内跟踪的每个用户的行为来确定。

图1A和1B分别描绘了隐藏字幕控制器14响应于用户的注视20的预定注视模式而显示隐藏字幕文本16以及对隐藏字幕文件16解除强调。为了识别预定的注视模式,隐藏字幕控制器14可进一步配置为判定用户的注视20的位置21是否在其中显示有隐藏字幕文本16的显示设备12上的预定隐藏字幕显示区域24内。通常,判定在称为强调时间段的第一预定时间段内用户的注视是否在区域24内,该第一预定时间段可以在例如2秒与5秒之间,或者其它时长。如图1B所示,如果用户的注视20的检测位置21不在预定隐藏字幕显示区域24内比预定时间段更长,则控制器14被配置为对隐藏字幕文本16在预定隐藏字幕显示区域24内的显示解除强调。该解除强调被示出为图1B中的像素化文本,这与图1A中的隐藏字幕文本的实线形成对比。将意识到,可以应用其它形式的解除强调,诸如上文所述的那些。

图1A-1G描绘了位于显示设备12的底部的预定隐藏字幕显示区域24。可选地,预定隐藏字幕显示区域24可以位于显示设备12上的任何适合的位置处。虽然预定隐藏字幕显示区域24通常重叠媒体项目23,将意识到在一些格式下,诸如邮箱,媒体项目23可以非全屏尺寸来显示,并且隐藏字幕显示区域24可以位于媒体项目23的框边区域中。通过当用户的注视20不位于预定隐藏字幕显示区域24中时对隐藏字幕文本16解除强调,系统10可以避免在不使用时显示隐藏字幕文本16。通过去除或减弱可能阻碍或干扰观看显示设备12的屏幕上的媒体项目23的材料的可视性,该特征增强了隐藏字幕用户40以及任何其它观看者的观看体验。

在多用户环境中,系统10被配置为,在使得对隐藏字幕文本解除强调之前,等待直至全部用户的注视被检测到位于预定隐藏字幕显示区域24之外达预定时间段。这有助于确保,当另一用户仍阅读文本时,响应于一个用户的转移的注视,而不对隐藏字幕文本解除强调。

如图1C所示,在对隐藏字幕文本16解除强调之后,隐藏字幕控制器14可进一步被配置为,如果检测到用户的注视的位置21位于预定隐藏字幕显示区域24内,则重新强调隐藏字幕文本16在预定隐藏字幕显示区域24内的显示。典型地,如果检测到用户的注视位于区域24内比被称为重新强调时间段的第二预定时间段更长,则重新强调隐藏字幕文本,该第二预定时间段可以是例如500ms至2秒,或者其它时长。这帮助避免当用户的眼睛扫视消费可能出现在预定隐藏字幕显示区域24内的可视内容的屏幕时的非期望的切换。作为可选方案,不是等待重新强调期间,一旦在区域24内检测到用户的注视,系统可以开始淡入逐渐增加隐藏字幕文本的强调(例如,不透明度、尺寸、厚度等)。该重新强调可以是立即的、或逐渐的,诸如达到完全强调的隐藏字幕文本的淡入。该特征允许用户40观看隐藏字幕文本16,而无需访问遥控器以及经由屏幕上菜单再次打开隐藏字幕,如上文在背景技术部分所描述的。

现在转到图1D-1G,除了位于区域24之外或之内的注视的上述预定注视模式之外,隐藏字幕控制器14可被配置为,当用户的注视20在预定隐藏字幕显示区域24内时,检测其它预定的注视模式。例如,隐藏字幕控制器14可进一步配置为基于包括用户的注视20改变的方向和速度的信息来检测用户的眼睛注视20以阅读速度范围内的过滤速度沿阅读方向在预定的隐藏字幕显示区域24内行进。

图1D描绘了正在阅读显示设备12上的隐藏字幕文本16的用户的注视20。随着用户的注视20从位置21移到位置30和32,隐藏字幕控制器14可被配置为确定用户的注视20在一定时间内移动的方向。隐藏字幕控制器14可被进一步配置为判定该方向是否与隐藏字幕文本16的语言的阅读方向一致(例如,对于英语而言从左到右,而对于希伯来语或阿拉伯语而言是从右到左)。此外,隐藏字幕控制器14可被配置为,基于在一定时间内用户的注视20的位置来计算用户40的平均阅读速度。隐藏字幕控制器14可被进一步配置为过滤在用户的注视20沿一个方向连续移动的同时可能出现的用户的注视20(例如,眼扫视)的任何突然的、迅速的变化。因此,隐藏字幕控制器14可被配置为获得用户的注视20的平滑的、平均变换速度。语言流利的成年人的平均阅读速度公知的是,对于该语言每分钟250个词语与300个词语之间,而语言学习者会阅读更慢。因此,上述的阅读速度范围可以是每分钟大约20个词语与300个词语之间。

隐藏字幕控制器14可被配置为使用诸如这些的统计数据从而判定在一定时间内用户的注视20的变换速度是否与用户40阅读隐藏字幕文本16一致。例如,对于系统10的每个用户,对于该用户阅读隐藏字幕文本的平均速度,可以汇编统计数据,并且如果在区域24内眼睛移动的实际速度被判定为与用户自己的平均阅读速度相差某百分比,例如,50%,则阅读速度被确定为在上述的阅读速度范围之外。

隐藏字幕控制器14可被进一步配置为,如果用户的注视20在预定隐藏字幕显示区域24内但是用户的注视的过滤速度被检测为在阅读速度范围之外,则通过减小隐藏字幕文本16在预定隐藏字幕显示区域24内的不透明度来对隐藏字幕文本16解除强调。图1E描绘了一个实例,其中用户的注视20位于预定隐藏字幕显示区域24之内,但是用户聚焦于字符28并且没有阅读隐藏字幕文本16,因为阅读速度已经被检测到在隐藏字幕的语言的阅读方向上位于阅读速度范围之外。在电视节目中可以存在各个点,例如,节目的动作出现在显示设备12的与预定隐藏字幕显示区域24相同的区域内。用户的注视20自然地遵从节目的动作,并且因此,可能开始位于预定的隐藏字幕显示区域24内。如上所述,隐藏字幕控制器14可被配置为检测在一定时间内用户的注视20的方向和变化速度,从而判定用户是否正在阅读。当隐藏字幕控制器14判定用户的注视20在预定隐藏字幕显示区域24内,但是用户40没有阅读时,如果隐藏字幕文本16没有被显示为全不透明文本,则对于显示设备12的用户40以及任何其它观看者将是有益的。因此,隐藏字幕控制器14可被配置为,当用户的注视20位于预定的隐藏字幕显示区域24内但是用户40没有阅读时,降低隐藏字幕文本16的不透明度。

接着转到图2,除了监控用户40是否正在阅读之外,隐藏字幕控制器14可被配置为确定其它注视模式。隐藏字幕控制器14可以被配置为监视在预定隐藏字幕显示区域24内用户的注视20的速度并且如果隐藏字幕控制器14检测到用户的注视20的速度放缓至预定缓慢阅读速度阈值以下或者在隐藏字幕文本16中的词语或短语中的词语上暂停至少预定的停留时间,则显示有关隐藏字幕文本16的词语或短语的辅助信息38。

图2描绘了停留在隐藏字幕文本16中的字幕词语46上的用户的注视。当一个人阅读时,人的眼睛不会沿着文本连续地移动。相反,用户的注视20将保持在短时间内固定到单个点上,然后跳到文本中的下一点。已知阅读时的平均固定持续时间在200毫秒与250毫秒之间。取决于诸如人的年龄和平均阅读速度的其它特性,固定持续时间可以在100毫秒至500毫秒以上的任意点变化。隐藏字幕控制器14可被配置为通过如上所述的计算用户的注视20的固定持续时间以及将其与一般的阅读者的平均固定持续时间进行比较,或者与隐藏字幕控制器14在一定时间内计算出的用户40的平均固定持续时间进行比较来确定用户的注视20何时停留在词语上。作为一些具体的示例,上述的预定停留时间可以是100-500毫秒,200-400毫秒,或者大约300毫秒,作为一些示例。停留时间还可以根据从用户处接收到的用户输入设定成期望的停留时间。当用户正在阅读时,用户的注视20的位置将在每次固定之后跳过多个字符。每次跳过的字符的平均数对于语言流利的那些人是7秒与9秒之间,但是可取1至20的范围。如果用户的注视20开始跳过比之前在阅读期间检测到的更少的字符,或者如果固定持续时间变得比用户40的平均固定持续时间长,则隐藏字幕控制器14可被配置为判定用户的注视20是否已经放缓至隐藏字幕文本16中的词语或短语上的预定缓慢阅读速度阈值以下。图2描绘了用户的注视20移到位置34和36但是停留在字幕词语46(即,图2中的词语“NEPTUNE”)上的实例。在该情况下,隐藏字幕控制器14可被配置为将有关字幕词语46的辅助信息38显示给用户。如果字幕词语46对于用户而言是未知的,则辅助信息38对于更好的理解隐藏字幕文本16可能尤其令人感兴趣或者有帮助。图2描绘了辅助信息38为解释字幕词语46的定义的边栏。可选地,辅助信息38可以显示在显示设备12上的任意位置,并且可以包含各种形式的信息,诸如到外部网站或近期的相关新闻文章的链接。

在显示辅助信息38之前,隐藏字幕控制器可被进一步配置为,如果控制器40检测到用户的注视20的速度放缓至预定缓慢阅读速度阈值以下或者在隐藏字幕文本16中的词语或短语中的词语上暂停了至少预定停留时间,则改变隐藏字幕文本16中的词语或短语的尺寸或字体中的至少一项。图2描绘了如下实施例,其中用户的注视20停留在字幕词语46上,并且因此词语在尺寸上增加并且变成了斜体。可选地,隐藏字幕控制器14可被配置为通过各种手段(例如,加下划线,粗体等)来区分隐藏字幕文本16中的词语或短语并且不限于图2所示的特定类型的风格。

继续图2,隐藏字幕控制器14可被进一步配置为监控用户40与显示设备12之间的距离D并且如果距离D增加则增大隐藏字幕文本16的尺寸并且如果距离减小则减小隐藏字幕文本16的尺寸。除了跟踪用户的眼睛位置之外,隐藏字幕控制器14还可以被配置为监控用户40关于显示设备12的位置并且确定用户40与显示设备12之间的距离D。当存在距离D的变化时,隐藏字幕控制器14可被配置为调节隐藏字幕文本16的尺寸。例如,如图1F所示,如果用户40移动得更靠近显示设备12,则隐藏字幕控制器14可被配置为减小隐藏字幕文本16的尺寸。同样,如图1G所示,如果用户移动得更远离显示设备12,则隐藏字幕控制器14可被配置为放大隐藏字幕文本16的尺寸。

现在转到图3A,隐藏字幕控制器14进一步配置为在预定隐藏字幕显示区域24内定义多个相邻子区域,所述多个相邻子区域包括在先字幕子区域42以及当前字幕子区域44。隐藏字幕控制器14被配置为将隐藏字幕文本16的当前字幕显示在当前字幕子区域44内。在检测到在先字幕子区域42内的用户的注视时,控制器14被配置为将隐藏字幕文本的先前字幕显示在在先字幕子区域42中并且对当前字幕区域44内的当前字幕解除强调。在检测到当前字幕子区域44内的用户的注视20时,隐藏字幕控制器14被配置为对在先字幕子区域内的在先字幕解除强调并且重新强调当前字幕子区域内的当前字幕。上述用于解除强调和重新强调的技术同样可用于该上下文。

图3A描绘了包括在先字幕子区域42的预定的隐藏字幕显示区域24,该在先字幕子区域42位于水平地邻近位于屏幕中央的当前字幕子区域44并且位于当前字幕子区域44的左手侧。对于从左向右读的语言,在先字幕子区域可以位于当前字幕子区域的左手侧,而对于从右向左读的语言,在先字幕子区域位于当前字幕子区域的右手侧。诸如彼此垂直相邻的子区域的其它配置也是可能的。图3A进一步描绘了人物28讲了一行对话。隐藏字幕控制器14可被配置为,当用户的注视20指向当前字幕子区域44时,将对话的当前行显示为当前字幕子区域44中的当前字幕。图3B描绘了人物28讲对话的后续一行。隐藏字幕控制器14可被配置为,当用户的注视20位于在先字幕子区域42中时,将对话的先前一行显示为先前字幕,如图3B所示。隐藏字幕控制器14可被进一步配置为,当用户的注视20位于当前字幕子区域44中时,将对话的当前行显示为当前字幕,如图3C所示。该特征增强了快速捕获错过的对话的用户能力。例如,用户40可以通过注视在先字幕子区域42来查看错过的对话的整行,然后通过注视当前字幕子区域44来查看当前字幕。图3A-3C描绘了分别将在先字幕和当前字幕显示在在先字幕子区域42和当前字幕子区域44内。然而,实际上,字幕可以显示在显示设备12上的任何适合的位置处。

现在转到图4A,隐藏字幕控制器14可进一步配置为检测显示设备12上显示有人物的区域上的用户的注视20,并且作为响应,显示与人物28所讲的词语相对应的隐藏字幕文本16。图4A描绘了系统10的实施例,其中隐藏字幕控制器14被配置为监控显示设备12上显示的每个人物周围的区域。如图4B所示,隐藏字幕控制器14可进一步被配置为使得,当用户的注视20位于人物28上时,与该人物对话相对应的隐藏字幕文本16显示在预定的隐藏字幕显示区域24中。该特征可以增强用户观看其非本族语的媒体项目的观看体验。例如,人物28的口音、方言或讲话风格可以使得人物的对话对于非本族语讲话者尤其难以理解。在该情况下,如果人物的对话显示在预定隐藏字幕显示区域24中,则对于用户40而言将是有益的。隐藏字幕控制器14可被进一步配置为,当用户的注视20从人物28移到预定隐藏字幕显示区域24时,显示人物28的对话。因此,例如,如果用户40正在观看电视节目并且错过了来自人物28的对话,则用户40可以从人物28看到预定的隐藏字幕显示区域24并且观看错过的对话。

如图4C所示,隐藏字幕控制器14可被进一步配置为,当用户40从人物28看到另一预定区域(诸如,显示设备12下方的位置48)时,显示隐藏字幕文本16。替代地,如图4D所示,隐藏字幕控制器14可被进一步配置为检测在显示设备上显示的人物下方的区域上的用户的注视以及如果在不到预定时间段内用户的注视20从显示设备上显示有人物28的区域移到人物28下方的区域50,则显示与人物28所讲的词语相对应的隐藏字幕文本16。隐藏字幕控制器14可被配置为使得预定时间段足够短以确保用户40正在执行快速“下扫”式的姿势类型,而不仅仅看显示设备12上的不同对象或人物。接着转到图5,描绘了用于控制隐藏字幕的方法500的流程图。下文所描述的方法可以实现于系统10的硬件上,如上文参考图1-4所描述的,或者实现在任何适合的硬件上。将意识到,可以在其上执行本文所描述的方法的适合的硬件包括视频游戏控制台、智能电视、膝上型和桌面型个人计算机、智能电话、平板计算设备、头戴式显示器等。

参考图5A,在502处,方法500可以包括:在显示设备上的预定隐藏字幕显示区域内显示回放期间媒体项目的隐藏字幕文本。在504处,方法500可以包括:检测用户的注视相对于显示设备的位置。在506处,方法500可以包括识别用户的注视的预定注视模式。

在508处,方法500可以包括:在检测到预定注视模式时,部分地或者完全地对隐藏字幕文本的显示解除强调。

如510处所示,在506处识别预定注视模式可以包括:判定用户的注视的位置是否在显示有隐藏字幕文本的显示设备上的预定隐藏字幕显示区域内。此外,如512处所示,在508处部分地或完全地对隐藏字幕文本的显示解除强调可以包括:如果用户的注视不在预定隐藏字幕显示区域内比预定时间段更长,则对隐藏字幕文本在预定隐藏字幕显示区域内的显示解除强调。

在514处,方法500可以包括:如果用户的注视在预定隐藏字幕显示区域内比预定时间段更长,则重新强调隐藏字幕文本在预定隐藏字幕显示区域内的显示。

接着转到图5B,方法500可以包括:在516处,基于包括用户的注视的方向和变化速度的信息来检测用户的眼睛注视沿阅读方向以阅读速度范围内的过滤速度在预定隐藏字幕显示区域内行进。

在518处,方法500可以包括:如果用户的注视在预定隐藏字幕显示区域内但是用户的注视的过滤速度被检测为在阅读速度范围之外,则通过减小隐藏字幕文本在预定隐藏字幕显示区域内的不透明度,来对隐藏字幕文本解除强调。

在520处,方法500可以包括在预定隐藏字幕显示区域内用户的注视的速度以及如果控制器检测到用户的注视的速度放缓至预定缓慢阅读速度阈值以下或者在隐藏字幕文本中的词语或短语中的词语上暂停了至少预定停留时间,则显示有关隐藏字幕文本的词语或短语的信息。

在522处,方法500可以包括:在显示辅助信息之前,如果控制器检测到用户的注视的速度放缓至预定缓慢阅读速度阈值以下或者在隐藏字幕文本中的词语或短语中的词语上暂停了至少预定停留时间,则改变隐藏字幕文本中的词语或短语的尺寸或字体中的至少一项。

在524处,方法500可以包括:监控用户与显示设备之间的距离,并且如果距离增大则增大隐藏字幕文本的尺寸,并且如果距离减小则减小隐藏字幕文本的尺寸。

参考图5C,方法500可进一步包括:在526处,在预定隐藏字幕显示区域内定义包括在先字幕子区域和当前字幕子区域的多个相邻子区域。在528处,方法500可以包括:在当前字幕子区域内显示隐藏字幕文本的当前字幕。在530处,方法500可以包括:在在先字幕子区域内检测到用户的注视时,在先前字幕区域内显示隐藏字幕文本的先前字幕,以及对当前字幕区域内的当前字幕解除强调。在532处,该方法可以包括:在检测到当前字幕子区域内的用户的注视时,对在先字幕区域内的在先字幕解除强调,以及重新强调当前字幕区域内的当前字幕。用于解除强调和重新强调的技术可类似于上文所述的那些。如上所述,对于从左向右读的语言,在先字幕子区域可以位于当前字幕子区域的左手侧,并且对于从右向左读的语言,在先字幕子区域可以在当前字幕子区域的右手侧。在一些实施例中,子区域可以水平地相邻。其它配置也是可能的,诸如被相邻地布置在彼此的顶部或者底部。

在534处,方法500可以包括:检测在显示器上显示有人物的区域上的用户的注视。在536处,方法500可以包括:作为响应,显示与人物所讲的词语相对应的隐藏字幕文本。

将意识到,方法500是通过示例的方式提供的,而不意在限制。因此,应当理解,方法500可以包括除了图5A,图5B和图5C中所示的那些之外的额外的和/或替选的步骤。此外,应当理解的是,方法500可以按任何适合的次序来执行。此外,应当理解,一个或多个步骤可从方法500中省去,而不背离本公开的范围。

在一些实施例中,本文所描述的方法和过程可以与一个或多个计算设备的计算系统关联。特别地,这些方法和过程可实现为计算机应用程序或服务、应用编程接口(API)、库、和/或其它计算机程序产品。

图6示意性地示出了能够指定上述的方法和过程中的一个或多个以及因此起到上述系统10的作用的计算系统600的非限制性的实施例。以简化形式显示出计算系统600。计算系统600可以呈现为一个或多个硬件组件的形式,诸如智能电视、数字视频记录仪(DVR)、数字视频盘(DVD)或播放器、流式媒体设备、电缆电视转换单元、游戏设备、个人计算机、服务器、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备(例如,智能电话)和/或其它计算设备。

计算系统600包括逻辑机602以及被配置为存储逻辑机602执行的指令的存储机604。计算系统600还可以包括显示子系统606、输入子系统608和通信子系统610。

逻辑机602包括被配置为执行指令的一个或多个物理设备。例如,逻辑机可被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的指令。这些指令可以被实现以执行任务、实现数据类型、变换一个或多个组件的状态、实现技术效果,或以其它方式达到期望的结果。

逻辑机可以包括被配置为执行软件指令的一个或多个处理器。另外地或者可选地,逻辑机可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核,并且在其上执行的指令可被配置为用于顺序的、并行的和/或分布式的处理。逻辑机的单个组件任选地可以分布在两个以上的分离的设备当中,这些分离的设备可以远程地定位和/或被配置为用于协作处理。逻辑机的各方面可以通过以云计算配置来配置的远程可访问的、网络计算设备来虚拟化和执行。

存储机604包括被配置为保存能够由逻辑机执行以实现本文所描述的方法和过程的指令的一个或多个物理设备。当这样的方法和过程被实现时,存储机604的状态可以变换,例如,用于保存不同的数据。

存储机604可以包括可移除的和/或内置的设备。存储机604可包括光学存储器(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如,RAM、EPROM、EEPROM等),和/或磁存储器(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)以及其它。存储机604可以包括易失性的、非易失性的、动态的、静态的、读/写、只读、随机存取的、顺序访问的、位置可寻址的、文件可寻址的、和/或内容可寻址的设备。

与包括在有限持续时间内保存指令的一个或多个物理设备的存储机604相比,本文所描述的指令的各方面可以替选地由在有限持续时间内未被物理设备保存的通信介质(例如,电磁信号、光信号等)来传播。

逻辑机602和存储机604的各方面可以一起集成到一个或多个硬件逻辑组件中。该硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和应用特定集成电路(PASIC/ASI)、程序和应用特定标准产品(PSSP/ASSP)、片上系统(SOC)、以及复杂可编程逻辑器件(CPLD)。

术语“模块”和“程序”可用于描述被实现为执行特定功能的计算系统600的方面。在一些情况下,模块或程序可以经由逻辑机602执行由存储机604保存的指令来例示。将理解的是,不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等来例示。同样,相同的模块、程序和/或引擎可通过不同的应用、服务、代码块、对象、例程、API、函数等来例示。术语“模块”、“程序”和“引擎”可以涵盖个体可执行文件、数据文件、库、驱动器、脚本、数据库记录等或者一组可执行文件、数据文件、库、驱动器、脚本、数据库记录等。

显示子系统606可用于呈现存储机604所保存的数据的可视表示。该可视表示可以呈现为图形用户接口(GUI)的形式。随着本文所描述的方法和过程改变存储机所保存的数据,并且因此变换了存储机的状态,显示子系统606的状态同样可以变换以便可视地表示底层数据的变化。显示子系统606可以包括使用实际上任何类型的技术的一个或多个显示设备。该显示设备可与逻辑机602和/或存储机604组合于共享外壳内,或者此类显示设备可以是外围显示设备。

输入子系统608可以包括一个或多个用户输入设备或者与一个或多个用户输入设备连接,所述一个或多个用户输入设备诸如眼睛跟踪设备612和深度照相机614,以及键盘、鼠标、触摸屏或游戏控制器。眼睛跟踪设备612可被配置为将红外(或其它)光照射到用户身上并且测量角膜反射并且还对每个眼睛的瞳孔进行成像以确认其相对位置,并且基于角膜反射和瞳孔图像来计算用户的估计注视。其它适合的眼睛跟踪技术也可用于检测每个用户的注视。深度照相机614还可以将红外(或其它)光投影到用户处并且使用结构化的光或时间飞行感测技术来确定距用户的距离,以及距深度照相机的视场内的其它对象的距离。眼睛跟踪设备612和深度照相机614可集成到诸如上述的眼睛跟踪设备18的单独的设备的壳体内,或者可以被形成为与计算系统600的其余组件进行集成。输入子系统可以包括选定的自然用户输入(NUI)组件或者与其进行连接,其中眼睛跟踪设备612和深度照相机614是两个示例。这些组件可以是集成的或在外围,并且输入动作的传感和/或处理可以在板上或离板处理。示例NUI组件可以包括:用于语言和/或语音识别的麦克风;用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度照相机614;用于运动检测和/或意图识别的头跟踪器、眼睛跟踪器、加速度计和/或陀螺仪;以及用于评估脑活动的电场感应组件。眼睛跟踪设备612和深度照相机614可以例如与计算系统600的其余组件一起容纳在单个壳体内,或者可以单独地形成,如图1A-1G所示。此外,在一些实施例中,头戴式显示单元可被提供作为输入子系统608的部分以便用户佩戴。头戴式显示单元可具有被配备用于对显示子系统606进行成像的照相机,和用于确定头部方位的内部加速度计和陀螺仪、以及用于确定自显示子系统606发出的声音的方向的麦克风阵列,并且这些输入可以另外地或者替选地被依赖以确定在佩戴头戴式显示单元的每个用户的显示子系统606上的注视。

在图示的实施例中,显示隐藏字幕程序控制器614和媒体播放器618被示出为存储在存储机604内。这些软件程序能够由逻辑机602来执行。当被执行时,媒体播放器被配置为将媒体项目23显示在显示子系统606上,并且隐藏字幕控制器程序616被配置为接收来自眼睛跟踪设备612的眼睛跟踪数据以及来自深度照相机614的深度照相机数据,充当控制器14并且以上文所述的各种方式将隐藏字幕文本显示在显示子系统606上。

当被包含时,通信子系统610可被配置为将计算系统600与一个或多个其它计算设备通信耦合。通信子系统610可以包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制示例,通信子系统可被配置为用于经由无线电话网或者有线或无线局域网或广域网来通信。在一些实施例中,通信子系统可以允许计算系统600经由诸如因特网的网络将消息发送到其它设备和/或接收来自其它设备的消息。

在图示的实施例中,隐藏字幕程序612和媒体播放器614被示出为存储在存储机604内。这些软件程序可以由逻辑机602来执行。当被执行时,媒体播放器被配置为将媒体项目23显示在显示子系统606上。隐藏字幕程序616被配置为。

将理解的是,本文所描述的配置和/或方法本质上是示范性的,并且这些具体的实施例或示例不在限制的意义上考量,因为多个变型例是可能的。本文所述的具体的例程或方法可以代表任意数量的处理策略中的一个或多个。因此,所图示和/或描述的各个动作可以按照图示和/或描述的顺序、按其它顺序、并行地执行,或者省去。同样,上述过程的次序可以改变。

本公开的主题包括本文公开的各个过程、系统和配置以及其它特征、功能、行为和/或性质的全部新颖性和非显而易见的组合和子组合,及其任何以及全部的等同内容。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号