提供与视频播放内容相关信息的系统和方法

摘要

本发明公开了提供与视频播放内容相关信息的系统和方法，该系统包括服务器端和客户端，其中所述服务器端用于监控视频播放内容，生成与所述视频的播放内容相关信息并推送至所述客户端；所述客户端用于接收并显示所述播放内容相关信息。本发明的系统与方法可以在用户收看电视和视频节目的同时，自动地为用户推送与当前收看内容直接相关的更为丰富的内容，由此，可大大提高用户的收视体验。

说明书

技术领域

本发明涉及视频播放器领域，尤其涉及提供与视频播放内容相关信息 的系统和方法。

背景技术

当前，收看电视节目和视频内容（包括网络视频和本地视频）都是深 受人们喜爱的休闲娱乐和获取信息的方式。与网络浏览等方式相比，收看 电视和视频内容是一种被动式、弱交互的获取内容的方式，即用户只需极 少的交互操作即可收看精心准备的丰富内容。这种方式的优点在于收看时 相对舒适，具有较好的用户体验。缺点在于，用户只能被动地收看准备好 的内容，无法实时获得多方面、个性化的信息。例如：当用户收看影视剧 时，可能会希望了解关于该剧的更多扩展信息，如演职人员信息、影视剧 情节、其他用户的评价等；当用户收看新闻或实事节目时，可能会希望了 解事件的更多背景信息；当用户收看广告时，如果对广告的商品感兴趣， 可能会希望了解商品的具体信息，如价格、购买方式、消费者评价等。特 别地，这种个性化的需求还很有可能是交互式的，例如，当用户看到某个 人物、物品时，可能会希望在指定对应的某一块图像后，能够及时知道该 部分图像中人物的姓名或物品的名称，以及相关的信息。

显然，对于上述信息，传统电视机和视频播放器（包括硬件的播放器 和播放软件）都无法及时地提供。为获取这些信息，用户只能上网搜索。 例如，对于运行在计算机、平板电脑、手机等上的电视或视频播放器，用 户可在电视直播的同时打开设备上的网页浏览器搜索；对于电视机，当前 的一些智能电视系统，如Google TV系统在电视系统内置浏览器，用户也 可以在收看的同时在电视机上打开网页搜索或浏览。但上网搜索不仅操作 繁琐，而且会打断用户继续收看电视或视频内容，因此将严重影响用户的 收视体验。而且，对于上述交互式的个性化信息获取（如选定人脸或物品 进行识别），还需要获取当前正在播放的内容，仅靠网络搜索或浏览很难 实现。

发明内容

针对上述现有技术中无法很好地满足用户在收看电视和/或视频时获 取与收看内容相关的多方面、个性化信息需求的问题，本发明提供了一种 提供与视频播放内容相关信息的系统和方法。

根据本发明一个方面，提供了一种提供与视频播放内容相关信息的系 统，该系统包括服务器端和客户端，其中

所述服务器端用于预先获取并存储与电视和/或视频相关信息，监控当 前的视频播放内容，生成与所述视频播放内容相关信息并推送至所述客户 端；

所述客户端用于接收并显示与所述视频播放内容相关信息。

上述系统中，所述服务器端可包括：

视频相关信息获取模块，用于获取与电视和/或视频相关信息；

播放内容监控和分析模块，用于实时监控电视和/或视频流中的内容；

同步内容生成模块，用于基于所述与电视和/或视频相关信息、所述播 放内容监控和分析模块实时监控的内容和/或来自客户端的用户交互指令 来生成与视频播放内容相关信息；

同步内容推送模块，用于将与视频播放内容相关信息推送至客户端。

上述系统中，所述与电视和/或视频相关信息可包括：节目时刻表信息、 视频信息和/或广告信息，所述节目时刻表信息包括日期、时刻、频道、播 放节目；所述视频信息包括视频URL地址、文件名、视频名称；所述广 告信息包括广告商品、广告频道、广告视频片段。

上述系统中，所述播放内容监控和分析模块用于监控所述节目时刻表 信息中节目、所述视频信息中的视频、所述广告信息中的广告视频片段的 出现，报告其开始时间和结束时间；以及实时监控当前播放的视频内容中 的变化，并报告其中的内容。

上述系统中，所述服务器端还可包括同步内容预先准备模块，用于根 据所获取的与电视和/或视频相关信息来预先准备与视频播放内容相关信 息，所述与视频播放内容相关信息包括关于电视节目或视频内容的更详细 信息和/或关于广告商品的更多相关信息，所述与视频播放内容相关信息的 载体形式为可供网络传输和客户端所在的设备显示的内容形式。

上述系统中，所述同步内容生成模块可以用于基于与电视和/或视频相 关信息生成与视频播放内容相关信息；以及基于所述播放内容监控和分析 模块实时监控的内容和/或来自客户端的用户交互指令生成与视频播放内 容相关信息。

上述系统中，所述服务器端还可包括同步推送时机确定模块，用于确 定何时向客户端推送与当前的视频播放内容相关的信息。

根据本发明另一方面，提供了一种提供与视频播放内容相关信息的方 法，该方法包括：

1）预先获取并存储与电视和/或视频相关信息；

2）监控当前的视频播放内容，生成与所述视频播放内容相关信息；

3）显示与所述视频播放内容相关信息。

上述方法中，所述步骤2）可包括：

步骤21）实时监控电视和/或视频流中的内容；

步骤22）基于所述与电视和/或视频相关信息、所述实时监控的内容 和/或来自客户端的用户交互指令来生成与视频播放内容相关信息；

步骤23）将与视频播放内容相关信息推送至客户端。

上述方法中，所述步骤2）还可包括根据所获取的与电视和/或视频相 关信息来预先准备与视频播放内容相关信息，所述与视频播放内容相关信 息包括关于电视节目或视频内容的更详细信息和/或关于广告商品的更多 相关信息。

上述方法中，所述步骤2）还可包括确定何时向客户端推送与当前的 视频播放内容相关的信息。

上述方法中，所述步骤21）可包括：

监控所述节目时刻表信息中节目、所述视频信息中的视频、所述广告 信息中的广告视频片段的出现，报告其开始时间和结束时间；

实时监控当前播放的视频内容中的变化，并报告其中的内容。

上述方法中，所述步骤22）包括：

基于与电视和/或视频相关信息生成与视频播放内容相关信息；

基于所述播放内容监控和分析模块实时监控的内容和/或来自客户端 的用户交互指令生成与视频播放内容相关信息。

在本发明的实施例中，可以在客户端用户收看电视和视频节目的同 时，自动地为用户推送与当前收看内容直接相关的更为丰富的内容，由此， 可大大提高用户的收视体验，丰富人民文化生活，提高生活质量。

附图说明

图1是根据本发明优选实施例的提供与视频播放内容相关信息的系统 的框图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图 通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了根据本发明实施例的提供与视频播放内容相关信息的系统 的框图。为了叙述简单，在本文中与视频播放内容相关信息有时也可被称 为同步内容。如图1所示，该系统采用基于服务器-客户端架构，包括服务 器端和客户端。其中，服务器和客户端之间通过网络（例如，互联网）连 接。服务器端用于监控各已知电视频道和视频直播网站频道的视频流内 容，生成同步内容及推送同步内容至客户端。客户端接收并显示与在客户 端当前播放的视频内容相关信息（即自服务器接收的同步内容）。

更具体地，服务器端可以包括数据库存储模块、视频相关信息获取模 块、同步内容预先准备模块、同步内容生成模块、同步内容选择模块、推 送时机确定模块、同步内容推送模块、播放内容监控和分析模块等。客户 端主要包括用户交互指令接收和传输模块和同步内容显示模块，可以响应 用户交互指令，接收同步内容及显示同步内容。

在一些实施例中，客户端可以是能够实现上述客户端功能的智能电视 机、机顶盒、视频播放器、个人电脑、平板电脑、手机等各种终端设备或 在这些终端设备上执行。服务器端可以是能够实现上述服务器端功能的一 个服务器或者多个服务器组成的服务器组或在一个或多个服务器上执行。 下面将参考图1详细介绍根据本发明实施例的为电视和视频流提供同步内 容的系统。

服务器端的视频相关信息获取模块用于获取与电视节目和/或视频网 站所提供的视频相关的信息（简称为与电视和/或视频相关信息），存入数 据库。例如，在用户收看电视和视频内容之前，可以预先获取与用户有可 能收看的内容相关的信息，并存入数据库。主要可以包括：

（1）可以从相关网站、相关网络服务或数字电视的电子节目菜单 （EPG：Electronic Program Guide）获取各电视频道的节目时刻表，并存 入数据库。在数据库中，一条节目时刻表记录可包括：日期、时刻、频道、 播放节目，及其它相关信息。

对于节目时刻表获取，可采用的方法包括但不限于下述方法的一种或 几种的组合：①针对提供节目预告内容的网站，自动抓取网页并分析网页 内容，从而抽取节目预告信息。②接收网站或数字电视的EPG服务，直接 获取固定格式的节目预告信息；例如，可利用现有的数字电视机顶盒中的 EPG接收模块来进行接收。③提供输入模块，以接收用户手工输入和编辑 修改。

（2）从视频内容提供网站获取视频名称及其对应的网络地址（URL： Uniform Resoure Locator，统一资源定位符）等信息，并存入数据库。在数 据库中，一条视频信息记录可包括：视频URL地址，文件名，视频名称， 及其它相关信息。

对于视频名称及URL信息的获取，可采用的方法包括但不限于下述 方法的一种或几种的组合：（i）自动抓取视频内容提供网站的网页，并进 行自动分析，抽取其中的视频名称及网络地址信息；（ii）接收用户手工输 入和编辑修改。

（3）获取各电视频道和视频直播网站近期播放的主要广告的视音频 片段，并标注广告商品（品牌）信息后一并写入数据库。在数据库中，一 条广告信息记录可包括：广告商品（品牌）、广告频道、广告视频片段， 及其它相关信息。

对于获取各电视频道和视频直播网站近期播放的主要广告的视音频 片段，可采用的方法包括但不限于下述方法的一种或几种的组合：（a）自 动分析视音频内容，根据广告在视音频信号中的特点，采用自动分类器将 视频分为正常节目和广告，从而实现广告检测的目标。（b）自动分析视音 频内容，根据广告片段重复出现的特点，通过检测视频节目中重复片段， 并结合适当规则，从而实现广告检测的目标。（c）提供输入模块，以支持 用户对视频节目中的广告进行手工分割。

对于对各电视频道和视频直播网站近期播放的主要广告进行信息标 注并写入数据库，可采用的方法包括但不限于下述方法的一种或几种的组 合：①自动分析广告视音频内容，提取其中的广告商品（品牌）、频道等 信息；例如可采用图像识别技术识别品牌标识（logo）或品牌名对应的文 字。②采用输入模块，以支持用户输入和标注。

服务器端的同步内容预先准备模块用于根据所获取的与电视和/或视 频相关信息来预先准备一部分同步内容。该模块还可以将这些预先获取的 同步内容存入数据库中，并将其与视频相关信息获取模块所获取的各种信 息建立关联，以备提供给观众。例如，根据预先获取的与电视和/或视频相 关信息，可进一步获取或生成更为丰富的内容，并将其预备作为可以向观 众提供的同步内容。可预先准备的同步内容有：

（1）关于电视节目或视频内容的更详细信息，如访谈节目中嘉宾的 详细信息，新闻节目中事件的背景和深度信息，影视剧的演职人员、情节、 观众评论和评价信息，体育节目的运动员介绍、比赛统计数据、精彩事件 评述等；

（2）关于广告商品的更多相关信息，如广告商品的价格信息、折扣 信息，出售的店铺信息，团购、网上购物、电话购物信息，消费者对商品 的评价等。

关于上述内容信息的获取，可采用的方法包括但不限于下述方法的一 种或几种的组合：①根据上述获取的与电视和/或视频相关信息（例如，节 目时刻表记录中的节目名称，视频信息记录中的视频名称，广告信息记录 中的广告商品或品牌名称）构建关键词，在互联网中搜索并抽取网页内容。 ②提供接口和模块，以便由第三方提供与上述获取的各种信息相关的内 容。③提供输入模块，接收人工输入和编辑。

同步内容的载体形式可以是图片、网页、文字等多种可供网络传输和 客户端设备显示的内容形式。

服务器端的播放内容监控和分析模块用于实时监控视频播放内容。例 如，实时监控各电视台和视频网站实时频道中直播的视频流内容，主要包 括：

（1）监控上面提到的在数据库中存储的各节目时刻表中的节目、视 频信息中的视频、广告信息中的广告片段的出现，报告其开始时间和结束 时间；

（2）在某一个电视节目、视频影片、广告播出的过程中，实时监控 其中的内容变化，并报告其中的内容，如语音对应的文本、影视剧中场景 的变化、某个人脸是否出现、体育比赛的进程等。

上述监控可采用的方法包括但不限于下述方法的一种或几种的组合： ①自动分析视音频内容，检测节目和广告的出现，并分析节目中的具体内 容。例如，可采用电视视频采集卡采集有线电视的视频流、采用计算机及 其上的软件进行视音频分析、采用视音频拷贝检测技术识别特定的片段， 如广告或电视剧的片头/片尾、采用人脸识别技术识别视频中的某个特定人 脸；采用说话人识别技术识别视频中的某个特定人的声音。②接收电视台、 广电运营商或其他第三方提供的数据服务，获取各频道实时内容。③接收 人工输入和编辑修改。

服务器端的推送时机确定模块用于确定提供与视频播放内容相关信 息（即同步内容）的时机，也就是确定何时向客户端推送与客户端当前播 放的视频内容相关的信息。根据预先设定的规则、实时监控得到的信息和 /或客户端接收用户指令的信息来确定某一时刻是否是提供同步内容的时 机。例如，可以设定在实时监控到每个节目和/或广告开始时向客户端推送 与该节目和/或广告相关的信息，或者可以当收到来自客户端的用户交互指 令时向客户端进行推送。又例如，可以设定在某电视剧开始时推送某种信 息，而其他电视剧暂不推送信息。又例如，也可以设定不只是在节目开始 时进行推送，而可以是节目中间时推送，如《非诚勿扰》中女嘉宾开始灭 灯选择时推送竞猜信息。本领域普通技术人员可以理解，根据实际情况， 替代地，该推送时机确定模块也可位于客户端，例如当用户希望接收与当 前观看的视频播放内容相关信息时，由用户向服务器端发出要求进行推送 的指令。

服务器端的同步内容生成模块用于生成同步内容，也就是生成与客户 端当前播放的视频内容相关的信息。当确定提供同步内容的时机后，在服 务端生成同步内容，主要方法包括但不限于下述方法的一种或几种的组 合：①选择数据库中存储的预先准备的同步内容。②根据当前实时内容和 用户交互指令，生成新的同步内容，生成方法与上文所述的预先准备同步 内容的方法类似。③根据当前实时内容和用户交互指令，自动修改预先准 备的同步内容。例如，根据节目内容的实际情况或用户的特定需求，对预 先准备的同步内容进行内容的删减或重新组合；根据客户端需求调整预先 准备内容的格式，如图片尺寸、文字大小等。例如，如果用户终端的屏幕 较小，则需要将预先准备的内容截掉部分以适应屏幕，或者整体缩小以适 应屏幕。④提供输入模块，根据当前实时内容和用户交互指令，接收人工 对预先准备的同步内容进行修改和编辑。例如，根据节目内容的实际情况 或用户的特定需求，对预先准备的同步内容进行内容的删减或重新组合； 根据客户端需求调整预先准备内容的格式，如图片尺寸、文字大小等。例 如，如果用户终端的屏幕较小，则需要将预先准备的内容截掉部分以适应 屏幕，或者整体缩小以适应屏幕。如何截取，如何缩放可以由人来决定， 效果比系统根据预设的规则自动完成更好。其中，同步内容的载体形式可 以是图片、网页、文字等多种可供网络传输和客户端终端显示的内容形式。

服务器端的同步内容选择模块用于选择同步内容。在某一提供同步内 容的时机，如果存在多个与该时机关联的同步内容，则需要进行同步内容 的选择。选择方法包括但不限于下述方法的一种或几种的组合：①采用个 性化推荐方法，选择客户端用户最可能感兴趣的内容。个性化推荐可采取 当前已有的各种方法，如基于内容的推荐、协同过滤等。②按照预先设定 的优先级规则选择优先级最高的内容。例如，可以为对于广告商品对应的 同步内容预设优先级，依次为：价格信息、消费者评价、购买方式。如果 某一商品同时存在上述几方面的同步内容，则优先选择价格信息相关的同 步内容推送至客户端。③提供输入模块，接收人工选择和修改指令。

服务器端的同步内容推送模块用于将同步内容推送至客户端。例如， 服务器端可以通过网络传输将同步内容推送至客户端。优选地，服务器端 的同步内容推送模块还用于将上文提到的实时监控的信息通过网络传输 至客户端。本领域普通技术人员可以理解，可以根据实际情况选择保留或 省略该功能。该实时监控的信息可以触发动作。例如，如果设定某一节目 一旦开始就播放，则如果客户端接收到关于该节目开始的监控信息，则就 马上跳转频道，自动播放该节目。

客户端的用户交互指令接收和传输模块用于接收用户交互指令和/或 传输至服务器端，以由服务器端或客户端执行。用户交互指令包括：收看 某电视频道，打开某视频文件，打开某网络视频链接等；以及指定视频中 的当前图像，指定图像中的某块区域，及其他对本系统的操作性指令等。

客户端的同步内容显示模块用于显示同步内容。客户端接收同步内容 后，调用该客户端所在的终端设备原有显示功能，显示同步内容。具体的 显示方式可由客户端的同步显示模块确定，可在终端设备支持的显示功能 的基础上进行显示，这取决于所在的终端。例如，对于不支持电视内容缩 放的电视机，可以将同步内容转成图像后叠加至电视/视频图像的下方；对 于支持电视内容缩放的电视机，可以将电视内容缩小，并调整至屏幕左上 方，将空余出来的右侧和底侧边栏用于显示同步内容；对于将手机、平板 电脑等终端作为客户端的情形，可以直接在设备的整个屏幕上显示同步内 容。

下面以通过智能电视系统收看电视节目为例，详细描述根据本发明的 一个具体实施例的提供与视频播放内容相关信息的方法的流程。

1.服务器端预备。

步骤1－1：在服务器端预先获取与电视相关的信息，存入数据库。针 对本实施例，包括：

（1）获取各电视频道的节目时刻表，并存入数据库。通过软件模块 自动抓取某电视预报网站网页，并对网页进行分析，抽取其内容，并通过 输入模块结合适当人工编辑，将相关信息存入数据库。获取内容为未来一 周内所有指定电视频道的节目时间表，数据库中节目时刻表记录包括：日 期、时刻、频道、播放节目；

（2）获取所有指定电视频道近期播放的主要广告的视音频片段，并 标注相关信息后一并写入数据库。在本实施例中，采用的方法为：基于已 公开的专利申请“从音视频中检测广告的方法及系统”（申请号： 200910087428.3），通过检测过去一定时间段内所有视频数据中的重复片段 来检测广告，该专利申请通过引用全部包含于此。通过软件模块，将检测 到的重复片段提交给人工验证和标注，然后将信息写入数据库。数据库中 广告信息记录应包括：广告商品（品牌）、广告频道、广告视频片段（存 储文件名）。

步骤1－2：在服务器端预先准备同步内容，存入数据库，并与步骤 1-1中获取的与电视相关的各种信息建立关联。在本实施例中，采取的方 法为：（1）对于数据库中记录的每个电视节目，以其名称为关键词，在互 联网搜索，抓取搜索结果网页，并抽取其中的内容；提供输入模块供人工 对内容进行选择和编辑，形成预备的同步内容，其形式为HTML网页，一 个电视节目可对应多个网页；（2）对于数据库中的每一条广告，提供输入 模块供人工编辑广告对应的同步内容，其形式为HTML网页，一条广告可 对应多个网页。

2.服务器端实时监控所有频道电视内容。

在本实施例中，服务器端采用服务器组实时监控所有电视频道的视频 流，并主要监控数据库中各节目和广告的出现。例如，可以采用中国专利 申请“一种广告检测识别方法及系统”（专利号：ZL200810057162.3）中 的方法自动检测和识别广告，并将广告结束作为节目的开始，结合节目时 刻表可得到开始节目的名称，该专利申请通过引用全部包含于此。系统也 提供输入模块供用户对自动识别结果进行修正。

3.服务器端向客户端提供同步内容。

步骤3－1：确定提供同步内容的时机。

在一个实施例中，由服务器端确定提供同步内容的时机。例如，根据 预先设定的规则及步骤2中实时得到的视频播放内容监控信息判定某一时 刻是否为提供同步内容的时机。例如，设定在每一个电视节目（或广告） 开始时，开始提供与该节目（广告）对应的内容，若有多个内容同时对应 一个节目（广告），则每隔一段时间（如5秒、10秒等）提供一个内容， 直至全部内容提供完毕、电视节目（广告）结束或客户端不再收看该节目 （广告）。在其他实施例中，也可以基于来自客户端的用户交互指令来确 定提供同步内容的时机。例如，客户端接收用户交互指令并传输至服务器 端。客户端按收和传输的指令例如是：开始收看某频道、结束收看某频道、 选定某帧画面要求人脸识别或选定某个同步内容要求进一步扩展的指令。 当收到来自客户端的交互指令“开始收看某频道”时，开始向其提供与该 频道当前节目相关的信息，例如可提供预先准备的同步内容；当收到客户 端交互指令“选定某帧画面要求人脸识别”时，向其提供人脸识别功能， 推送识别后的内容；当收到客户端交互指令“选定某个同步内容要求进一 步扩展”时，向其提供扩展的内容，也就是指对同步内容的进一步扩展。 例如，同步内容是一个HTML网页，其上可以有链接，如果选择进入该链 接，则会扩展出新的内容。一个具体的例子是：对于一件广告商品，同步 内容可以是销售商，如商场。商场可能有几个，当用户选择其中一个后， 会显示该商场的更详细信息，可以将这种由同步内容扩展和延伸出的内容 称为扩展内容。当然应理解，扩展内容也是向用户提供的同步内容的一种。

步骤3－2：服务器端生成同步内容。

当确定提供同步内容的时机后，在服务端生成同步内容。对于与用户 交互指令无关的内容，直接采用预先准备的同步内容；对于响应用户交互 指令的内容，调用相关功能模块，实时生成新的内容。例如，对于“选定 某帧画面要求人脸识别”指令，提供人脸识别模块，并根据该模块的结果， 即人脸的身份信息，采取类似于预先准备同步内容的方法，生成新的内容。 对于“选定某个同步内容要求进一步扩展”指令，可采用预先准备的扩展 内容，其准备在预先准备同步内容步骤完成。

步骤3－3：服务器端选择同步内容。

在某一提供同步内容的时机，如果存在多个与该时机关联的同步内 容，则需要进行同步内容的选择。选择的方法例如按照预先设定的优先级 顺序选择内容，或者采用个性化推荐方法，选择客户端用户最可能感兴趣 的内容，或者根据用户的交互指令来进行选择。

步骤3－4：服务器将同步内容推送至客户端。例如，服务器端可以通 过网络传输将同步内容推送至客户端。

步骤3－5：在客户端显示同步内容。

客户端接收同步内容后，可以调用该客户端所在的终端设备原有显示 功能，显示内步内容。在本实施例中，智能电视终端接收后，将电视视频 播放画面收缩至较小区域，并开始在其余屏幕空白区域显示同步内容。

根据本发明的上述实施例提供的系统和方法，可以为视频提供与播放 内容相关且同步的信息。当用户收看影视剧时，可以看到关于该剧的更多 扩展信息，如演职人员信息、影视剧情节、其他用户的评价等；当用户收 看新闻或实事节目时，可以看到事件的更多背景信息；当用户收看广告时， 如果对广告的商品感兴趣，可以看到商品的具体信息，如价格、购买方式、 消费者评价等。特别地，这种同步内容的提供还可以是交互式的，例如， 当用户看到某个人物、物品时，可以指定对应的某一块图像，系统将会显 示该部分图像中人物的姓名或物品的名称，以及相关的信息。从而，大大 提高用户的收视体验，丰富人民文化生活，提高收视质量。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神 和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因 此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。