首页> 中国专利> 使用元数据流来发现点对点内容

使用元数据流来发现点对点内容

摘要

使用元数据流来发现点对点内容包括:对多个设备中的每一个设备来说,捕获内容以及描述了内容上下文的元数据流。在各个设备捕获内容的同时,所述元数据流被发送至元数据储存库。经由元数据储存库来启用流传输元数据的网络查询,以及响应于该网络查询,帮助来自一个或多个设备的内容的点对点访问。

著录项

  • 公开/公告号CN101809972A

    专利类型发明专利

  • 公开/公告日2010-08-18

    原文格式PDF

  • 申请/专利权人 诺基亚公司;

    申请/专利号CN200880108342.8

  • 申请日2008-08-27

  • 分类号H04L29/08(20060101);

  • 代理机构11256 北京市金杜律师事务所;

  • 代理人吴立明;罗世娜

  • 地址 芬兰埃斯波

  • 入库时间 2023-12-18 00:39:50

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-09-01

    未缴年费专利权终止 IPC(主分类):H04L29/08 专利号:ZL2008801083428 申请日:20080827 授权公告日:20140709

    专利权的终止

  • 2019-06-04

    专利权的转移 IPC(主分类):H04L29/08 登记生效日:20190515 变更前: 变更后: 申请日:20080827

    专利申请权、专利权的转移

  • 2016-02-10

    专利权的转移 IPC(主分类):H04L29/08 登记生效日:20160119 变更前: 变更后: 申请日:20080827

    专利申请权、专利权的转移

  • 2014-07-09

    授权

    授权

  • 2010-10-06

    实质审查的生效 IPC(主分类):H04L29/08 申请日:20080827

    实质审查的生效

  • 2010-08-18

    公开

    公开

查看全部

说明书

技术领域

本发明一般涉及经由网络访问移动设备内容,并且尤其涉及使用元数据流来发现点对点内容。

背景技术

诸如YouTube之类的因特网站点已经发现了一种可供内容创建者与新的查看者取得联系的方式。同样,这些社会网络能使查看者易于访问先前难以访问的、或者依靠传统媒体渠道分发的繁多内容。YouTube社区成员从众多的资源捕获视频内容,并且将视频连同内容描述/类别一起上传至YouTube服务器,该视频则被转换成通用格式。该内容可以通过搜索引擎来发现,并且可以链接至其他内容。用户自己决定张贴的内容以及查看的内容,而YouTube进行的干预通常只是移除令人不快或是受版权保护的材料。除此之外,在YouTube这类社会网站上看到的内容是由参与者创建和选择的。

随着能够产生多媒体、尤其是视频的移动设备的增多,用户创建的视频内容数量很有可能暴增。移动终端已经提供了由普通用户拍摄的重要以及有用的新闻事件镜头。例如,在2004年的印度洋海啸和2005年的伦敦恐怖分子爆炸事件中,移动相机提供了由卷入事件的普通群众拍到的事件图像。这些图像是在事件发生时拍到的,并且快速经由因特网而可查看。

此类引人注目的事件昭显了手机相机的无处不在以及如何将其用于新闻收集的方式。即便没有发生有报道价值的事件,个人也可以使用其移动技术来例行报道看似普通平凡的事件。在很大程度上,只有捕获内容的人才会关注该内容,即使这样,捕获内容的人也会在以后回顾的时候把这些内容看作是可以丢弃的。然而对于身处某些环境的某些人来说,即便是普通街景的画面或视频也有可能具有价值。

典型的内容共享情况包括:用户创建图像,将其上传至站点,并且将一些描述附在该图像上。但是,对于移动设备用户来说,该动作序列可能会难以管理。使用现有的内容共享样式,那么用户需要等到回家、访问了媒体并在发现媒体有趣的情况下才将该媒体经由个人计算机上传至文件共享站点。这种方法是存在缺陷的。例如,某些内容数据因为其即时关联性而非常有用,并且会快速过时。举个例子,如果有人希望“窥视”他们喜爱的酒吧来了解它是否拥挤,那么在大约最近十分钟以内在该酒吧中拍摄的视频或图片将会非常有用,即便图片的质量很差的情况下也是如此。但是,对在前一天在相同酒吧中拍摄的图片来说,无论其制作如何精良,该图片都与这个特定用途没有多少关联性。

在其他状况中,用户甚至有可能不认为内容足够有用,由此干扰上传或共享该内容。例如,音乐会的视频剪辑有可能受到了在视频的大部分时间里阻挡相机视图的障碍物的损害。但是,不为用户所知的是,该视频有可能捕获到了远比音乐会镜头更有价值的不相关事件(例如飞机坠毁的空中烟迹,人群中的名人等等)。任何可能对在某个地点和某个时间发生的事情感兴趣的人都有可能希望知道是否有人就该事件进行了某种记录,即使该记录原本似乎是没有价值的。由此,在移动环境中需要有一种更简单的方法来管理内容流的收集、分类和管理处理的不同方面。

发明内容

为了克服上述现有技术缺陷,以及克服那些能在阅读和理解本说明书中时清楚了解的其他限制,本发明公开了一种使用元数据流来发现点对点内容的系统、设备和方法。根据本发明的一个实施例,一种方法包括:对多个移动设备中的每一个来说,捕获内容以及描述内容上下文的元数据流。在捕获内容的同时,由相应的移动设备将元数据流发送至元数据储存库。关于流传输元数据的网络查询经由元数据储存库启用。响应于所述网络查询,帮助来自一个或多个移动设备的内容的点对点访问。

在更特别的实施例中,经由元数据储存库来启用针对流传输元数据的网络查询包括:将两个或更多元数据流编辑成复合事件,以使两个或多个元数据流中的每一个都包含复合事件的频道。在这种情况下,响应于网络查询,提供描述复合事件的元数据。两个或更多的流是根据元数据流的预定准则经由计算装置而被自动编辑。该预定准则可以包括从两个或更多设备收集的附加元数据,由此,该附加元数据描述测量得到的相应设备捕获的内容的特性。作为替换或补充,该预定准则可以包括元数据流以及与元数据流相关联的内容中的至少一个的流行度。

在将两个或更多元数据流编辑成一个复合事件的方法的特定实施例中,该方法还可以包括经由与设备以及内容的查看者无关的人类导演来帮助选择用于编辑的两个或更多的流。从两个或更多设备收集的附加元数据可以被提供给该人类导演,其中该附加元数据描述设备捕获的相应内容的复合物。在这种情况下,附加元数据可以包括相应内容的低带宽表示。

在将两个或更多元数据流编辑成一个复合事件的方法的特定实施例中,该方法还可以包括:帮助由经由点对点访问查看与复合事件相关联的内容的用户对频道的用户选择。在这个特定实施例的另一个变体中,该方法可以包括帮助用户访问两个或更多元数据流,以及基于对两个或更多元数据流的用户访问来帮助复合事件的用户修改。

在其他那些更特别的实施例中,经由元数据储存库来启用针对流传输元数据的网络查询可以包括启用基于位置、时间以及与元数据相关联的内容的流行度的查询。该方法还可以包括经由元数据储存库来向多个设备中的至少一个发送信号。该信号指示希望捕获特定内容,并且至少一个设备响应于该信号来捕获特定内容。在其他变体中,该方法还可以包括多个设备中的至少一个检测来自邻近设备的数据。在这种情况下,所述至少一个设备将邻近设备的数据作为所述至少一个设备所捕获的元数据流的一部分发送到网络服务。

在本发明的另一个实施例中,一种设备包括:能够连接到网络的网络接口,以及能够收集媒体内容的传感器。处理器与该传感器以及网络接口相耦合,并且存储器与该处理器相耦合。该存储器具有使得处理器执行下列处理的指令:经由传感器来捕获内容,产生描述内容的上下文的元数据流,在捕获内容的同时将元数据流发送到元数据储存库。该指令还使得处理器响应于由所述元数据储存库处理的网络查询来帮助实施始于所述设备的点对点内容访问。

在更特别的实施例中,该设备包括与处理器相耦合的元数据传感器,在这种情况下,该指令还使得处理器根据元数据传感器的读数来产生元数据。在其他变体中,该指令还使得处理器:根据所产生的元数据流来向元数据储存库发送网络查询;响应于该查询,经由元数据储存库来访问对等设备贡献的其他元数据,其中其他元数据与所产生的元数据流相关;以及访问与其他元数据相关联的对等设备的内容。在别的变体中,该指令还使得处理器检测来自一个或多个邻近设备的数据,并且从邻近设备的数据中产生所述元数据流的至少一部分。

在本发明的另一个实施例中,计算机可读存储介质具有可以由设备处理器执行的指令,以便执行包含下列各项的步骤:经由设备传感器来捕获内容;产生描述内容的上下文的元数据流;在捕获内容的同时,将元数据流发送到元数据储存库;以及响应于由元数据储存库处理的网络查询,帮助实施始于一个或多个设备的点对点内容访问。

在本发明的另一个实施例中,一种设备包括:能够连接到网络的网络接口以及存储数据的数据储存设备。处理器与数据储存设备以及网络接口相耦合,并且存储器与处理器相耦合。该存储器具有使得处理器接收来自内容创建设备的元数据流的指令。在内容创建设备捕获内容的同时,相应的内容创建设备会产生元数据。该指令还使得处理器在数据库中存储从元数据流得到的元数据,接收来自内容消费者设备的网络查询,以及根据数据库中包含的元数据来形成针对该查询的响应。该响应包含了帮助始于内容创建设备的点对点访问的数据。该设备将该响应经由网络发送到内容消费者设备。

在更特别的设备实施例中,该指令还使得处理器将元数据的两个或更多的流编辑成一个复合事件。两个或更多元数据流中的每一个都是响应于网络查询而被提供的。在这种情况下,该指令还可以使得处理器帮助选择两个或更多流,以便经由与内容创建设备以及内容消费者设备无关的人类导演来进行编辑。在另一个变体中,该指令还可以使得处理器根据内容创建设备的附加元数据来自动选择用于编辑的两个或更多的流。该附加元数据描述的是关于相应设备捕获的内容的量度。

在本发明的另一个实施例中,计算接可读存储介质具有可以由服务器的处理器运行以便执行下列步骤的指令,所述步骤包括:接收来自内容创建设备的元数据流。在相应内容创建设备捕获内容的同时,该内容创建设备产生元数据。该指令还可以由处理器执行,以便:将源自元数据流的元数据存储在数据库中;接收来自内容消费者设备的网络查询;根数据库中包含的元数据,形成一个针对该查询的响应;以及将所述响应经由网络发送到内容消费者设备。该响应包含了帮助始于内容创建设备的点对点访问的数据。作为选择,该步骤包括将元数据的两个或多个流编辑成一个复合事件,以及响应于该网络查询来提供复合事件。在这种情况下,元数据的两个或更多流中的每一个都可以包括复合事件的频道。

在本发明的另一个实施例中,一种系统包括经由网络耦合的多个移动设备。每一个移动设备都包括用于捕获内容的装置;用于捕获描述内容的上下文的元数据的装置;用于在捕获内容的同时经由网络以流的方式传输元数据的装置;以及用于使用点对点数据传送来提供针对已捕获内容访问的装置。该系统包括与网络相耦合的内容消费者设备。该内容消费者设备包括:用于根据元数据来产生内容查询的装置;用于经由网络来发送查询的装置;以及用于经由点对点数据传送来从一个或多个移动设备访问内容的装置。该系统还包括:元数据储存库,它具有用于接收和存储来自移动设备的流传输元数据的装置;用于接收来自内容消费者设备的查询的装置;用于确定满足该查询的已存储元数据的装置;以及用于根据满足查询的已存储元数据来形成针对该查询的响应的装置。该响应包括允许内容消费者设备经由点对点数据传送来从一个或多个移动设备访问内容的数据。

在附着于此并构成说明书一部分的权利要求书中特别指出了表征本发明的这些以及各种其他新颖性优点和特征。但是,为了更好地理解本发明、本发明的优点、以及使用本发明所实现的目标,在这里将会参考形成说明书另一部分的附图以及附带的描述事宜,其中所例证和描述的是根据本发明的系统、设备和方法的典型示例。

附图说明

结合在下列附图中示出的实施例来描述本发明。

图1是示出了根据本发明实施例的系统的框图;

图2是示出了根据本发明实施例并由根据本发明实施例的系统实施的元数据流的自动预处理的框图;

图3A-D是示出了根据本发明实施例的图形用户界面的图示;

图4是示出了根据本发明实施例的程序分级结构的框图;

图5是示出了根据本发明实施例的视频编辑时间线的框图;

图6A是根据本发明实施例来选择媒体剪辑的用户界面的图示;

图6B是根据本发明实施例的内容呈现窗口的图示;

图7是根据本发明实施例的区位元数据处理的框图;

图8是根据本发明实施例的基于预测路线来提供元数据的用户界面的图示;

图9是根据本发明实施例而使用动态路线数据来提供媒体的处理的图示;

图10是根据本发明实施例的移动计算装置的框图;

图11是根据本发明实施例的元数据储存库装置的框图;以及

图12是根据本发明实施例而使用元数据流来发现内容的流程图。

具体实施方式

在关于不同例示实施例的后续描述中将会参考构成说明书一部分的附图,这些附图举例显示了可以实施本发明的不同实施例。应该理解的是,由于在不脱离本发明的范围的情况下可以进行结构和操作方面的改变,因此,其他实施例也是可以使用的。

一般来说,本发明涉及使用元数据流来发现从移动设备创建的点对点内容。如下文更详细描述的那样,该内容可以包括视频,但是涉及本发明的概念同样适用于其他媒体,例如语音记录、静止照片、生物测定数据、传感器数据等等。该内容可以采用任何格式,其中包括文件下载和流。通常,“内容”、“视频”、“视频剪辑”等术语可以是指最终以文件和/或流传输格式提供的两种内容。该内容可以被创建它的人共享,并且这种共享可以采用实时或准实时的方式出现。在YouTube之类的视频共享社区中可以看到关于这一点的日益普及的示例。虽然当前的视频共享社区有助于共享已存储的视频,但是在未来,分享用户创建的现场视频流将会越发重要。随着电话视频能力提升,费率降低(例如变换到统一费用)以及电话宽带访问更为普及,人们创建的这种视频流的数量有可能会高。

随着能够创建和共享媒体流的设备持续激增,出现了若干问题。创建、递送和消耗用户创建的现场内容的处理都包含了很多挑战。例如,这些设备通常至少会在短期内将此类媒体存储于设备自身。因此,这样做会使内容消费者难以发现某些实时或非实时内容是相关的以及可用的。对于移动创建的内容来说,它的一个优点在于它是无所不在的,因此,随着这种类型的内容捕获更为普遍,发现符合某个准则(例如在特定位置和时间处拍摄)的特定内容的概率也会增大。但是,用于定位此类内容的准则实际上是无限制的,因此,关于特定内容的搜索会变得困难。

诸如视频剪辑之类的某些内容通常是很短的,因此,对于内容创建者、内容消费者以及介于这二者之间的中介者(mediator)来说,反应时间是很短的。例如,在特定时间处于特定位置的多个人可能希望使用个人移动设备来捕获某些感兴趣的内容。但是,在没有某些表明预期此类内容的指示的情况下,很少有动机去随机捕获图像/媒体。同样,内容消费者可能有办法在任何时间确定某个感兴趣的事件,例如通过固定的网络摄像头等等,但其无法向其他人远程地指示该事件。这种远程指示对于捕获更好的图像、更好的角度以及诸如声音和精确位置量度之类的其他特征是很有用处的。

创建ad-hoc内容的时机可能会突然出现并突然消失,在很长的时间间隔中可能根本没有有趣的内容,然后则可能同时出现过多的有趣内容。在典型的内容创建方案中,内容不但持续时间很短,而且寿命也很短(例如,创建者往往会删除大量内容来节约存储空间)。由此,在递送、内容和消耗过程中出现全面搅动。如果内容创建者希望共享特定内容,那么内容创建者必须很容易即可使该内容快速简单地得以使用。

在本发明的各种实施例中,用户可以捕获移动元数据,使用该数据来发现相似图像,以及通过使用相关内容的元数据来对最近捕获的内容做出有根据的推测。例如,看到无描述的有趣地标的用户可能能够确定其当前位置,并且基于与该位置可见的内容相关联的元数据来确定与该地标有关的更多信息。在其他情况中,可以使用元数据来使照片共享更加简单。元数据可以捕获空间上下文(例如使用CellID、支持Bluetooth(蓝牙)的GPS设备、固定位置的Bluetooth对象,如PC)、时间上下文(例如,网络时间服务器)以及社会上下文(例如,通过感测到的移动Bluetooth设备与用户姓名的关联来确定谁在一起)。在这些情况下,元数据是高度动态的,并且是在捕获流的时候自动产生的。这些元数据流可以用于选择在多个视频流中应被观看者看到的视频流。元数据可以包含类似于镜头方向、具有较低分辨率和较低频率的基本数据采样以及时间等等的信息。

本发明的各种实施例可以使用下列各项的组合:现场的元数据流,动态和预定频道,个人和中介级的流优先化处理,以及允许实现有效内容发布、递送和消费的选项。针对不同类别的用户创建内容可以具有专用的预定频道(例如,5月1日,巴黎/巴格达,今日,夏威夷帆船赛(1stof May,Paris/Bagdad Today,Hawaii Sailing Regatta)),创建者可以为他/她的流选择最适合的频道。在一个方案中,中介者可以创建新的ad-hoc频道(例如Makasiinien palo),该频道可以广播(例如通过SMS)至在事件附近的候选创建者,并且从附近的参与者那里以拖曳类型的方式收集附加内容。频道的元数据流可以仅发送至中介者或是频道的消费者,以便节省带宽,获取关于若干个资源/流的更广泛视图,以及支持选择所要显示的流。元数据流既是对于频道的每个消费者而言可以单独选择的,也可以由中介者进行选择以便提供良好的默认选择。

元数据可以包括时间,位置,方位,社会背景,以及由用户定义并描述了相关联的媒体上下文的标签/关键字。描述内容本身的其他元数据也是可以使用的,例如音频/视频信号电平,信号中的动态变化,以及可以用于提供有用内容指示的其他量度。例如,分析/测量元数据流的处理(例如发现足球频道中的音量峰值)允许自动选择最有可能出现有趣事物的流。如果元数据流包括实际流的简缩表示,则用户还可以手动地逐一查看元数据流,使用若干个元数据流的马赛克视图,或是使用将来自若干个流的元数据整合在一起的单个视图。

半预定义或是由中介者支持的动态频道甚至创建了更多结构以及与生态系统的同步,由此可以更有效地使用P2P流传输技术。例如,如果多个用户的每一个设备都可以用于记录感兴趣的事件,那么来自这其中每一个设备的媒体都可以编辑成一个复合事件。如果存在并且可以使用每一个用户的流,那么这些流可以作为复合事件的频道而被展现。在这种情况下,查看体验可以包括从一个频道无缝跳转到另一个频道。频道之间的跳转既可以由用户控制(与电视频道切换相似的下一个/上一个子流),或者也可以是自动的。

在频道切换情形下,在将新的子流加载到查看设备之前可能需要一段时间。当在子流之间切换时,如果用户不必凝视空白的屏幕,那么将会是非常优选的。一种用于防止出现这种状况的方法是“预加热”,该方法包括在后台将相邻流的开端(或是其他有限的演示)传送到电话。由此,当用户选择下一个/上一个频道时,在某种程度上这些频道在查看设备中已经是可用的。在另一个实施方式中,在流变换期间可以显示广告。例如,系统可以在后台下载适当的广告剪辑(与内容、用户偏好、上下文等等相匹配),并且在系统准备传输选定子流的时候显示广告剪辑。

元数据流通常包含了从发端设备插入的静态和动态数据。但是,它也可以包含社区其他成员创建的数据。如先前所述,附近用户/设备的标识符可以为所捕获内容提供有用的上下文。在另一种情况中,元数据流可以包括动态改变的查看者群体提供的信息。例如,在从流中进行自动选择以创建复合物时,单个的流的流行度可能是一个重要的参数,而与其他人当前查看的内容有关的信息也可能是一个重要的参数。同样,所述流可以包含查看者添加的书签,等级评定等等。这些信息同样有可能引起拍摄者(shooter)的关注,并且激励拍摄者继续拍摄。

现场的流传输内容未必是始终可用的,在这种情况下,系统也可以在那些没有事件发生的时间中使用已存储的视频剪辑来进行填充。例如,它可以显示过去数小时最流行的流选集。对于P2P递送系统的效率(经由诸如CoolStreaming之类的技术)来说,较为理想的是正好有大量用户查看同一内容。因此,该解决方案的自动混合特征可以被设计成(通过使用元数据)创建这样一种满足大多数查看者的流组合。用户可以否决自动产生的流选择,在这种情况下,用户能够查看他个人选择的流。此外还可以考虑单独子流的负载状况,并且只有在网络中有足够流传输容量可用的情况下才允许手动选择。

现在参考图1,该框图示出的是根据本发明实施例的系统102。一般来说,多个移动设备104能够产生内容以及与该内容相关的元数据。例如,移动设备104a包括内容生成模块106a和元数据生成模块108a。这些模块106a、108a可以嵌入包含于设备104a上或是可以经由设备104a访问的不同传感器以及其他数据资源。例如,元数据103是由设备104a从邻近设备104b收集的,并且这个元数据103可以与经由模块108a本地产生的元数据包含在一起。在捕获/创建相关联的内容(例如照片或视频)的同时,设备104捕获所述元数据,并且该元数据110a-c被流传输至元数据储存库服务器112。

如从终端104a-c始发的元数据流110a-c所示,设备104被配置成至少分别在某个时段以流的方式传输元数据。所述元数据110a-c既可以使用显性发布的命令来发送,用户也可以选择在开始、结束内容捕获时或是在其间任何时间自动执行该处理。设备104捕获的内容可以保留在设备104上,并且可以被设置成是用户私有的。根据用户偏好,元数据可以匿名存储在服务器112上,或者也可以允许将元数据链接回到该用户。在一些商业模型中,元数据可以是免费的,但是访问实际内容则是收费的。

另一种可能性是实体(例如新闻提供者)可以发送邀请,由此向处于发生有趣事件的地方附近的用户提供发布频道(有可能提供一些财务激励)。这种处理被显示成是信号113a-b,其中该信号被发送到设备104c,由此依照设备104c的已知能力来请求设备104c捕获内容。信号113a源自元数据服务器112,并且信号113b直接源自内容消费者设备114。信号113a-b可以使用与元数据流传输系统102相关联的定制频道/协议,或者也可以使用其他机制(例如文本消息收发,电子邮件,电话呼叫,特殊铃声信号等等),并且可以包含确切规定了所请求的内容的数据。为使信号113a-b的发起方知道其请求的相关目的地,即使没有内容正被捕获,设备104c也可以发送元数据。在这种情况下,作为目标的内容请求可以发送至那些在正确时间处于正确地点但在当时未必记录了什么东西的潜在贡献者。

元数据流110a-c通常会经由无线数字网络而被运送至元数据储存库服务器112,但是其他传输介质和架构也是可以使用的。一般来说,元数据流110a-c是重复更新的数据传输,并且该传输描述的要么是相应设备104a-c当前正在捕获的内容,要么是设备104a-c能在设备所有者决定捕获内容时捕获的内容。介于元数据110a-c的反复传输之间的时间间隔可能取决于与元数据相关联的内容的类型、终端的当前状态/状况、网络带宽或其他因素。例如,如果内容模块106a正在产生视频,而设备104a正在运动并且元数据模块108a正在捕获与视频相关联的位置,那么经由流110a发送的元数据更新有可能取决于设备104a当前移动的速度。如果设备104a是固定的,那么仍旧有可能存在某个最低速率的元数据更新(例如心跳指示符(heartbeat indicator))。

元数据流110a-c由元数据服务器112接收和处理。通常,元数据服务器112收集来自移动内容创建者104的元数据,对这些元数据进行编辑、分类和/或相关,并使内容消费者114能够得到经过处理的元数据116a-c。元数据服务器112还可以与元数据中列举的对方104取得联系,以便发现哪些视频剪辑/流在任何指定时间点在线以及为其估计的访问速度怎样。结果,系统112知道它能访问哪些视频以及这些视频的元数据属性(时间、持续时间、拍摄位置、拍摄目标位置、流行度等等)是什么。视频通常是以与文件形式(例如通常会在查看之前被完整下载的预定数据对象)相反的流的形式来提供(例如用于准实时查看的连续比特流)。本发明的实施例可能能够提供可下载文件,但如果内容创建和收视请求是高度动态和可变的,那么在内容创建端,以流的形式传输所述内容可能更加有效,并且向查看者提供更加即时的结果。

虽然图1将元数据服务器112显示为中心实体,但是也可以采用分布的点对点方式来实现服务器112。在一些实例中,较为理想的是让元数据服务器112的某些功能存在于具有一些或所有内容创建设备106的移动网络上,同时让其他那些与消费者对接的组件存在于因特网之类的固定的基础架构网络上。在其他情况下,对于创建设备104来说,较为理想的是由它本身来响应分布式搜索查询、例如Gnutella和Kazaa之类的由点对点文件共享技术所使用的分布式搜索查询。但是,与搜索文件名不同,设备104会响应那些针对时间、位置、主题以及其他元数据的查询。

元数据服务器112可以允许内容消费者114采用多种方式来发现内容。例如,查看者可以向服务器112提交一个概述了各种准则的查询,其中所述准则例如是位置、时间、视角、事件名称、事件类别等等。响应于该查询,服务器112可以返回经过处理的元数据116a-c,这些元数据能使查看者114访问满足该查询的内容。经过处理的元数据116a-c可以包括从元数据110a-c编辑而来的历史概要数据。作为补充或替换,在设备104a-c正在产生元数据110a-c以及相关内容的时候,经过处理的元数据116a-c可以包括由元数据110a-c形成并实时递送的复合流。

这里使用的术语“实时”或“准实时”至少可以包括数据更新以及满足其预期目的的等待时间,和/或足够快速及时地满足最终用户预期的响应。例如,就每五分钟更新一次的交通相机而言,对于监视交通拥塞的目的来说,该相机可以被认为是“实时的”,但对于估计经过车辆的速度的目的来说,它也可以被认为不是“实时的”。将其与帧速率为每秒10次但需要两小时等待时间来使数据可用的交通相机相比。在后一种情况下,如果发布超速罚单之类的预期响应行为对等待时间并不敏感,那么对于估计车辆速度的目的而言,我们可以认为数据是“实时的”。但在后一个示例中,由于交通状况在两小时的时段有可能会有显著变化,因此,为了确定拥塞,交通相机可以被认为不是实时的。

对于实时提供的经过处理的元数据流116a-c来说,它的一个示例是服务器112以流的形式传输(使用任何流传输技术)一个可供客户114像看常规电视频道那样观看的“元数据频道”。这个元数据频道一次可以访问一个或多个原始元数据流110a-b(或是其近似值)。例如,如果元数据流110a-c包括相关内容的显示(例如采用低带宽格式),那么经过处理的元数据116a-c可以包括多个流的复合渲染,例如视频或摄影内容的马赛克图片。消费者114可以使用这些经过处理的元数据频道/视图作为动态TV指南,并且立即前往观看移动设备104提供的内容流。

在元数据服务器112如何可以响应搜索的另一个示例中,服务器112可以提供一个能够选择特定区域的地图或类似的GUI。可以呈现显示图标的地图或选定区域,这些图标指示正在提供内容的人(或设备)所在的位置,它们正在提供的内容的类型(例如声音,视频),他们正在拍摄的方向,缩放级别,分辨率,内容样本,可用带宽,延迟,以及与用户、用户设备、网络基础架构、以及预期内容有关的其他数据。通过点击某个图标,可以允许跳到来自该图标所代表的人/设备的视频流。

现在参考图2,该框图示出的是根据本发明实施例的系统对元数据流实施的自动预处理的细节。一般来说,内容创建终端设备200将元数据202a-c以流的形式传输到元数据储存库204。如路径208所示,导演服务206分析某些或所有元数据。该导演服务206可以使用元数据208的自动算法分析(如处理器210所示)或人工分析(如操作站212所示)的任何组合。导演服务206可以分析引入的元数据208,并且确定可供查看终端214所代表的查看者接收的组合流的组成。

导演服务206使用由发起请求的用户指定的准则来构成组合流。这个处理可以被认为是一个顾及了匹配精确度、流行度、可访问性等等的组合的多准则优化问题。在确定剪辑排序的过程中,访问速度可以是其中一个准则。由导演服务206确定的组合流的组成作为指令218a-c而被发送到查看终端214和/或中间服务器216。该中间服务器216可以简单地转发指令218b,或是在将指令218c发送给查看设备214之前对数据218b提供缓存、处理、变换、定位以及其他操作。查看设备214使用接收到的指令218a、c并且经由点对点(P2P)分发网络222来访问源自创建者设备200的内容流220a-c,但是除了P2P之外,其他的联网分发架构也可用于取代或补充P2P。通常,该处理可以包含内容流220a-c在设备与设备之间的直接传递,但也可以使用中间的网络部件来使内容传递更为有效。

例如,中间服务器216能够读取传入和发出的指令流218b-c,并且确定服务器216知道针对发送至其他设备的相似内容的缓存内容,在这种情况下,该指令可以改为指导查看者214从与发端设备200不同的其他位置下载该内容的某些部分。通常,如果服务器216检测到有多名查看者正在尝试访问同一内容频道/流,那么服务器216可以代表创建者设备200来代理内容。在这种情况下,创建者设备200只需要将内容递送到一个设备,即服务器216,然后该服务器216可以处理针对多个查看者的内容分发。

其他的P2P技术同样可以用于更有效地传递内容,但不会涉及中心服务器216。举个例子,诸如Bittorrent之类的技术可以允许多个设备同时传送文件下载的一部分,从而减轻下载发起者的带宽限制。虽然Bittorrent被适配成帮助单个文件下载,但是该技术也可以扩展至流传输。例如,流可以分成子流,并且每一个子流都是从不同的对等点200传送的。然后,子流在目的地214被编辑成单个可见媒体流。在某些条件下,其他技术例如网络广播和多播同样可以用于帮助实施更有效的内容递送。在已经接收到足够多的材料时,设备214将会开始向用户呈现媒体。在所述呈现的同时,在后台可以继续下载那些在稍后的体验中需要用到的剪辑。在查看内容时,用户可以修改偏好,而流传输的内容则会相应调整。

现在参考图3A-图D,其中不同的用户界面屏幕示出了根据本发明实施例的用户范例。在图3A中,屏幕300示出的是可以由内容创建设备的用户填充的数据。该数据300可以与元数据流包含在一起。在图3B中,屏幕302示出的是可以被内容创建设备的用户看到的示例界面。该屏幕302包括频道选择控件304、位置定义控件306以及激活控件308。频道选择控件304和位置定义控件306均可用于为从设备发送的元数据流设置准则。

在用户每次开始以流的形式从设备传输内容的时候,用户都会选择频道(例如频道304a)和位置(例如经由GPS选择306a)。位置准则可以使用下列信息来描述:GPS位置306a、域名服务器(DNS)位置306b(或其他固定网络服务实体,例如网关和代理)、无线基站标识符306c(或其他无线基础架构,例如无线局域网接入点)、用户的家庭所在地306d或其他306e。描述选定频道304a的数据和描述选定位置准则306e的数据都可以由设备进行流传输并供他人使用,从而发现并查看该用户创建的特定内容。

在图3C中,屏幕314示出的是可以被内容的预期查看者看到的用户界面。该屏幕提供了用于选择元数据准则的控件,这其中包括内容频道控件316和位置控件318、320。这些控件产生针对发送至集中或分布式元数据储存库的元数据流的查询,并且假设发现了与准则相匹配的内容,查看者可以使用控件322来访问内容。图3D显示的是可以响应于屏幕314中的控件322的选择而被显示的示例内容查看屏幕324。

在内容查看屏幕324中,呈现部分326呈现的是当前内容流的流传输内容。在本示例中,呈现的内容是视频或其他影像,但是在这里可以使用或者不使用独立呈现区域来呈现其他的用户创建媒体(例如声音、矢量图形)。应该了解的是,呈现部分326还可以呈现来自多个元数据流的元数据,并且允许用户选择其中一个流,以便查看相关内容(例如用户点击马赛克图像中的方块来选择)。内容查看屏幕324还可以包括允许依照准则来选择当前流的选择控件328,其中举例来说,所述准则可以是流行度328a、最新328b、最早328c、最接近的位置328d以及所有328e。其他流控件也可用于改变流/频道选择和/或内容回放中的一项或多项。例如,“下一条”控件330和“上一条”控件332可以允许在流之间浏览,由此假设有多个可用流满足当前选择准则328a-e。因此,捕获控件334允许将当前显示的内容存入永久存储器,选择控件336则允许在当前的流停止的时候实施自动控件切换。

如内容查看屏幕324所示,查看多个流/子流的处理可以包括从一个流跳转到另一个流,例如经由控件328a-e、330、332手动跳转或是例如经由控件336来自动跳转。以这种方式切换流所存在的一个问题是在将新的流加载到呈现设备之前有可能需要一段时间。为了避免在流之间切换的时候出现中断或暂停,某些相邻的流可以预先加载。例如,在用户观看特定流的时候,在后台会将相邻的流的一部分传送到设备。由此,当用户选择下一个/上一个频道时,这些频道在电话中已经是可用的。在另一个方案中,系统可以在后台下载适当的广告剪辑(与内容、用户偏好、上下文等等相匹配),并且在系统建立传输新选择的子流的时候显示该广告剪辑。在另一个方案中,系统可以使用已存储的视频剪辑来填充流变换之间的暂停,以及在任何流中均未发生事件的时候进行填充。例如,它可以显示过去数小时最流行的流的集合。

在屏幕324之类的内容查看界面中可以包含很多其他特征。该屏幕可以提供典型的回放控件来控制单个的频道或流,例如快进、倒回、暂停等等。但是,由于存在多个频道,因此,通过允许用户查看与内容相关联的元数据,可以实现新的可能性。例如,元数据显示可以示出文本、图形、图像以及代表了相关内容创建设备的上下文或描述的其他数据。所述元数据显示既可以与内容326同时显示,也可以具有自己的专用显示。用户能够将显示326锁定到单个内容创建设备,从而否决所准备的复合。在其他方案中,举例来说,通过请求查看显示了用户觉得感兴趣的某个位置的视频,用户可以存储和/或修改所准备的作品。此外,用户界面还可以允许用户选择与内容相关联的元数据以及选择不同路线来创建同一元数据的全新组合,从而构成新的体验。

在很多实施方式中,较为理想的是具有一个众所周知的位置,以便发现预定或ad hoc流,其中所述流例如可以通过内容进行分类。现在参考图4,框图400示出的是根据本发明实施例的可能频道分级结构。根节点402描述的是用于接收内容的主门户,在本范例中则是视频门户。根402下方的一个内容区域包含的是如节点404所示的已支付定金的流传输。另一个用节点406表示的内容区域允许用户按需下载媒体。节点408代表的是动态流传输频道的类别。其中某些动态频道408可以是商业410、公共412(例如政府、非盈利组织)或ad hoc 414。

如名称所示,ad hoc频道414通常由单个对等点提供,并且有可能是暂时或永久可用的。例如,诸如“5月1日(1stof May)”的子类别416可能会在时间上受到故意限制,但其在位置方面则有可能没有限制。即使内容可能持续变化或是随时间流逝而更新,诸如“Paris/BaghdadToday”之类的子类别418也有可能是永久可用的(例如,对于类别418来说,其在可用于查看者的时间方面是无限制的)。其他类别可以是地点和时间都受到限制的相关特定事件。例如帆船赛420或音乐节422。这其中的每个类别416、418、420、422都可以提供频道422a-e所示的多个子流/子频道。

这其中的每一个频道422a-e都可以对应于一个特定的内容创建设备,或者包含一组记录连贯事件的设备,例如音乐会上的特定表演者或舞台。同样,频道422a-e未必是始终可用的。例如,频道422a-e可以对应于单个表演,由此可能仅仅在进行表演的时候(至少对于直播流传输而言)才是有效的。根据设备的数量以及系统的缓存能力,直播流在表演或事件之后的某个时段也有可能是可用的。

应该理解的是,在现场表演之类的状况中,媒体流422a-e的捕获可能产生法律问题,例如受版权保护的内容的发布。但是,在捕获内容的时候,此类系统提供了一种方法来追踪元数据,并且还会追踪关于元数据和实际内容的请求。因此,收集、处理和重新分发元数据的实体可以确定给定事件的收视情况,并且这个收视数据可以用来相应地为表演者支付报酬。这种报酬可以来自将广告插入内容的广告商,和/或来自最终观看所述材料的查看者。此外,为了鼓励使用已授权的系统(与制作未经授权的盗版相反),在这里可以为捕获内容的用户提供一些利益,例如事件发生地的免费WiFi接入或者一些其他的价值交换。例如,典型的移动设备可能足以用来捕获一些5-10分钟的视频,但如果内容创建者有能力经由WiFi来流传输所述视频并将其存入脱机设备的缓存,那么内容创建者可能能够捕获更多材料。由此,作为同意不非法分发所捕获的媒体的交换(例如通过签订合同或是使用数字权利管理来确保所捕获的内容的安全),用户可以访问WiFi和本地P2P缓存,并且允许稍后访问缓存副本,以供其自身使用。包括收看直播流在内的内容的任何其他用途都有可能受到元数据分发者和版权拥有者的限制。如果被记录和流传输的内容为利益相关者赚取了附加收益,那么内容创建者同样可以赚得附加收益(例如金钱或信誉)。

此类系统可以允许根据所涉及的特定媒体和内容以及消费受众来使用多个不同的商业模式。例如,当实际内容是商用的时候,元数据是可以自由使用的。在另一个示例中,P2P内容递送是可以自由使用的,但它是用广告增补的。在一些情况下,可以为内容创建者提供有价值的东西,以便在特定时刻捕获内容。如果同意记录特定事件,那么内容创建者有可能能够赚取金钱/信誉或是降低其服务费用。举个例子,如果元数据服务器得到一个要求查看特定街道交叉路口的请求,那么它可以向沿着这条街行走的订户发送文本消息,以便要求他们将其相机指向该交叉路口并持续五分钟,以便减少其电话账单的一定金额。

在一种情况中,元数据流仅仅是由发端设备插入的数据构成的。但是,它也可以包括社区中其他成员创建的数据。特别地,元数据流可以包括描述动态变化的查看者群体的信息。例如,在自动选择所述流的过程中,流行度等级可以是一个重要的参数,并且可以用于确定某一个人的同伴或朋友当前正在观看的内容。同样,所述流可以包括查看者添加的书签、等级评定等等。这些信息同样可能为内容创建者所关注,并且激励其继续捕获内容。

对于P2P递送系统(借助于类似CoolStreaming的技术)的效率而言,识别是否恰有大量用户正在观看同一内容可能是非常有用的。在这种情况下,自动混合特征可以尝试创建(通过使用元数据)这样一种满足大多数查看者的流组合。在图4的示例中,这一点是用“Directors Cut(导演剪辑版)”流422e表示的,其中所述流可以结合已存储的流与实时流的组合体,以便创建更连贯的体验。如果系统管理员或事件组织者提供了这种组合流422e,那么该组合流可以访问其他那些未必能被同伴使用的有价值的数据或内容。在音乐节的示例中,这种增值内容可以是没有中断并与内容创建者设备提供的各种独立源相同步的高质量的音频源。

应该了解的是,如果事件是由很多人使用有限容量的移动设备记录的,那么可用内容有可能包括众多的小型剪辑,并且每一个剪辑都会因为捕获该客户机的众多个人的设备和存储空间的不同而存在差异。借助P2P技术,可以访问该材料,但是要想发现有趣的剪辑却非常困难,因为这需要逐一观看来自很多人的多个剪辑。如上所述,自动电影导演可以根据关于预期结果的一般等级描述来从分布于众多设备的片段中编辑出长视频。这种电影可以是为一次性观看准备的,并且可以在观看结束之后立即被丢弃。在这种情况下没有必要力求达到高质量的艺术效果。其主要的关注点是便于定义内容源的一般性描述,自动编辑那些满足该描述的内容,以及快速查看经过编辑的内容。

元数据流传输和搜索系统的一个目标可以是:即便材料在现实中源自多个设备并由多个小片段组成,也可以创建这种对由多个场景组成的单个视频进行查看的用户体验。例如,假设用户希望查看事故或灾祸的视频覆盖范围。该视频材料可能很新或者是实时的,并且已存储的剪辑可以与实时流传输的材料整合。用户可能希望以相对较快的步调查看事态如何发展,但其主要关注的是当前正在发生的事情。通过借助不同相机从不同角度查看同一状况,可以允许查看者关注感兴趣的部分。在这种情况下,查看某一个发生多次的重要事件未必是一个问题。这种材料既可以提供给感兴趣的人以供个人消费,也可以经由广播公司进一步递送。广播公司可以增加这种流的价值,例如添加他们自己的评注音频流或现场新闻报道。

在另一个示例中,假设澳大利亚的表兄妹希望借助多媒体来体验发生在另一个国家的家庭事件(例如新生儿的洗礼)。并且很多访问者在视频和照片上捕捉了此次事件。这时可以实时或者通过回放来查看从不同来源拍摄的静止照片与视频的组合。另一个变体是不断地播放来自一个来源的事件录音,并且显示来自多个来源的照片/视频。这种组合的多媒体事件实时地引人关注,并且对于参与者来说,组合多媒体的记录同样会是精彩的事件概要。

在另一个示例中,“虚拟观光”服务可以允许人们在某个感兴趣的城市中从地图上选取一条路线(例如在巴黎沿着西提岛行走)。该系统将会以流的形式传输不同的人(大多数是观光客)在该区域拍摄的照片,其中所述照片是这些人最近捕获的。如果路线内部的特定区域引起查看者的兴趣,那么他们可以停下并查看该区域的更多照片。查看者还可以将时光倒流,以便查看该路线在冬天或夏天是怎样的(雪,有树叶的树等等)。同样,剪辑可以按照日期(例如白天-夜间)、天气以及其他因素进行分类。在一个配置中,这些视图还可以采用按时间顺序的照片流的形式排列,由此显示该位置在一年中不同时间如何变化。如果有较早的材料可用,那么还可以将其扩展成显示该位置数十年的变化(新的建筑物,汽车,时尚等等)。

在此类系统中,内容发现(例如发现和选择最佳匹配的数据)是一个非常重要的设计因素,在在动态设置中必须快速完成内容发现时的现场和交互使用的情况下尤为如此。数百名用户可以同时流传输所述内容。单个的流通常是很短的,并且流传输位置和方向可以不断改变。用户可以一直进进出出,由此单个的流项目很容易消失和重新出现。

这种系统的一个能力是将一组项目组合成一个全面的多媒体体验。它允许规定自由形态的轨线(例如路线),并且系统对沿着该轨线的相关多媒体进行组合。所述轨线可以顾及相机方向和多媒体材料的流行度,并且可以支持实时内容的流传输(实况转播)。多媒体项目的访问速度可以是一个用于决定显示顺序的准则。越高的粒度支持越高的消费情形,并且在某些实例中,与较大的多媒体项目相比,较微小的多媒体项目可以在更多的位置重新使用。

该系统包括用于发现、访问和消费由不同社区成员存储或捕获的多媒体数据的机制。用户规定他的兴趣,并且系统通过组合源自多个设备的项目来动态汇集个人且独特的多媒体体验。在自动选择机制的指引下,系统采用P2P方式来检索和复制片段,并且将其表现为统一的多媒体体验。该方法缩放到爆炸性数量的可用多媒体资源和类型,其中所述类型包括静止图像、视频剪辑、直播流、音频剪辑、音频流等等。P2P技术能够处理大量数据,而自动搜索机制则对用户隐藏了在优先化和选择配置数据资源方面的提升的复杂度。

该机制允许用户规定其感兴趣的内容(迹线,时间等等),并且搜索对等设备中可用的适当多媒体材料。视频体验是从材料中自动编辑得到的(例如使用匹配精度、流行度、可访问性之类的准则),而多媒体材料则从不同来源以流的形式传输或者下载至用户设备以供查看。用户可以修改他的偏好,作为响应,以流的形式传输到用户的材料选择将会有相应调整。这种多媒体流可以通过组合从静止图像到现场视频流的不同类型的多媒体来构成。该系统可以通过选择不同路线以及相同源数据的不同组合来构成新的体验。

对于重要的事件来说,有很多视频材料可能会部分重叠。在图5中对此进行了显示,其中该图显示了一个根据本发明实施例的视频编制时间线500。在该示例中,三个内容创建设备502、504、506在所指示的时间捕获了剪辑502a、504a、506a-b,这些剪辑可能同时包含了内容和元数据(用粗线表示)。每一个内容/元数据剪辑都被标记成指示发端设备和剪辑编号(例如标签508)以及流行度等级(例如标签510)。从该图中可以明显看出,不同的元数据/内容流在时间线上存在着某种程度的重叠。

在图5所示的情形中,其中一个问题是在具有重叠材料502a、504a、506a-b的情况下,如何选择将哪一个材料以流的形式传输给用户。在许多情况下,通过使用粗略的时间和位置搜索,可以缩窄候选视频剪辑集合。一种用于对此进行进一步精炼的方法是使用拍摄时间作为基本准则。在这种情况下,其目标是创建一个按时间顺序进展的视频。在图5中,如虚线512、514、516、518所示,该内容502a、504a、506a-b将被选择。当发生关于拍摄时间的冲突时,这时其他因素可以控制所述选择,所述其他因素例如视频剪辑的流行度、视频质量、网络/设备带宽等等。在本示例中,剪辑502a和506b在时间t6与t7之间重叠,因此使用了视频的流行度作为基本准则,由此,首先选择查看的是最流行的剪辑,同时仍旧保留这些剪辑的时间先后顺序。这样一来,由于剪辑506b具有流行度等级3,并且剪辑502a具有流行度等级2,因此如线条518所示,在这里会选择剪辑506b来填充时间t6与t7之间的间隙。在其他的选择情形中,流行度还可以对剪辑的演示顺序起决定作用。在这种情况下,剪辑506b会在剪辑502a或504a之前显示,并且剪辑时间未必需要缩短。

另一种精炼剪辑选择的方法是使用拍摄位置作为基本准则。在图6A中对此进行了显示,其中显示了根据本发明实施例且以拍摄位置为基础的媒体剪辑选择。一般来说,选择地图602的区域600,并且基于该选择来向用户展示编辑用户界面604。查看者则通过在地图界面604上选择/创建迹线606来控制拍摄位置。举例来说,该迹线606可以使用鼠标、触摸屏、摇杆型控制器(例如左、右、缩放)、列表选择、名称搜索等等来创建。在可以满足迹线606的特定时间和空间约束的可用视频剪辑该界面上显示为箭头,例如箭头608-611。通过改变时间约束或是改变某个其他过滤准则,可以提高或降低指定区域的剪辑可用性(由此增加或减少所显示的箭头数量)。

与被请求的路径606最为匹配的视频剪辑/流可以被编辑并且以流的形式传输。该迹线606既可以由用户定义(例如使用绘图工具),也可以通过将拍摄目标位置(例如目标位置612)规定成是基本准则来自动定义。用户通过使用地图、摇杆、文本搜索等等来指明他想要指定位置612的视频/图片,并且与所估计的拍摄目标最为匹配的视频将被选择。通过箭头的方向和位置可以看出,在规定位置、路径和目标的处理之间是存在差别的。举个例子,在不考虑方向的情况下,如果沿着路径606的连续镜头是所预期的,那么由于剪辑611位于路径606,因此可以将剪辑611包含在经过编辑的流中。但是,如果要求经过编辑的流是跟随路径606的,那么由于剪辑611的方向正交于该路径,因此未必会选择剪辑611。然而在这种情况下,由于剪辑609大致与路径606相校准,因此有可能会选择该剪辑609。如果要求经过编辑的流包含目标612,那么由于剪辑609和611全都指向背离目标612的方向,因此,无论是否处于路径606,剪辑609、611都不会被选择;然而在这种情况下,剪辑610则是一个可能候选者。

应该了解的是,地图类型的编辑界面也可用于控制那些借助于使用地图和/或路径数据捕获的媒体的当前回放。在图6B中,根据本发明实施例的内容呈现窗口620覆盖了元数据选择界面面板622。与图6A的编辑界面604相似,这里的选择界面面板622包含了媒体捕获设备图标(例如箭头624、626)、路径数据628,并且可以包括映像、目标以及先前描述的其他数据。如变暗的箭头624所示,所选择/当前回放的媒体源可以采用不同的方式突出显示。用户可以通过在选择界面622中选择不同的箭头来改变窗口620中呈现的内容。此外,用户还能够通过选择界面622中的其他对象来改变内容,例如选择路径或目标指示符(例如图6A中的图标606和612)。

选择界面622与呈现区域620之间的交互也可以扩展,以便允许直接在呈现图像上显示元数据。例如,覆盖图标630、632可以代表在2D地图622上表示的其他的可用内容创建者。但是,图标630、632的位置还允许查看者确定内容创建者相对于当前媒体的3D位置,由此更好地判断源内容是不是预期的。

一种针对该概念的扩展是使用内容(例如图标630、632代表的内容)来创建可以在显示器620中呈现的内容的3D表示。例如,媒体捕获设备可以具有来自不同方向且关于某个对象的多个可用图片/视频(并且有可能包含其他那些描述了如何、为何以及何时捕获该数据的元数据)。设备和/或服务器可以被配置成创建该对象的3D显示,并且该显示可以借助显示器620之类的呈现设备而被体验。然后,查看者能够使用适当的3D呈现硬件来查看这个3D对象(或其他内容,例如3D视频、3D声音等等)。该3D呈现可以被视为回放或交互媒体,或者也可以与现场媒体相结合,例如显示器620上显示的现场相机视图。

本发明的另一种扩展允许在经过编辑的多媒体流中插入广告剪辑。例如,可以自由使用的电话客户机会周期性地将一个从广告服务器获取的广告视频插入多媒体流。该广告服务器可以利用用于视频编辑基本内容的准则来选择适合上下文的广告。作为购买了高级应用或无广告服务的回报,高级版本的电话客户机可以允许跳过广告。同样,广告也可以安置在元数据流中。例如,图形元数据选择工具(例如图6A中的界面604)可以在地图上包含指示了公司地点并采用标签形式的付费位置。

应该了解的是,用于指定内容路径和位置的描述可以扩展到3D空间。在图6A-图B的视频示例中,箭头的标高(例如相对于地面的角度)在2D地图视图中是看不到的。在一个替换方案中,2D侧视图或3D视图可以允许查看相机视图的仰角。现在参考图7,该框图示出的是根据本发明实施例来产生3D元数据。通常,相机视图700可以由702数据定义,例如相机位置、查看方向/角度、自动聚焦距离以及缩放系数。在任何指定时间,该数据702可以用于得到作为时间的函数描述了多面体706(用虚线显示有边)的数据704。这个描述性数据704可以放在元数据储存库708中,并且有可能经受搜索查询,以便使用3D搜索规范来发现感兴趣的内容。关于多面体704的判定可以在捕获设备以及元数据储存库708和/或至少某些中间节点上执行。

如先前参考图6A所述,用户可以创建路线,例如通过查看地图以及在地图上绘制感兴趣的路径来创建。根据该路线,用户可以选择位于路线之上或是其附近的多个内容源。然而应该了解,路线未必总是预先已知的。在图8中显示了这种情况的一个示例,其中该图示出的是根据本发明实施例的移动设备界面屏幕800。当在城市中闲逛来查看有兴趣但却不是记忆中的预定目标的东西的时候,观光客可能使用带有图示的地图绘制屏幕800的移动设备。应该理解的是,观光客可以是真实或虚拟的。在后一种情况下,观光客的实际位置有可能不同于地图屏幕上显示的位置。观光客能够追踪当前路线802,例如借助构建在移动设备中的GPS。该路线数据802(例如预测路径804、806、808)有可能具有作为历史记录的用途,例如创建旅途回忆和/或帮助观光客发现返回到其始发地的道路。

路线数据802还可以用于创建可能的预测路径(例如预测路径804、806、808),尤其是朝着观光客尚未访问的方向的路线。这个未来去向数据804、806、808还可以作为针对集中或分布式元数据储存库(例如图1的服务器112)的查询主题来使用。响应于该查询,储存库返回那些至少与位置和时间相关的结果,并且这些结果会作为图标显示在地图800上(例如图标810、812、814)。这些图标可以指示可用内容的类型(例如,图标810指示图片,图标812指示视频,图标814指示声音)。当光标位于图标810、812、814之一上时,弹出或过渡对话(未示出)可以提供感兴趣的文本元数据。由此,当观光客前进的时候,他们有可能会暂停并在地图上检查感兴趣的图标。通过选择图标,观光客可以体验该媒体,例如借助来自内容创建者的点对点传送来体验。这种媒体在帮助观光客发现感兴趣的地点和事件方面是很有帮助的。

在图9的框图中显示了可以如何使用动态路线来识别感兴趣的媒体的另一个示例。在这里显示了一条可用于马拉松之类的体育比赛的固定路线902。在路线902的周围有多台相机904。这些相机904可以包括固定和移动设备的任何组合,并且可以由事件组织者和/或观察者操作。查看者906可能有兴趣观看比赛中的特定参与者908。该参与者908携带了一个移动定位器设备(例如具有GPS传感器和数据发射机的设备),该设备则会把所述参与者的当前位置910实时发送到体育比赛服务器912。同样,在比赛过程中,相机904可以将元数据914发送到元数据储存库916。这个元数据914至少可以描述与相机捕获的内容相关联的位置和时间。其他元数据914则可以是特定于发生地点的。在本示例中,赛跑者可以具有RFID标签,并且相机能在赛跑者经过的时候读取该标签。这样一来,赛事组织者很容易记录参与者时间,并且RFID标识符还可以与相机元数据914包含在一起,以此作为地理位置数据910的备份。

查看者906希望观看该特定参与者908(也有可能是其他参与者),并且由此根据与参与者908相关联的标识符来访问来自体育比赛服务器912的位置数据918。该位置数据918可以包括具有先前时间和位置的路线,和/或位置数据918还可以包含实时位置更新。查看者的设备使用位置数据918来查询920元数据储存库916。响应于该查询920,查看者的设备可以获取来自一个或多个可能捕获了(或者当前正在捕获)参与者908的图像的相机的内容922。如这里所示,内容922从点对点传送中获取,但是,该内容也可以存储或缓存在其他地方,例如体育比赛服务器912。

多种类型的设备能够参与这里描述的内容创建和元数据/内容发现处理。要完成这一任务,移动设备是非常有用的。现在参考图10,该示例示出的是能够执行根据本发明实施例的操作的典型移动计算装置1000的示例。本领域技术人员将会了解,例示的移动计算装置1000仅仅代表的是可以与此类移动设备相关联的一般功能,并且陆线计算系统同样包含了用于执行此类操作的计算电路。

处理单元1002控制装置1000的基本功能。这些相关功能可以作为存储在程序储存器/存储器1004中的指令来包含。在本发明的一个实施例中,与储存器/存储器1004相关联的程序模块被存储在非易失的电可擦写可编程只读存储器(EEPROM)、闪存只读存储器(ROM)、硬盘驱动器等设备中,以免信息在移动终端断电的时候丢失。用于执行常规移动终端操作以及根据本发明的操作的相关软件同样可以借助数据信号传送到移动计算装置1000,例如经由一个或多个网络并以电子形式下载,其中所述网络可以是因特网以及一个或多个中间无线网络。

移动计算装置1000包括与处理/控制单元1002相耦合的硬件和软件组件,以用于执行网络数据交换。该移动计算装置1000可以包括多个网络接口,以用于保持无线或有线数据连接的任何组合。特别地,图示的移动计算装置1000包括用于执行网络数据交换的无线数据传输电路。

这个无线电路包括用于执行各种功能的数字信号处理器(DSP)1006,其中所述功能包括模数(A/D)转换、数模(D/A)转换、语音编码/解码、加密/解密、检错和纠错、比特流变换、过滤等等。收发信机1008通常与天线1010相耦合,该收发信机传送传出的无线电信号1012,并且接收与无线设备相关联的传入无线电信号1014。

传入和传出无线电信号1012、1014被用于与移动服务供应商网络1016进行通信。该网络1016可以包括本领域已知的任何语音和数据通信基础架构,这其中包括CDMA、W-CDMA、GSM、EDGE等等。网络1016通常提供了针对包括因特网之类的IP网络在内的传统陆线数据基础架构的访问。该移动计算装置1000还可以包括能够访问网络1016和/或邻近网络(未显示)的备选网络/数据接口1018。该备选数据接口1018可以包含I/O以及诸如USB、蓝牙、以太网、802.11WiFi、IRDA等网络标准的组合。

处理器1002还耦合到与移动终端相关联的用户接口部件1022。举个例子,移动终端的用户接口1022可以包括显示器1024,例如液晶显示器。此外,在接口1022中还可以包括其他用户接口机制,例如小键盘1026、扬声器、麦克风、语音命令、开关、触摸板/屏、使用指示设备的图形用户界面、轨迹球、摇杆等等。一个或多个传感器1028也可以与处理器1002相耦合,以便捕获内容以及与内容相关联的元数据。正如本领域已知的那样,这些以及其他外部接口组件全都耦合到处理器1002。

程序储存器/存储器1004通常包含了操作系统和用于执行功能以及与移动计算装置1000上的功能相关联的应用的程序。程序储存器1004可以包括下列各项中的一个或多个:只读存储器(ROM)、闪存ROM、可编程和/或可擦写ROM、随机存取存储器(RAM)、订户接口模块(SIM)、无线接口模块(WIM)、智能卡、硬盘驱动器或是其他可拆卸存储器设备。移动计算装置1000的储存器/存储器1004还可以包括用于执行根据本发明实施例的功能的软件模块。

特别地,程序储存器/存储器1004可以包括元数据搜索框架1030,该框架允许用户发现与内容相关的元数据,并且允许用户访问该内容以供未来使用。元数据搜索框架1030可以包括查询用户接口(UI)1032,它允许设备1000的用户通过使用图形(例如地图、网络节点图)或文本输入之类的手段来形成查询,以便发现特定的元数据集合。查询UI通过元数据搜索接口1034来执行查询,其中该接口1034能够经由一个或多个可供网络访问的元数据储存库1036来执行查询。元数据储存库1036提供了针对内容创建设备1038所供应的元数据的访问,其中此类元数据描述了设备1038所捕获的内容。

响应于该查询,元数据储存库1036可以向搜索接口1034返回一个响应,其中该响应包含了元数据(或是其概要)并且可以包含访问数据,该访问数据允许直接从创建设备1038访问内容。该访问数据可以供内容呈现UI 1040使用,其中该UI能够经由网络1016直接访问内容,并且将所述内容呈现给用户。从创建者1038那里可以直接经由ad-hoc的点对点(P2P)网络来访问元数据和内容之一或是这二者。P2P模块1042可以为内容呈现UI 1040以及元数据搜索接口1034之一或是这二者提供使用P2P网络协议的能力。

除了查看内容之外,如内容创建框架1044所示,该移动装置1000还可以用于创建内容。该框架1044可以包括元数据UI1046,所述元数据UI 1046允许用户控制所捕获的元数据(例如位置、时间、用户简档)、捕获/流传输元数据的速率,定义静态元数据(例如用户简档),是否存储该元数据,查看元数据的许可,从元数据中清除个人数据等等。元数据流传输器1048则使用经由UI做出的使用设置,经由一个或多个传感器1028捕获元数据,以及经由网络1016将元数据流传输到储存库1037。元数据流传输器1048还可以在本地元数据数据库1054中存储静态和动态元数据,并且本地存储的元数据1054可以与该元数据1054描述的本地存储的内容1056相关联。

借助流传输组件1048的元数据的流传输可以在借助内容捕获UI1050以及内容存储/流传输/调回模块1052捕获内容的同时进行。UI 1050允许用户查看那些能够借助一个或多个传感器1028捕获的内容,控制内容的捕获,以及做出其他配置设置(例如帧速率、大小限制等等)。储存/流传输/调回模块1052可以对内容进行格式化,帮助在本地数据存储器1056中存储内容的处理,帮助经由网络1016将内容直播给其他人,以及帮助从本地数据存储器1056向对等点1036、1038调回和传输内容。元数据和内容全都可以经由P2P模块1058发送至对等点1036、1038,其中所述P2P模块对恰当的P2P网络的格式和协议进行处理。

元数据搜索框架1030和内容创建框架1044可以系在一起并共享公共组件。例如,内容创建者和内容消费者都可能需要使用兼容的元数据和内容格式,由此在框架1030、1044之间可以共享产生和读取这些格式的库。此外,框架1030、1044还可以与其他应用整合,例如经由用户应用插件接口1060来整合。该接口1060可以提供允许其他应用使用框架1030、1044的功能的钩子,和/或该接口1060可以允许框架1030、1040作为扩展了应用功能的插件而被形成。

这里描述的内容发现系统可以使用一个或多个网络服务器来实现,以便协调、收集和分发那些描述了内容的元数据。现在参考图11,该框图示出的是根据本发明实施例的示例元数据服务器1100。该元数据服务器1100包括计算装置1101。该计算装置1101可以包括定制或通用的电子组件。计算装置1101包括可以与随机存取存储器(RAM)1104和/或只读存储器(ROM)1106相耦合的中央处理器(CPU)1102。ROM1106可以包括各种类型的储存媒体,例如可编程ROM(PROM)、可擦写PROM(EPROM)等等。处理器1102可以通过输入/输出(I/O)电路1108来与其他内部和外部组件进行通信。该处理器1102执行本领域已知的多种功能,并且这些功能是由软件和/或固件指令指示的。

计算装置1101可以包括一个或多个数据存储设备,这其中包括磁盘驱动器1112,CD-ROM驱动器1114,以及能够读取和/或存储信息的其他硬件,例如DVD等等。在一个实施例中,用于执行根据本发明的操作的软件可以在CD-ROM 1116、可写入数据存储媒体1118或是包括磁介质、闪存等等在内的能够便携地存储信息的其他形式的媒体上存储和分发。这些储存媒体可以插入到CD-ROM驱动器1114、磁盘驱动器1112、I/O端口1108等设备中,并且供这些设备读取。此外,软件还可以借助数据信号而被传送到计算装置1101,例如经由因特网1130之类的网络而以电子方式下载。该计算装置1101可以耦合到用户输入/输出接口1122,以用于用户交互。该用户输入/输出接口1122可以包括鼠标、键盘、麦克风、触摸板、触摸屏、语音识别系统、监视器、LED显示器、LCD显示器等设备。

计算装置1101可以经由网络耦合到其他计算设备。特别地,该计算装置包括用于与网络1130通信的网络接口1124。该网络接口1124可以包括硬件和软件组件的组合,这其中包括介质访问电路、驱动器、程序以及协议模块。网络1130可以包括私有和公共网络的任何组合,例如因特网。该网络1130允许计算装置1101与内容创建设备1132以及内容消费设备1134之类的实体通信。

计算装置1101包括处理器可执行指令1138,以便执行计算装置1101的元数据管理任务。这些指令1138可以包括用于与内容消费者1134通信的查询接口1140,以及用于接收来自内容创建者1132的元数据的输入数据接口1142。该传入元数据可以从传入数据接口1142传递到数据库存储模块1144,该模块则会在将传入数据存入数据库1146之前分析、减少、关联以及以其他方式处理传入数据。来自查询接口1140的传入查询经过处理并传递到数据库检索接口1148,该接口则对数据库1146进行访问,并且将结果返回给内容消费者1134。配置和管理接口1150提供了可以人工访问的接口,以便控制各种指令和数据模块的工作参数,并且还顾及了其他管理功能,例如日志记录、监视等等。

现在参考图12,该流程图示出的是根据本发明实施例来使用元数据流递送P2P内容的过程1200的流程图。该方法包括:对于多个设备中的每一个设备来说,捕获1202内容以及描述内容上下文的元数据流。这些设备独立捕获1202所述内容,例如,它们既不依赖于用于协调的中心实体,也不需要知道彼此的存在。通常,至少有一些元数据是由捕获内容的设备产生的,但是其他设备同样可以为所述元数据流做出贡献。在一些变体中,一个或多个设备可以检测来自邻近设备的数据,并且捕获邻近设备的数据。所述元数据流是在相应设备捕获内容的同时被发送1204到网络服务器的。关于流传输元数据的网络查询借助服务器来启用1206,并且该查询可以基于与元数据相关联的内容的位置、时间和流行度等等。所述查询1206可以通过网络推送、拖曳、结构化语言查询、搜索项、数字搜索等等来提供。

作为选择,该方法可以包括将元数据的两个或更多的流编辑1208成一个复合事件,其中所述元数据的两个或更多的流中的每一个都包括复合事件的频道。所述两个或更多的流可以根据预定准则被自动选择,例如描述了测量得到的内容特性的附加元数据、元数据流的流行度等等。所述两个或更多的流可以由人类导演选择编辑,其中该导演是在独立于设备以及内容查看者的情况下行动的。来自来源设备的附加元数据可以被提供给该人类导演,其中所述元数据描述的是相应内容的复合(例如内容的低带宽表示)。如果将内容编辑成了复合事件,则可以为查看者提供与该复合事件相关联的频道选择和/或修改。

在另一个变体中,信号可以经由元数据储存库而被发送1207到多个设备中的至少一个。该信号指示的是希望捕获特定内容,并且其中至少有一个设备会响应于该信号来捕获所述特定内容。响应于网络查询和/或信号,一个或多个设备将会帮助1210所述内容的点对点访问。如果元数据形成了一个复合事件,则可以响应该网络查询来提供描述该复合事件的元数据。

上文中关于本发明例示实施例的描述是出于例证和描述目的提出的。该描述并不是穷举性的,并且并未将本发明局限于所公开的精确范围。根据上述教导,众多的修改和变更都是可行的。本发明的范围并不受该详细描述的限制,而是由附加于此的权利要求书来确定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号