首页> 中国专利> 使用与人关联的表现数据使其在视频中表演的系统和方法

使用与人关联的表现数据使其在视频中表演的系统和方法

摘要

一种使用与人关联的表现数据使其在视频中表演的系统和方法。提供了一种包括非暂时性存储器和硬件处理器的系统,该硬件处理器被配置为:确定视频中的表现元素;基于视频中的表现元素来识别一个或多个人员以在视频中表演;接收从一个或多个人员中选择人员以在视频中表演的用户输入;基于演员在视频中表现的动作,检索用于使所选择人员在视频中表演的表现数据;通过使用表现数据使所选择人员在视频中表演来创建个性化视频;以及在用户设备上显示个性化视频。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-04-17

    授权

    授权

  • 2018-02-27

    实质审查的生效 IPC(主分类):H04N9/31 申请日:20170424

    实质审查的生效

  • 2018-01-30

    公开

    公开

说明书

背景

通常,电影的创作包括选择男演员和女演员(在下文中统称为“演员”)的阵容来扮演电影中的各种角色。选择演员来扮演不同的角色可能花费大量的时间,并且对每个演员的选择包括考虑对特定角色的要求。导演和/或电影制片厂可以选择被选择扮演电影中的角色的演员的阵容。

概述

本公开针对用于使用与人员相关联的表现数据来使该人员在视频中表演(featuring)的系统和方法,大体上如附图中的至少一个附图所示和/或结合附图中的至少一个附图所描述的,如权利要求书中更全面阐述的。根据一个方面,内容创作者和/或观看者可能希望以他们选择的演员创作和/或观看电影。

附图简述

图1示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演的示例性系统的图示;

图2示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演的另一个示例性系统的图示;

图3示出了根据本公开的一个实现的用于捕获与人员相关联的表现数据的示例性系统的图示;

图4示出了根据本公开的一个实现的用于与图1的系统一起使用的示例性视频的图示;

图5示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演的示例性用户界面的图示;

图6示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演的另一个示例性用户界面的图示;

图7示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演的示例性显示的图示;

图8示出了根据本公开的一个实现的流程图,其示出了捕获与人员相关联的表现数据并基于此创建个性化视频的示例性方法;

图9示出了根据本公开的一个实现的流程图,其示出了使用与人员相关联的表现数据使该人员在视频中表演的示例性方法;

图10示出了根据本公开的一个实现的流程图,其示出了使用与人员相关联的表现数据使该人员在视频中表演的另一个示例性方法。

详细描述

以下描述包含与本公开中的实现有关的具体信息。本申请中的附图及其所附详细描述仅针对示例性实现。除非另有说明,附图中的相似或相应的元件可以用相似或相应的参考数字指示。此外,本申请中的附图和插图一般不按比例绘制,并不旨在对应于实际的相对尺寸。

图1示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频中表演(例如,插入或替换)的示例性系统的图示。系统100示出了服务器101、媒体设备110、网络175、显示设备180和用户设备190。服务器101可以是存储视频、图像等的媒体服务器。在一些实现中,服务器101可以经由连接167连接到网络175,并且网络175可以经由连接177连接到媒体设备110。网络175可以是诸如因特网的计算机网络。如图1所示,服务器101包括表现数据105。表现数据105可以包括与诸如视频内容131的视频的各种元素相关的数据。在一些实现中,表现数据105可以包括诸如视频内容131的关于一个或多个人员的信息,用户可以选择其中每个人员在视频中表演。例如,表现数据105可以包括每个人员表现各种动作(例如,哭泣、笑、跳跃、跳舞等)的视频剪辑。表现数据105可以包括显示由每个人员做出的面部表情和/或情感的视频剪辑。在一些实现中,表现数据105可以包括来自其他电影的或者在诸如YOUTUBETM(youtube.com)的视频共享网站、诸如互联网电影数据库(imdb.com)的信息网站上的视频剪辑、在互联网上可获取的各种照片等。

在一个实现中,表现数据105可以包括面部表情、该人员出现的场景(包括诸如跳舞、跑步等的动作)等等。表现数据105可以包括可以从中构建该人员的模型的视频或照片内容,诸如来自多个角度的该人员面部的多个图像、该人员的多个全身图像等。表现数据105可以包括与可能被选择来表演的每个人员相关联的面部表情数据、身高数据、体重数据等。

表现数据105可以从相对较新的演员(其正尝试进入电视或电影产业)、经验丰富的演员(其已经参与以前的电视节目或电影)或没有专业演戏经验的某人(诸如,用户设备190的用户)中收集。

媒体设备110可以是用于播放视频内容131的设备,诸如计算机、电视机、娱乐系统等。媒体设备110包括处理器120和存储器130。处理器120是在媒体设备110中出现的诸如中央处理单元(CPU)的硬件处理器。存储器130是用于存储由处理器120执行的计算机代码并还用于存储各种数据和参数的非暂时性存储器设备。存储器130包括视频内容131、表现数据数据库135和可执行代码140。视频内容131可以是诸如电视节目、电影等的视频内容。在一些实现中,视频内容131可以包括由一个或多个演员扮演的一个或多个角色。

表现数据数据库135可以包括与可被选择为在视频内容131中表演的多个人员相关联的表现数据。在一些实现中,表现数据数据库135可以包括从中可以构建和渲染该人员的模型的视频内容和/或照片内容,诸如来自多个角度的该人员的面部的多个图像、该人员的多个全身图像等。表现数据105可以包括关于其中可能被选择以在视频内容中表演的每个人员相关联的多个人员的数据,诸如面部表情数据、身高数据、体重数据等。在一些实现中,表现数据数据库135可以包括多个人员和与每个人员相关联的表现数据。表现数据可以包括描绘每个人员的图像、视频剪辑或其他媒体内容并且可以用于使每个人员在视频内容131中表演。在其他实现中,表现数据数据库135可以包括指向可访问对于人员的表现数据的指针,诸如统一资源标识符(URI)、统一资源定位符(URL)、网站等。表现数据数据库135可以包括与在可获取的视频内容中由每个人员扮演的一个或多个场景有关的表现数据,诸如表现数据是否可用于表现特定动作(例如,哭、跳舞、跳跃、跑步等)的人员。

可执行代码140可以包括用于由处理器120执行的一个或多个软件模块。如图1所示,可执行代码140包括表现分析模块141、表演人员模块(featured person module)143、表现数据检索模块145、个性化/定制模块147以及外观和感觉模块149。表现分析模块141是存储在存储器130中的软件模块,用于由处理器120执行以分析视频内容131中的一个或多个演员的表现。对视频内容131中的演员的表现的分析可以包括分析包括在表现中的动作,诸如,跳跃、跑步、跳舞等。在一个实现中,对视频内容131中的演员的表现的分析可以包括识别视频内容131中的特定类型场景,诸如演员哭泣、唱歌、亲吻等的场景。

表演人员模块143是存储在存储器130中的软件模块,用于由处理器120执行以识别可在视频内容131中表演的一个或多个人员。在一些实现中,表演人员模块143可以从表现分析模块141接收包括在视频内容131中的演员的角色的各种元素的表现分析。在一个实现中,表演人员模块143可以在表现数据数据库135搜索具有对于视频内容131中的演员的角色的所有元素的一个或多个人员。在一个实现中,表演人员模块143可以在线搜索具有视频内容131中的演员的角色的所有元素的一个或多个人员。表演人员模块143可以识别可在视频内容131中表演(例如,插入)的一个或多个人员。在一些实现中,用户可以选择其中一个人员以在视频内容131中表演。

除了在电影中插入替换演员的计算机生成的图像之外或代替在电影中插入替换演员的计算机生成的图像,系统100可以允许用户替换电影中的角色的声音。例如,用户可以用来自另一部电影的小孩或卡通人物的声音替换电影中的动作英雄或反派的声音。作为另一个例子,用户可以用来自另一部电影的著名动作英雄或反派来替换电影中的小孩或卡通人物的声音。

表现数据检索模块145是存储在存储器130中的软件模块,用于由处理器120执行以检索对应于被选择在视频内容131中表演的演员的表现数据。表现数据检索模块145可以检索可用于使该人员在视频内容131中表演的图像、视频剪辑、音频剪辑等。表现数据检索模块145可以检索与由视频内容131中的演员所做的面部表情和由用户选择的人员所做的面部表情相关的数据,使得所选择人员可以准确且忠实地在视频内容131中表演。在一些实现中,表现数据检索模块145可以检索与从中检索表现数据的源材料相关的数据,诸如源材料的分辨率、源材料的粒度、源材料的颜色饱和度以及其他有助于创作源材料的外观和感觉的品质。例如,表现数据检索模块145可以检索以下信息:对于所选择人员的源材料是黑白胶片、彩色胶片,是使用35mm胶片记录的,是以每秒24帧(fps)、30fps、60fps等记录的。

表现数据检索模块145可以检索足以创建所选择人员的扫描的扫描或数据,该扫描或数据可用于在诸如视频内容131的视频内容中重新创建所选择人员。在一些实现中,所收集的扫描数据可以基于对应于重新创建所选择人员所需的数据的特定指令。例如,可能需要所选择人员的多个不同图像,诸如其中每个图像从特定角度捕获所选择人员的面部的多个图像、所选择人员的一个或多个全身图像、描绘所选择人员执行特定动作(诸如跳跃、跳舞、步行等)的图像和/或视频剪辑。

个性化/定制模块147是存储在存储器130中的软件模块,用于由处理器120执行以创建个性化/定制的视频内容。在一些实现中,个性化模块147可以使用所选择人员的表现数据来创建新的视频内容。例如,制作公司可以使用来自表现数据数据库135的表现数据来创建新的视频内容以使不能参与视频内容的制作的演员(诸如已故演员)表演。在其他实现中,制作公司可使用与多个演员相关联的表现数据来创建视频内容,作为在接近参与的每个演员之前预先筛选对于特定角色的每个演员的方法。创建新的视频内容可以用于在制作视频内容131的最终版本之前测试视频内容中的各种情绪、音调和/或表现。

在一个实现中,个性化模块147可以用一个或多个人员替代视频内容131(诸如电影的戏剧版本)中的一个或多个演员。个性化模块147可以接收视频内容131以及来自表现数据检索模块145的表现数据,并创建个性化的视频内容。在一些实现中,个性化的视频内容可以是使所选择人员表演的新视频内容,或者是更新为使所选择人员表演的先前记录的视频内容。例如,个性化模块147可以通过使用表现数据将所选择人员插入到视频内容131中来用该所选择人员替代视频内容131中的演员。在一些实现中,个性化模块147可以插入所选择人员并且包括所选择人员的面部表情、肢体语言或其他特质。例如,个性化模块147可以通过基于由观看者选择的人员更新场景来对视频内容131中的场景进行个性化,诸如当喜剧演员被选择以替换戏剧中的演员时。

外观和感觉模块149是存储在存储器130中的软件模块,用于由处理器120执行以更新视频内容131的外观和感觉。在一个实现中,更新视频内容131的外观和感觉可以包括改变视频内容131的分辨率,诸如更新视频内容131的分辨率以匹配所选择人员的表现数据的分辨率。在一个实现中,外观和感觉模块149可以更新视频内容131以包括电影的粒度。粒度可以根据期望的效果而变化。例如,当期望的效果是使视频内容131匹配老电影(诸如使用8mm录像机的家庭视频拍摄)或者来自特定时间段(20世纪70年代)的新闻广播或武术演员时,外观和感觉模块149可以添加适当的粒度以实现期望的效果。在其他实现中,外观和感觉模块149可以更新视频内容131的颜色以显示为来自特定时间段的。外观和感觉模块149可以更换视频内容131的特定元素(诸如汽车、建筑物、服装等),以给予视频内容131来自特定时间段和/或位置的外观。

显示设备180可以是用于显示视频内容131的设备,诸如电视机、投影仪和屏幕等。在一些实现中,显示设备180可以是适合于向群组设置中的多个人员(诸如,在电影院看电影的一群常看电影的人)显示视频内容131的设备。显示设备180可以用于显示视频内容131的部分或全部。在一些实现中,视频内容131的一个或多个元素可以是可替换的,诸如由演员扮演的角色。在这样的实施例中,视频内容131的永久元素可以显示在显示设备180上,使得在没有显示可替换元素的个人观看设备(诸如用户设备190)的情况下在显示设备180上观看视频内容131的观看者将看到缺失可替换元素的视频内容131。用户设备190可以是个人观看设备,诸如增强现实观看设备、虚拟现实头戴式设备等。在一些实现中,用户设备190可以是与显示设备180相同的设备。

图2示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频内容中表演的另一个示例性系统的图示。图示200示出了媒体服务器201、媒体服务器203、媒体设备210、增强现实(A/R)头戴式设备281和虚拟现实(V/R)头戴式设备283。媒体服务器201和媒体服务器203可以存储包括诸如电视节目、电影、商业广告、互联网视频、照片等的一个或多个视频内容的媒体内容。媒体服务器201和203可以存储与人员相关的表现数据和/或与该人员相关联的表现数据资源,诸如照片、图像、视频剪辑等,其可以存储在诸如因特网的计算机网络上。

图2中的媒体设备210、处理器220、存储器230和可执行代码240对应于图1中的媒体设备110、处理器120、存储器130和可执行代码140。如图2所示,存储器230包括视频分析模块251和渲染引擎253。视频分析模块251是存储在存储器230中的软件模块,用于由处理器220执行以分析视频内容的元素。在一些实现中,视频分析模块可以分析视频内容131中的一个或多个角色的表现,以识别各个角色的表现的元素,诸如由每个角色表现的动作、由每个角色所表露的情绪等。渲染引擎253是用于渲染视频内容和/或媒体内容的可执行软件引擎。在一些实现中,渲染引擎253可以渲染使用个性化模块147生成的个性化视频内容,并将个性化视频内容发送到A/R头戴式设备281和/或V/R头戴式设备283。

图3示出了根据本公开的一个实现的用于捕获与人员相关联的表现数据的示例性系统的图示。图3中的媒体设备310、处理器320和存储器330可以对应于图1中的媒体设备110、处理器120和存储器130。表现数据模块343是存储在存储器330中的软件模块,用于由处理器320执行以捕获和记录与个体303相关联的表现数据。在一些实现中,个体303可以是演员,诸如媒体制作公司雇佣的演员。在其他实现中,个体303可以是计算设备310的用户。表现数据335可以包括描述个体303的各种数据和参数(诸如个体303的身材)、描述个体303的肢体运动的运动数据、面部表情数据、语音和声音等。

图示300示出具有多个数据点标记(包括数据点标记357)的个体303。多个数据点标记可以用于捕获与个体303相关联的表现数据。在一个实现中,个体303可以穿着具有附接到套装的多个数据点标记的套装。多个数据点标记可以是可见光标记,诸如附接到黑色套装的白色球形标记。在其他实现中,多个数据点标记可以包括红外标签,诸如附接到由个体303穿着的套装的红外反射器。

个体303可以表现出各种运动,诸如跑步、跳跃、跳舞等。可以通过在个体303表现各种运动的时候记录诸如多个数据点标记中的每一个的位置和/或运动的运动捕获数据来捕获与个体303相关联的表现数据。数据捕获设备311a和数据捕获设备311b可以是用于捕获与个体303相关联的数据的设备。数据捕获设备311a和数据捕获设备311b可以是用于捕获与个体303相关联的表现数据的照相机,诸如可见光相机、红外光照相机等。在其他实现中,数据捕获设备311a可以是用于捕获和记录关于个体303的细小细节的的扫描仪,诸如面部扫描仪。在一些实现中,面部扫描仪可以具有低至毫米或亚毫米分辨率的分辨率,用于检测、捕获和记录个体303的面部和面部表情的细节。这些细节可被记录并存储在表现数据335中。个体303可以做出各种面部表情,并且表现数据模块343可以扫描表情并将数据存储在表现数据335中。

在一个实现中,使用处理器320的表现数据模块343可以从一个或多个数据捕获设备(诸如数据捕获设备311a和/或数据捕获设备311b)接收与个体303相关联的表现数据。表现数据模块343可以记录附接到个体303的每个数据点标记的表现数据,诸如位置、运动、速度等。在一些实现中,表现数据模块343可以将与个体343相关联的表现数据存储在表现数据335中。表现数据335可以描述个体303,其包括与个体303的身体移动和/或能力相关联的信息。

图4示出了根据本公开的一个实现的用于与以供图1的系统一起使用的示例性视频内容的图示。图示400示出在显示器480上显示的视频内容431。如图4所示,视频内容431包括场景中的多个角色。在一些实现中,观看者可能希望观看具有与视频内容431的制作版本不同的一个或多个元素的视频内容431,诸如发生在不同的布景中、具有不同的外观和感觉、具有由不同的演员扮演的角色等。在一个实现中,观看者可以选择建筑物402并且为视频内容431选择替换布景或替代的位置。在一个实现中,观看者可以选择对于视频内容431的外观和感觉,诸如包括胶片的粒度、与老影片一致的颜色的经典影片的外观和感觉等。在一个实现中,视频内容431的观看者可以选择将要由所选择人员替换的角色403。观看者可以使用诸如计算机鼠标、遥控器、手势识别等输入设备来选择角色403。在其他实现中,观看者可以从在视频内容431的开始之前或在观看者暂停视频内容431的重放时出现的菜单中选择将要被替换的可替换角色。

在一些实现中,观看者可以选择扮演视频内容431中的角色403的人员。当观看者选择要替换的演员时,表演的人员模块143可以:(1)提供用户可以从其中选择在视频内容131中表演的人员的列表,诸如包括已经为其制作和/或渲染个性化视频内容一个或多个人员的预定列表;和/或(2)显示输入窗口,其允许用户手动输入在个性化视频内容中表演的期望人员的姓名,并且系统将检索数据(如上文和下文所述),以将该人员渲染到视频内容431中。

图5示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频内容中表演的示例性用户界面的图示。用户界面500包括列515和列525。列515包括视频内容131中的多个可替换角色,且列525包括对于列515中的每个可替换角色的一个或多个人员。在一些实现中,用户列525可以包括一个或多个度量,诸如先前捕获的表现的质量和/或其他用户选择的受欢迎度,以帮助观看者选择替换视频内容131中的演员的人员。在一个实现中,人员可以可用于替换视频内容131中的多于一个角色。例如,可以使用演员1、演员2和演员3来替换角色A。用户可以选择演员1来替换角色D。在一些实现中,一旦用户已经选择了替换一个演员的人员,则所选择人员可能不能被选择来替换视频内容131中的另一个演员。在其他实现中,用户可以选择替换视频内容131中的两个或更多个演员的人员。

质量等级可以基于一个或多个因素,诸如:可用作对于演员的表现数据的源材料的数量,其可能影响个性化模块147将所选择人员插入到视频内容131中的能力;可用作对于演员的表现数据的源材料的帧速率;可用作对于演员的表现数据的源材料的分辨率;可用作对于演员的表现数据的源材料的年龄等。所选择人员的受欢迎度可以是基于所选择人员被其他用户选择的频率、由选择了该人员的先前观看者输入的评级等。在一些实现中,人员的受欢迎度可以反映该人员作为替换演员的整体受欢迎度,或者受欢迎度可以反映特定的人员在视频内容131中的具体替代角色。

图6示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频内容中表演的另一个示例性用户界面的图示。用户界面685包括表现调节器或过滤器645、情绪调节器665和表格605,表格605包括列出要替换的一个或多个角色的列615和包括用于列615中的角色的可能的替换的列625。表现调节器或过滤器645可以是用户可以用来更精细地调节或过滤与创建个性化视频内容有关的选项的工具。如图6所示,表现调节器645包括用于调节或过滤替换演员的质量或受欢迎度的可选选项。在一个实现中,用户可以调整表现调节器645以限制可供选择的替换演员的选项。在图6中,表现调节器645设置为将可选替换演员限制为具有四(4)或更高质量评级的演员。因此,只有演员1和演员6保持可选择,因为演员2-5中的每个具有三(3)或更低的质量评级。在一些实现中,表现调节器可以包括允许用户设置范围的两个选择器,诸如具有在二到四之间的质量或受欢迎度的演员。

情绪/情感调节器665可以包括可被描述为与演员相关联的情绪的一系列特性。如图3所示,情绪调节器665包括通过对悲伤、快乐、愤怒和平静的评级来区分演员的情绪。在一些实现中,情绪调节器可以包括对演员情绪的任何描述,并且可以包括多于或少于四个情绪描述符。在一些实现中,当使用情绪调节器665选择演员的情绪时演员可以填充列625,或者基于情绪调节器665的用户设置,替换可以变为可选择的或不可选择的。在一些实现中,用户可以通过放置情绪指示器667来指示期望的情绪或情绪范围。在一个实施例中,用户可以选择替换演员,并然后使用情绪调节器665来调整或修改演员在视频内容中的表现的情绪。观看具有对电影中的事件过度反应或反应不足的演员的电影可能是好笑的。

图7示出了根据本公开的一个实现的用于使用与人员相关联的表现数据使该人员在视频内容中表演的示例性显示的图示。图示700示出了包括显示设备780上显示的不可替换元素的视频内容131的背板732。表演人员734被显示在用户设备790上。用户可以沿着视线711通过用户设备790观看视频内容131,使得表演人员734对于观看者显示为投影到背板732,从而制作个性化视频内容。在一个实现中,用户设备790可以是诸如增强现实头戴式设备的增强现实设备,允许多个观看者各自在诸如电影院的公共设置中观看个性化视频内容。在其他实现中,背板732和表演人员734可以在一个屏幕上显示给观看者,诸如在虚拟现实设备中或在电视机、计算机显示器上等。

在一个实现中,视频内容131可以是电影院中放映的电影,在电影院中许多观看者可以同时观看视频内容131,并且每个观看者可能希望使某人员在视频内容131中表演。在这种实现中,显示设备780可以是显示背板732的电影院的投影屏幕。电影院中的每个观看者可以佩戴诸如图2中的A/R头戴式设备281或V/R头戴式设备283的观看设备,这允许每个观看者观看由观看者选择的人员表演的视频内容131。在一个实现中,希望观看具有以某种方式的外观和感觉的视频内容131的观看者可以佩戴A/R头戴式设备181,并且希望观看具有个性化的外观和感觉的视频内容131的观看者可以佩戴V/R头戴式设备182。因此,多个观看者可以在公共设置中体验视频内容131,其中每个观看者体验视频内容131的个性化版本。

图8示出了根据本公开的一个实现的流程图,其示出了捕获与人员相关联的表现数据并基于此创建个性化视频内容的示例性方法。方法800从801处开始,其中表现数据模块343使用表现数据捕获设备311捕获人员的表现数据。在一些实现中,个体303可以穿着具有附接到其上的多个数据点标记的套装。表现数据模块343可以捕获和记录个体303的各种移动,诸如与跑步、跳舞、跳跃等相关联的运动数据。在其他实现中,表现数据模块343可以通过在个体303运动时或者当个体303处于各种姿势时扫描个体303来捕获和记录数据。在一个实现中,表现数据模块343可以捕获和记录处于各种姿势的个体303的面部,以捕获个体303的面部结构、由个体303做出的面部表情等。在802处,表现数据模块343将个体303的表现数据存储到表现数据335中。

方法800在803处继续,其中个性化模块147接收选择在视频内容中表演的人员的用户输入。例如,用户可以使用诸如用户界面685的用户界面来选择替换者。用户界面685可以显示在显示设备180或用户设备190中。在一些实现中,用户可以使用诸如鼠标、遥控器、触摸屏界面等的输入设备来提供用户输入。用户可以选择视频内容131中要被替换的角色,然后选择在个性化视频内容中表演的替换者。

在804处,个性化模块147基于人员的表现数据创建使该人员表演的个性化视频内容。在一些实现中,创建个性化视频内容可以包括使用表现数据335创建新的视频内容。例如,个性化视频内容可以是描绘从由数据捕获设备311捕获并存储在表现数据335中的视觉数据和运动数据构建的人员(诸如演员)的新视频内容。在一些实现中,表现数据335可以包括个体303说话的音频,并且个性化视频内容可以包括演员说出根据表现数据335创建的台词的音频。在其他实现中,个性化视频内容可以包括用所选择人员替换现有视频内容中的演员。例如,视频内容131可以是电影,并且用户可以选择电影中要替换的角色。个性化视频内容可以包括以所选择人员替换演员的现有电影。在一些实现中,所选择人员可以是演员,诸如制作了现有电影的电影制作公司雇佣的演员,或所选择人员可以是另一演员或者其他人员,诸如用户。个性化模块147可以基于与所选择人员相关联的表现数据来创建个性化视频内容。

图9示出了根据本公开的一个实现的流程图,其示出了使用与人员相关联的表现数据使该人员在视频内容中表演的示例性方法。方法900开始于901处,其中可执行代码140接收选择包括演员的视频内容131的第一用户输入。用户输入可以选择视频内容131以在诸如家用DVD播放器或互联网连接的游戏系统的娱乐设备上播放。在一个实现中,用户输入可以选择流式传输的视频内容131,诸如从在线订阅服务流式传输的电视节目或电影或者从观看者所拥有的视频内容的在线图书馆流式传输的数字视频内容。在一些实现中,视频内容131可以包括一个或多个可替换的演员。

在902处,可执行代码140确定视频内容中的表现元素。在一些实现中,表现分析模块141可以分析演员在视频内容131中的表现以识别由演员做出的动作。表现分析模块141可以识别演员哭泣的场景、演员跳社交舞的场景、演员跑步和跳跃的场景等。在一些实现中,表现分析模块141可以分析由演员做出的面部表情、演员的姿势或身体语言等。表现分析模块141可以识别在没有包括由所选择人员表现的示例的表现数据的情况下可能难以重新创建的演员的表现元素。

在903处,可执行代码140基于包括由演员在视频内容131中表现的动作的视频内容131中的表现元素来识别在视频内容中表演的一个或多个人员。在一个实现中,表演人员模块143可以搜索表现数据数据库135以识别一个或多个人员。表现数据数据库135可以包括多个人员和对于每个人员的表现数据的列表。例如,表现数据数据库可以包括多个人员跳舞、唱歌、跑步、跳跃等的表现数据。表现数据数据库135可以包括多个人员中的一个或多个人员对于其缺乏表现数据的特定元素的指示。例如,如果表现数据数据库135中的人员没有出现在其中该人员在笑的场景中,则表现数据数据库135可以指示该人员缺少用于笑的表现数据。在一些实现中,表演人员模块143可以仅返回具有满足演员在视频内容131中的角色所必需的表现数据的每个元素的人员。

在其他实现中,表演人员模块143可以搜索一个或多个远程资源以找到对于人员的表现数据。例如,表演人员模块143可以在因特网上搜索一个或多个人员的表现数据。在一个实现中,表演人员模块143可以在一个或多个网站上搜索可被用作人员的表现数据的该人员的图像、视频剪辑、电影或其他先前的表现。

在904处,可执行代码140在用户设备190上显示在视频内容131中表演的一个或多个人员的列表。在一些实现中,表演人员模块143可以呈现从其中观看者可以选择替换视频内容131中的演员的人员的人员列表。该列表可以包括对于其的表现数据被包括在表现数据数据库135中的人员、对于其的表现数据数据库指示必要的表现数据可用但没有存储在表现数据数据库135中的人员、对于其的表演人员模块143已经确定了表现数据在网上可获取的人员等。

在905处,可执行代码140接收来自一个或多个人员的从一个或多个人员中选择在视频内容131中表演的人员的用户输入。在一些实现中,观看者可以从显示在用户设备190上的列表中选择人员。在其他实现中,观看者可以使用用户设备190在搜索字段中输入期望的人员的姓名。如果期望的演员是可用的,则可以选择该期望的人员。在一些实现中,期望的人员可能不可用,例如,由于缺乏足够的表现数据,在这种情况下,表演人员模块143可以向观看者显示指示所期望的人员不可用于该角色的消息。

在906处,可执行代码140基于视频内容131中由演员表现的动作来检索用于使所选择人员在视频内容中表演的表现数据。表现数据可以包括描绘所选择人员的图像、视频剪辑或其他媒体内容。表现数据检索模块145可以从表现数据数据库135、各种在线资源、存储在表现数据数据库135中的表现数据和各种在线资源的组合等检索表现数据。例如,当所选择人员是具有在表现数据数据库135中的表现数据的演员,则表现数据检索模块145可以从表现数据数据库135检索表现数据,以用于用所选择人员替换视频内容131中的演员。在一个实现中,表现数据检索模块145可以使存储在表现数据数据库135中的指针跟踪表现数据,例如当在网站上找到表现数据时。在另一实现中,表现数据检索模块145可以从各种在线资源(诸如youtube.com、imdb.com等)检索表现数据。

在907处,可执行代码140通过使用表现数据使所选择人员在视频内容中表演来创建个性化视频内容。在一个实现中,个性化视频内容可以是使用表现数据创建的新的视频内容。例如,表现数据数据库135可以包括用于演员的表现数据,并且视频内容制作者可以使用表现数据来创建使该演员表演的新视频内容。使用存储的表现数据创建新的视频内容以使拥有演员形象和肖像权利的制作公司能够创建例如使该演员表演的电影的续集;基于表现数据创建使演员的较年轻版本表演的视频内容;在演员退出影坛或死亡之后创建新的视频内容等。在一个实现中,表现数据可以用于在视频内容中包括演员的较年轻版本,诸如在闪回场景中,所以同一个演员在闪回中扮演角色的较年轻版本。

在一些实现中,个性化模块147可以使用由表现数据检索模块145检索的表现数据将所选择人员插入到视频内容131中。例如,个性化模块147可以使用表现数据将所选择人员插入到视频内容131中,包括基于演员的面部表情的所选择人员的面部表情、基于演员的动作的所选择人员的动作等。在一个实现中,在将所选择人员插入视频内容131之前,个性化模块147可以从视频内容131中提取演员。从视频内容131中提取演员可以允许具有与该演员不同的身材的所选择人员的插入。

在一些实现中,个性化模块147可以用包括所选择人员的语音的新音频替代视频内容131中的演员的语音。新音频可以包括合成以朗诵视频内容131中的演员所说的台词的所选择人员的语音。在一个实现中,新音频可以包括视频内容131中的演员未说的话,诸如当基于所选择人员替换或更新场景时。例如,当选择喜剧演员来替代戏剧中的演员时,除了或代替由在视频内容131中的演员说出的一句或多句台词,场景可以被更新为包括由所选择人员所说出的喜剧台词。在一个实现中,在所选择人员是替换女性演员的男性演员或女性所选择人员替换男性演员时,个性化模块147可以更新视频内容131中的一个或多个角色的音频。例如,个性化模块147可以更新音频,使得个性化视频内容具有包括与所选择人员对应的代词的音频。

外观和感觉模块149可以更新视频内容131的外观和感觉。在一些实现中,外观和感觉模块149可以更新视频内容131以具有与所选择人员的表现数据的外观和感觉相匹配的外观和感觉。例如,视频内容131可以是使用高清晰度照相机拍摄的电影并且是用于高清晰度电视机上观看的产品,并且所选择人员可以是具有被限制于没有高清晰度分辨率并包括胶片的粒度的20世纪70年代拍摄的电影的表现数据的演员。因此,外观和感觉模块149可以更新视频内容131的外观和感觉以匹配个性化视频内容中的表现数据的分辨率和/或粒度。在一些实现中,个性化视频内容可以包括基于所选择人员的替代场景和/或替代叙述。方法900在908处继续,其中可执行代码140在用户设备190上显示个性化视频内容。在一些实现中,可执行代码140可以在显示设备180、用户设备190或显示设备180和用户设备190的组合上显示个性化视频内容。

在一个实现中,导演可以创建个性化视频内容以预想具有一个或多个不同的演员的视频内容131。例如,导演可以根据视频内容131拍摄测试场景,然后用不同演员替换测试场景中的一个或多个演员,作为预想具有不同演员的视频内容131的工具。在其他实现中,个性化视频内容可以包括同一个演员的两个版本。例如,视频内容131可以包括过去一段时间的闪回,其包括一个或多个角色的较年轻版本。角色的较年轻版本可以基于演员的表现数据的历史,所以不同的演员将不会扮演角色的较年轻的版本。在一个实现中,观看者可以捕获替换角色数据并成为所选择人员。在这种实现中,系统可以提供用于捕获视频内容131所需的表现数据的说明,并且可以向观看者提供如何捕获表现数据的说明,诸如通过指示观看者从多个角度拍摄观看者的面部的多个图像,记录诸如跳舞、哭泣、跑步等的各种活动,使观看者能够将他/她自己插入个性化视频内容中。

图10示出了根据本公开的一个实现的流程图,其示出了使用与人员相关联的表现数据使该人员在视频内容中表演的另一个示例性方法。方法1000开始于1001处,其中可执行代码140显示用于选择对于个性化视频内容的外观和感觉的菜单。在一些实现中,观看者可能希望看到具有不同的外观和感觉的视频内容131。例如,视频内容131可以是当代动作电影,而观看者可能希望看到具有经典黑白黑帮电影的外观和感觉、家庭电影的外观和感觉等的视频内容131。菜单可以包括诸如用于更新外观和感觉的类型的选项,或者可以包括要改变或添加的元素的选项,诸如选择期望分辨率的选项、选择期望的胶片类型的选项(诸如8mm胶片或35mm胶片)、添加或改变胶片粒度的选项、选择色彩饱和度的选项等。

在1002处,可执行代码140接收从菜单中选择外观和感觉选项的用户输入。在一些实现中,用户可以使用诸如计算机鼠标或遥控器的输入设备从菜单中选择选项。方法1000在1003处继续,其中可执行代码140用所选择的外观和感觉来更新个性化视频内容,包括个性化视频内容的粒度、个性化视频内容的纹理(texture)、个性化视频内容的分辨率、个性化视频内容中的颜色等中的至少一个。在1004处,可执行代码140在显示设备180、用户设备190或显示设备180和用户设备190的组合上显示更新的个性化视频内容。

从上面的描述可以看出,在不脱离本申请中描述的概念的范围的情况下,可以使用各种技术来实现这些概念。此外,虽然已经具体参考特定实现描述了概念,但是本领域普通技术人员将认识到可以在形式和细节上进行改变而不脱离这些概念的范围。因此,描述的实现在所有方面被认为是说明性的而不是限制性的。还应当理解,本申请不限于上述具体实现,而是在不脱离本公开的范围的情况下,许多重新布置、修改和替换是可能的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号