视频内容切换和同步系统及用于在多种视频格式之间切换的方法

摘要

视频内容类型无缝切换系统和方法，用于在诸如单个视频播放器、应用程序或其它内容播放器的单个平台中同步并显示多种类型的视频内容。说明性的视频内容类型切换可以在由切换控制器协调的2D与360度格式之间进行。切换控制器可以配置为通过实施视频内容切换方法来与电视显示器和诸如电缆盒的相关联控制部件一起操作。

说明书

相关申请的交叉引用

本申请要求于2016年10月25日提交并且标题为“Content Switch”的第62/412,634号美国临时申请的优先权，所述美国临时申请在此以引用的方式并入本文中。

背景技术

相机、视频和相关计算机技术的最新进展导致了新型视频内容的创建。例如，视频内容可以以二维视频、360度交互式视频、三维视频和/或其它格式生成。不同类型的视频内容传统上在单独类型的视频内容播放器中播放。例如，二维视频内容通常在针对2D重放配置的视频播放器(诸如传统媒体播放器、串流视频播放器等)中显示。交互式视频内容(诸如360度视频)通常在单独类型的视频播放器或应用程序中显示。三维视频可以在另一种播放器或应用程序中播放。

随着各种类型的视频内容成为主流，内容开发者现在正以多种视频格式针对同一主题生成相关内容。例如，电视节目、电影、广告、体育赛事和/或任何其它内容可以在传统的二维视频和伴随的360度交互式视频中捕获。消费内容的用户可能被迫在多个视频播放器和/或应用程序(例如，用于2D线性视频的视频播放器和用于360度交互式视频的应用程序)之间进行切换。在多个播放器和/或应用程序之间进行切换对于观看内容的用户来说可能是低效率、耗时并且不方便的。配置为显示多种类型的视频内容的单个平台将是有用的。

发明内容

本文公开了视频内容类型切换系统和方法，用于在诸如单个视频播放器、应用程序或任何其它内容播放器的单个平台中显示多种类型的视频内容。内容播放器可以配置为从第一类型的视频内容切换到第二类型的视频内容。在说明性实施方式中，视频播放器可以包括按钮、开关、拨动开关或允许用户在第一类型的视频内容与第二类型的视频内容之间进行切换的其它切换接口。为了简单起见，术语“按钮”可以在本文中用于涵盖各种切换接口，但是切换接口可以是配置为允许必要选择并且与视频内容类型切换系统的其它部件兼容的任何类型。在说明性实施方式中，视频播放器显示传统的二维(2D)视频内容(诸如电视节目、电影、实况事件、广告等)，并且显示允许观看者切换到第二类型内容的按钮(例如，图标)。还可以在多视频内容类型系统中使用额外内容类型。当用户激活按钮时，视频播放器可以切换为显示第二类型的视频内容，诸如360度交互式视频内容、三维(3D)内容和/或另一类型的视频内容。当播放器从第一内容类型切换到第二内容类型时，在视频播放器中启用与第二内容类型相关联的特征。视频播放器可以无缝地切换到第二类型的视频内容，具有最小到没有的动作中断。可以稍后启动切换接口以切换回到第一类型的视频内容(例如，2D视频内容)或者切换到另一类型的内容。在示例性实施方式中，可以响应于与视频内容相关联的元文件信息来自动返回到不同的视频内容类型或者启用特定的视频内容类型。在某些情况下，不同类型的内容可以是相关的。例如，2D视频和交互式3D视频可以描绘电视节目、电影、实况事件、广告或其它内容的相同场景。使用按钮，观看者可以在对动作流具有最小中断的情况下，在内容的2D视频与交互式3D视频版本之间进行切换。

附图说明

当结合附图阅读时从以下详细描述中最好地理解本发明。附图描绘了本发明的说明性实施方式。

图1描绘了视频内容类型切换系统的说明性示意图。

图2是示出在视频内容格式之间进行切换的流程图。

图3是示出用于在媒体播放器中显示多种类型的视频内容的系统的实施方式的框图。

图4是描绘在第二视频内容缓冲的同时在第一视频内容格式与第二视频内容格式之间有延迟地切换的流程图。

图5示出了用于确定待从服务器提供的视频类型的过程。

图6是用于视频内容的视觉显示器和用户界面的示例。

图7是用于控制360°全景视频中的交互式内容的界面的示例。

图8是用于控制交互式视频内容的装置的示例。

图9是示出具有多个子视频剪辑的视频内容类型之间的切换的流程图。

图10是描绘父视频文件和两个子视频文件的时序的时序图。

图11是用于控制360°全景视频中的交互式内容的界面的示例。

图12是用于控制包括360°全景视频的交互式内容的界面的另一个示例。

图13是用于控制包括360°全景视频的交互式内容的界面的又一个说明性示例。

图14是可以应用于广告的切换系统和过程的说明图。

图15是示出与虚拟现实体验机相关联的内容切换的示意图。

图16描绘了在云中操作的视频内容类型切换系统和方法。

图17是计算装置的示意图。

具体实施方式

图1描绘了视频内容类型切换系统100的说明性示意图。视频内容类型切换系统100包括组合在单个数字媒体播放器106中或在单个数字媒体播放器106上启用的360度交互式视频播放器102和2D线性视频播放器104。举例来说，该配置可以是360度交互式视频播放器“居住在”传统2D线性视频播放器内部。在说明性实施方式中，数字媒体播放器106可以包括安装在计算机上的视频播放器、与TV(例如，Apple TV、Roku、Amazon Fire TV等)相关联的媒体播放器、移动装置上的媒体播放器或任何其它类型的媒体播放器。在一个示例中，当在媒体播放器上播放2D视频内容108(例如，在串流媒体播放器上播放电视节目)时，系统可以辨识以360度视频格式110额外地拍摄或者具有伴随的360度交互式视频内容的场景。系统可以显示按钮112，使得用户能够在2D视频格式视频、交互式360度视频格式视频、3D视频或呈其它格式的视频之间来回切换。

在示例性实施方式中，利用切换控制器114，切换系统100通过自动地搜索并辨识与“父”文件(在这个示例中为2D视频文件)相关联或包含在其中的元数据或与“子”文件(360度交互式视频、3D视频等)相关联的元数据，来辨识以第二内容类型(诸如360视频格式)额外拍摄且/或具有伴随的360度交互式视频内容的第一内容类型(诸如2D视频格式)的父视频中的场景。最初，系统通过分析文件类型(例如，360度交互式、3D视频等)和文件拥有的扩展名(例如，MOV、AVI、FLV、ASF等)来辨识并分类360度交互式和3D视频文件或其它额外视频内容文件。例如，特定辨识过程或用例可以依据特定系统而变化。

切换系统100包含表现为在一个或多个处理器上执行的计算机代码形式的元文件逻辑。在视频点播(VOD)用例中，父视频内容的重放提供呈与由系统逻辑所作用于的父视频文件相关联的元文件信息的形式或从其导出的输入。切换系统100被配置为寻找指示与父视频文件相关联的额外文件类型(在这个说明性情况下是360度交互式视频内容)是否存在的元数据。生成确认以指示存在与父文件相关联的子文件。这个确认触发系统自动搜索子视频文件。例如，元数据可以指示子视频文件被命名为与父文件相同，但是末尾带有“360”。可以使用任何命名法，只要系统能够匹配子视频文件和父视频文件。在某些情况下，元文件信息可以附加到“子”文件(例如，360度或3D视频)，并且系统将搜索“父”(2D视频)文件以将360度视频文件附加到其。在某些情况下，这两个视频将均附有元文件信息。在这种情况下，系统只需将两个元数据文件匹配在一起，这将自动把两个视频文件绑定在一起。

用于准备切换系统可以对其作用的视频文件的说明性过程如下：上传子文件，诸如360文件。选择父文件，子文件将附加到所述父文件或以其它方式与之相关联。选择传递位置，例如，其可以是服务器或父文件和子文件将在上面播放的平台。在一种情况下，其可以是AppleTV或者来自AppleTV的应用程序正在使用的服务器。在其它情况下，其可以是诸如Comcast等提供商和服务器Comcast XI平台正在使用的服务器。决定是否同步父文件和子文件、同步它们的程度或者是否不同步文件。子文件是通过根据本文所述的任何方法对其进行编码以供与其伴随父文件一起观看或者为了实现如本文所述的结果来准备的。一旦子文件元文件信息被恰当编码，父视频文件和子视频文件便可以以协调方式播放，自动地(如果这样同步的话)播放，或者通过经由适当接口的用户输入来播放。切换系统读取父文件，并且可以经由元数据从子文件获得信息。为了播放视频内容，视频播放器必须具有与视频文件所相关联的语言相同的内容创建者语言，或者兼容的语言。举例来说，名为“电视节目S1E1”的2D电视节目的内容创建者以360度视频格式创建额外内容并且将其命名为“电视节目S1E1 360”。内容创建者接着决定在OTT TV平台(例如，Apple TV上的DirecTV NOW)上启用这个额外内容。内容创建者还将选择“电视节目S1E1 360”将在“电视节目S1E1”的哪一分钟出现以及当用户选择并观看360视频内容时会发生什么。元文件被生成并附加到父视频文件或子视频文件(或两者)。这个元文件将以与Apple TV或其它平台上的媒体播放器和SDK逻辑相关联的编码语言来编写。这些文件接着将通过DirectTV NOW串流其内容来上传到服务器。切换系统接着寻找元文件。

在说明性实施方式中，节目、电影或其它视频内容可以包括允许用户参与内容的交互式视频。在说明性示例中，以2D视频格式拍摄的谋杀悬疑节目可以包括伴随的360度全景视频，其允许观看者参与该节目并解开谜团。例如，在犯罪现场期间，观看者可以有权经由接口选择伴随的360度视频内容，这将把犯罪现场变成交互式360度视频，观看者可以在该视频中“环顾”现场并搜索线索。观看者可以通过使用诸如电视遥控器、与媒体播放器相关联的遥控器、鼠标、移动装置或其它控制器或接口等控制装置来“环顾”360度视频场景。例如，使用每个定向滑动，观看者可以将视图聚焦在整个360度视频周围，向观看者给予用其遥控器控制相机的印象。使用这个接口，观看者可以成为侦探并且在节目的视频演示中揭露之前解开谋杀谜团。可以使用对控制装置的各种形式的定向输入。虽然本文提到了“滑动”，但是定向输入可以是通过各种物理按钮或触摸屏按钮，以及与所使用的控制装置兼容的任何其它输入机制。例如，如果系统是使用视频电缆盒配置的，则可以使用标准电视遥控器。

在另一个实施方式中，一旦观看者完成探索360度交互式视频，点击按钮(例如，视频播放器显示器中的图标、触摸图标等)便将在相同的显示界面上显示以常规2D线性视频拍摄的相同场景。观看者可以在相同的视频界面中继续观看2D视频内容，而不必切换到单独的应用程序或其它界面。

在传统的非交互式视频播放器中，观看者没有能力与节目交互，并且完全依赖于内容来揭露节目的任何谜团。例如，观看者与内容交互的仅有选项是倒回场景、快进通过场景、进入慢动作视频、以其它方式操纵2D视频，或者切换到另一个应用程序或播放器来观看补充内容。

在各种实施方式中，本文所公开的技术允许观看者在2D线性观看体验与360度交互式观看体验之间相对无缝地切换，并且选择动作的视点。从单个媒体播放器向观看者提供沉浸式体验。使用本文所公开的技术，不再需要切换到另一个应用程序、切换到计算机或激活另一个视频显示平台来享受虚拟现实(VR)内容技术必须提供的所有内容。通过按下按钮或其它输入，用户可以从传统视频格式切换到沉浸式视频，在沉浸式视频中用户可以导航动作并选择观看动作的哪些方面。使用本文所描述的技术，观看者不再局限于被动地观看场景、电影、体育赛事、广告或其它内容展开。相反，观看者现在可以进入一个场景并且大致上环顾并选择要看什么。这种增强型功能性能够为创建者和消费者两者转变任何观看体验的创造性方面。

图2描绘了根据说明性实施方式的视频内容类型切换方法，其中系统在父2D视频文件与子360度交互式视频文件之间切换。该系统包括一个顶部媒体播放器，其下面组合了线性2D播放器和360交互式播放器，或其它视频格式播放器。在格式之间进行切换是通过切换系统将360度交互式播放器“隐藏”在线性2D播放器内部并且使用逻辑和内容切换选项使最终产品用户体验成为单个媒体播放器的体验来实现的。在步骤202中提供组合的媒体播放器。在步骤204中，激活2D或其它父视频播放器。在步骤206中，系统通过编码逻辑来检测额外视频内容(如果可获得的话)。在步骤208中，系统经由元文件信息找到额外视频内容。接着，在步骤210中，将交互式视频文件与线性视频文件匹配并同步。这在步骤212中启用内容切换按钮，该按钮是使360度交互式播放器待用的命令，并且在某些情况下在步骤214中预先缓冲交互式内容。一旦用户在步骤216中选择内容切换按钮，切换控制器便在步骤218中接收用于旋转到子视频内容的信号。这致使父2D线性播放器在步骤220中停止并“隐藏”，而子360度交互式播放器将在步骤222中“展示”并播放交互式内容。切换本质上是组合在整个媒体播放器下方的两个播放器之间的旋转。因为旋转是在后台进行的，所以最终切换可以对于用户来说是无缝的。“切换控制器”正在收听发信号通知其想要播放两种视频内容类型中的哪一者的用户输入，并且基于那个输入，启用(展示)视频播放器和内容以匹配内容类型并且停用(隐藏)其它视频播放器和内容。切换系统通过将选定的视频播放器放在另一个播放器之上来实现这点，从而在给定时刻仅使一个视频播放器和内容类型对用户可见。

在示例性实施方式中，本文所描述的技术可以改变在电视上消费媒体的方式。电视可以变得更具互动性，为360度视频、VR、增强现实和其它类型的内容更自然地在电视上显示铺平道路。只需简单点击按钮，观看者就可以获得多种形式的内容。本文所公开的技术还可以通过允许多种内容格式居住在电视节目、电影、实况事件、广告或任何其它视频内容的场景内部来克服营销交互式360度视频、VR内容、3D视频或其它视频内容的困难。

本文所描述的方法和系统及其等同物可以应用于广告内容。系统可以包括广告和营销部件。广告商将能够提供传统广告并向观看者给予参与行动的机会。在本文所公开的技术出现之前，VR、360度视频和3D视频技术通常用于消费者在计算机、移动装置、VR体验机等上找到的简短推广项目。使用本文所公开的技术，沉浸式360度广告可以在电视上宣扬，并且广告商或内容提供商可以允许一些或所有推广在360度视频中进行。在某些情况下，使用内容切换按钮，观看者可以点击或以其它方式提供输入，并且与推广内容交互。用户可以无缝地返回到用户正在观看的2D视频广播。本文所公开的方法和系统提供同步和文件匹配以产生这种无缝观看体验。以这种方式，观看者可能没有意识到他们已经离开了他们正在观看的2D视频内容。下文将描述将该技术应用于广告的额外细节。

在进一步实施方式中，本文所公开的切换系统和方法可以应用于实况事件。例如，观看体育赛事的观看者可能能够在该赛事的2D视频与交互式360度视频之间进行切换。观看者可以控制其视角。如果观看者想要动作的不同视图，则其可以启用360度交互式视频或另一个交互式视频馈送，并且控制其观看赛事的有利位置。这些技术可以类似地应用于其它实况事件，诸如新闻事件、天气广播或任何其它实况事件。

图3是示出用于在媒体播放器中显示多种类型的视频内容的系统的实施方式的框图。在所示的示例中，服务器310可以与各种装置320(诸如电视、移动装置、虚拟现实体验机和/或能够显示视频内容的任何其它装置)通信。服务器310可以存储视频内容。视频内容可以包括呈多种格式的视频。例如，服务器310可以存储用于电视节目、电影、实况事件的视频内容，或者呈多种格式(诸如2D视频、交互式360度视频、3D视频或其它视频格式)的任何视频内容。呈多种格式的视频可以被串流或以其它方式传输到各种装置320。在某些情况下，与装置320相关联的视频播放器330(例如，串流视频播放器)可以从服务器310获得呈各种格式的视频内容。例如，内容重放可以在串流视频播放器330中以第一格式(诸如2D线性视频)开始。2D视频可以从服务器310获得、缓冲并且在装置320上的串流视频播放器330中显示。用户可以在串流视频播放器330中提供输入(例如，按下按钮)以切换到第二视频格式，诸如360度交互式视频内容。在接收到输入后，串流视频播放器330可以从服务器310请求(拉取)第二视频内容。第二视频内容可以被提供给串流视频播放器330、缓冲并且在串流视频播放器330中显示。

在各种实施方式中，视频播放器330可以按照使得对于无缝或准无缝播放在视频重放的进程中出现最小或没有中断发生的方式，从第一格式视频(例如，2D线性视频)切换到第二格式视频(例如，360度交互式视频)。如本文所使用的，“无缝”意味着观看者不知道转变。在一个示例中，在接收到用于从第一视频格式切换到第二视频格式的命令之后，视频播放器330可以立即向服务器310请求第二格式视频。在视频播放器330处缓冲第二格式视频的同时，第一格式视频可以继续播放。当第二格式视频被缓冲或部分缓冲并且准备好显示时，视频播放器330可以切换为显示第二格式视频。通过延迟从第一格式切换到第二格式视频直到第二格式视频已经被充分缓冲，视频重放可以是无缝的。在另一个示例中，可以同时从服务器310串流多种视频格式并且将其暂时存储在视频播放器330处。在这种情况下，当接收到用于从第一视频格式切换到第二视频格式的命令时，第二视频格式将准备好重放。下文更详细地描述切换过程的时序。例如，视频可以在2至3秒内被充分缓冲，或者可能需要额外时间。在说明性实施方式中，当系统具有来自父视频文件的剩余缓冲容量时，其可以预先缓冲子文件。例如，如果电视节目为45分钟长并且播放器需要三分钟来完全将其缓冲，则在三分钟之后，播放器将自动缓冲与父视频内容同步的任何子视频内容。

图4是示出用于在视频内容之间进行切换的说明性过程的组合流程图和框图，其中例如，视频播放器在缓冲初始视频内容之后实现切换。服务器402存储父2D视频内容404和子360视频内容406，或者其它父和子视频内容。在框408中出现切换命令按钮之后，服务器402从用户接收切换命令。切换控制器412作用于视频播放器410以管理播放哪个视频内容。切换控制器412可以与视频播放器410成一体，或者可以是在功能上连接到视频播放器410的外围部件。本文中描述为在另一个部件内部或外部的其它部件也是这种情况。但是，可以设想被配置为播放不同视频内容类型的各种视频播放器被容纳在同一视频播放器中并且通过切换控制器在功能上连接。如框414所描绘的重放还可以在视频播放器410中执行或包含在其中。类似地，显示416可以包含在视频播放器410中。

在图4所示的说明性实施方式中，如果父2D视频404如在步骤418中那样正在播放并且服务器402如在步骤420中那样接收到切换命令408，则服务器402切换到子360度视频406。在框426中发生缓冲过程。在框422中开始子视频内容406的缓冲。在步骤424中完成子视频内容406的缓冲。如果切换控制器412立即实施切换，则在缓冲360度子视频内容的同时，在用户观看2D父视频和360度子视频之间会有延迟。相反，切换命令按钮仅在使用时出现，这将导致父视频内容与子视频内容之间的无缝转变。因此，任何缓冲时间段对于观看者来说都是不明显的，并且不会导致视频内容观看的间隙。因此，在框426中，在完成切换到子360度视频406之前，子2D视频404继续播放。

在各种实施方式中，视频播放器330可以包括多个视频播放器或用于多个视频播放器的代码。在一些情况下，视频播放器330可以包括用于多种类型的视频播放器的代码。例如，每个视频播放器可以包括呈视频播放器330代码的方法或例程。在某些情况下，多个视频播放器中的每一者可以被配置为播放不同类型的视频内容。第一视频播放器可以被配置为播放传统2D视频，第二播放器可以被配置为播放360度交互式视频，第三视频播放器可以被配置为播放3D视频，等等。在某些情况下，一次只有一个视频播放器是活动的(例如，在前台)。例如，当显示2D视频内容时，其它视频播放器(诸如360视频播放器、3D视频播放器等)可以是不活动的，以节省处理资源。在另一个示例中，其它视频播放器可以在后台进行操作，以便准备内容以供在用户激活那个类型的视频内容的情况下重放。例如，不活动视频播放器可以连续地获得并缓冲视频以供显示，所以播放器可以相对无缝地在视频内容类型之间进行切换而没有中断。

在额外说明性实施方式中，视频播放器330被配置为确定从服务器310串流或由服务器310以其它方式传输、在本地获得以供重放或以其它方式提示用于重放的视频的类型。基于所确定的视频类型，视频播放器330可以激活适当视频播放器或适当视频播放器特征。例如，如果确定待播放360度交互式视频，则激活被配置为播放360度视频的360度视频播放器或特征。如果确定待播放2D线性视频，则激活2D视频播放器或2D视频播放器特征，并且可以去激活其它特征。在某些情况下，视频播放器330可以基于视频的文件格式、与视频相关联的元数据、视频内容的评估或者基于其它属性来确定视频的类型。

图5是示出用于确定待从服务器提供的视频类型的过程的流程图。在步骤502中，服务器提供视频内容文件。在步骤504中，从视频文件中获得元文件。例如，使用可以包括元数据和同步信息的元文件，在步骤506中执行切换算法(逻辑)以生成切换信号。在步骤508中，将切换信号输入到切换控制器。基于元文件信息，切换控制器在框510中确定是否隐藏360度视频。如果切换控制器确定应当隐藏360度视频，则在步骤512中停用360度视频。如果切换控制器确定不应隐藏360度视频，则在步骤514中启用360度视频特征，在步骤516中启用360度视频播放器，并且在步骤518中提示重放360度视频。可以按任何次序或同时开始步骤514、516。基于元文件信息，切换控制器在框520中确定是否隐藏2D视频。如果切换控制器确定应当隐藏2D视频，则在步骤522中停用2D视频。如果切换控制器确定不应隐藏2D视频，则在步骤524中启用2D视频特征，在步骤526中启用2D视频播放器，并且在步骤528提示重放2D视频。可以按任何次序或同时开始步骤524、526。

图6是根据各种实施方式的交互式内容的示例显示。在所示的实施方式中，与电视相关联的视频播放器显示第一类型的视频内容，诸如2D线性视频。在显示器602中，可以显示图标610(例如，陈述“360°”的图标)或其它指示符以允许用户切换到另一种视频格式。用户可以使用说明性输入装置604选择图标610，并且作为响应，视频播放器可以从第一类型的视频内容切换到第二类型的视频内容，诸如360度交互式视频。当播放器切换到第二类型的视频时，被配置为显示第二类型的视频的视频播放器的特征被激活。例如，在切换到360度交互式视频后，视频播放器可以被配置为接收来自控制装置(诸如遥控器、移动装置或其它输入装置)的触摸输入。还可以显现与360度交互式视频相关的其它特征。

与2D视频内容相关的特征的示例包括重放、快进、倒回、暂停和停止。此外，可以提供另一种视频格式访问和返回按钮。

与360度视频内容相关的特征的示例包括重放、快进、倒回、暂停、停止和360度视频导航(例如参见图7和图8)。此外，可以包括先前视频格式访问和返回。

与3D视频相关联的特征的示例包括重放、快进、倒回、暂停、停止、先前视频格式访问和返回、3D视频旋转(例如参见图7和图8)。如果3D视频旋转被启用，则其可以被配置为围绕对象旋转，不同于全景图像导航。

在说明性实施方式中，可以仅在特定时间处显示图标610或用于在视频内容类型之间进行切换的其它切换机制或界面。在说明性实施方式中，图标610可以仅当额外视频内容可用时才可用。举例来说，视频内容(例如，电视节目、电影、广告等)可以用两种类型的视频格式来记录，每一者具有不同的持续时间。例如，第一类型的视频内容可以包括覆盖电视节目、电影、广告等的整个长度的2D视频。第二类型的视频内容(诸如360度交互式内容)可以与电视节目、电影、广告等的较短部分相关。第二视频内容可以包括奖励镜头。第二类型的视频内容可以包括(例如)与电视节目中的特定场景相关联的较短内容部分。当第一视频内容播放时，视频播放器可以连续地或间隔地评估第二类型的视频内容是否可用。当第二类型的视频内容可用于显示时，显现图标610或其它机制或界面，使得观看者能够在视频类型之间进行切换。观看者可以点击图标610或提供其它输入来将视频内容从当前显示的第一类型的内容切换到第二类型的内容。在某些情况下，播放器可以在呈第一格式的视频(例如，2D线性视频)与呈第二格式的视频(例如，全景视频)之间自动切换。

在一些实施方式中，第一类型的视频内容可以与第二类型的视频内容同步。例如，电视节目可以以二维视频、360度交互式视频或其它格式拍摄。呈多种不同格式的视频内容可以被时间同步。在某些情况下，重放持续时间(例如，过去的时间、剩余的时间等)可以跨多种类型的视频来同步。例如，电视节目可以包括捕获节目的持续时间的2D视频和用于节目中的特定场景的360全景视频。两种视频格式的时间或重放持续时间可以被同步，使得视频播放器可以在两种视频格式之间来回切换而基本上不会中断内容的时间流。观看者可能能够从在特定时间处的第一视频格式重放(例如，2D视频)切换到在那个相同时间处的第二视频格式重放(例如，360度交互式视频)。在一个示例中，当用户提供请求切换到360度交互式视频的输入时，从时间0:00到1:21显示电视节目的2D视频。360度交互式视频接着可以从相同时间1:21开始播放，该时间可以是两种格式之间的主控时间或通用时间。用户稍后可以在2:45处切换回到2D视频，并且2D视频将在电视节目中在那个时间处开始。用户可以稍后在6:34处切换到三维视频，以此类推。本文所公开的技术可以在不中断视频重放的情况下提供视频内容格式之间的无缝转变。

内容切换元数据类型的说明性示例包括：

具有单个定时360视频内容的视频点播(VOD)；

具有非定时360度视频剪辑的VOD；

具有多个定时360视频剪辑的VOD；

具有并行等长360视频剪辑的VOD；

具有多个360视频剪辑的实况视频；以及

具有并行360馈送的实况。

说明性“非定制”或普通360视频体验包括不定时到视频点播的视频内容和定时到VOD的视频内容。在非定时情形中，启动子视频内容，播放整个内容或剪辑，并且观看者返回到父视频中的与在起始子视频内容时相同的点。在视频内容定时到VOD情形中，启动子视频，并且接着将返回到父视频偏移子持续时间。

举例来说，在非定时情形中，父视频运行五分钟。在五分钟标记处，启动子视频。子视频运行持续其整个持续时间或者直到用户开始切换回到父视频内容为止。当恢复父视频时，其在五分钟标记处恢复。

在定时情形示例中，父视频运行五分钟，启动子视频并运行两分钟。当再次启用父视频时，其在七分钟标记处开始以容纳与子视频内容相关联的两分钟偏移。

基于以上两种情形，或者代替它们，系统可以被配置为允许子视频剪辑用作分支点以允许“选择你自己的冒险路线”体验或者其它类似的观看或参与体验。这可以通过灵活的元文件信息来实现，例如(clip_launch_offset_by_parent_return_to_time)，其允许实施一个或多个360格式视频或其它额外视频内容作为来自“普通(vanilla)”或非定制情形的分支点。

对正在执行上述两个用例中的哪一者的决定将由同视频文件相关联的元数据或其它信息与在内容切换系统背后的逻辑(即，内容切换算法)之间的通信来控制。如本文所使用，“算法”可以是用于实行所需功能的单个算法或多个算法。多个算法可以相互结合或单独地工作，这取决于其功能。内容切换系统逻辑将“收听”元文件信息，其将提供：1)正在实践的用例；2)父文件相对于额外内容文件的持续时间；以及3)父文件中应当出现额外文件的时间点。

两个文件的时间同步将由内容切换算法使用通用时钟来执行，所述通用时钟独立于哪个文件正在占用重放来运行。通用时钟遵循两个“时钟”(例如，2D视频时间和额外内容时间)，并且依据用例情形(诸如上述情形)匹配或不匹配重放时间。

为了使内容切换格式看起来无缝，系统可以预期额外内容可用性并且在出现内容切换按钮之前开始额外视频内容文件的缓冲。因此，一旦用户选择内容切换，额外内容的重放便将是瞬时的或接近瞬时的。

如果额外内容的开始-结束时间没有与视频内容相关联(诸如在视频内容的元文件中)，则系统将启用在“父”内容的整个持续时间内访问额外内容。

图9是示出父文件(诸如VOD文件)和两个子360度视频内容文件的说明性实施方式的流程图。在步骤902中，提供视频内容文件，在这个示例中称为父文件，其元文件中嵌入有文件名和持续时间。在步骤904中还提供子视频剪辑906、908。如果视频剪辑906、908与父视频同步，则其将根据时间表启动，该时间表以元数据或其它元文件代码的形式嵌入在视频文件中。例如，参见下文描述的图10。为了启动视频剪辑906、908中的一者，在步骤910中，系统读取父文件以获得时序信息。在步骤912中，系统确定父文件视频剪辑906、908应当启动多长时间。在步骤914中，父视频正在进行，即正在展示。在步骤916中，系统已经辨识到应当启动子剪辑906或908并且隐藏父视频。在一些实施方式中，隐藏父视频并且展示子视频的过程不是自动的，或者自动定时可以被用户推翻。在步骤918中，存在偏移，所述偏移可以被实施为准备当前隐藏的视频用于启动，例如通过对其进行缓冲。步骤936反映了试图确定父视频内容和子视频内容是否同步的系统逻辑。如果其被同步，则在步骤938中，在偏移时间段期间准备隐藏的视频内容以供启动，并且在当前运行的视频内容完成后，播放器隐藏那个视频内容，并且通过致使先前隐藏的视频内容展示来展示或使用户返回到先前隐藏的视频内容。

在图9的说明性情况下，在步骤920中，通过云访问视频剪辑906或908。在步骤922中，子视频持续时间结束，并且在步骤924中，父视频恢复播放。

如图9进一步示出，任选地，在步骤926中，用户可以通过选择两条或更多条路径中的一者来选择“选择你的冒险路线”体验。在这个说明性示例中，当前视频具有在视频图像中识别的两个不同位置，即位置1和位置2。例如，位置1可以与门相关联，并且位置2可以与楼梯相关联。用户可以在旋转到步骤928中的位置1(其将带用户穿过门)与框930中的位置2(其将带用户上楼梯)之间进行选择。一旦选择了分支，相关联的视频内容将启动。在完成所选择的视频内容冒险后自动地，或者当用户选择时，位置1视频内容冒险或位置2视频内容冒险将结束，并且播放器将在步骤932或934中返回到父视频内容，根据具体情况而定。用户还可以能够选择返回到父视频中的哪个时间点。例如，通过选择旋转到位置1，观看者被带到父视频中的时间“X”(例如，8分钟)，并且通过选择位置2，用户被带到父视频的时间“Y”(例如，14分钟)。

请注意，在一些情况下，图9所示的步骤和本文描述的其它流程图可以按不同次序或同时实行。

图10是示出在第一子视频内容文件与第二子视频内容文件之间的播放器切换的时序图。在第一播放持续时间702内显示父视频内容。接着在第二播放持续时间704期间隐藏父视频内容。在第二播放持续时间704期间，显示第一子视频内容。应注意，在播放持续时间704之前，第一子视频内容正在偏移时段706期间被逐渐增加以供显示。在偏移持续时间706期间，第一视频内容文件可以被缓冲或以其它方式准备运行。在第二播放持续时间704的结束处，使父视频内容返回以供在第三播放持续时间708内重放。在第三播放持续时间708的结束处，访问第二视频内容文件。可以在偏移持续时间710期间准备第二视频内容，例如通过缓冲。在第四播放持续时间712内播放第二子视频内容。在第四播放持续时间712结束后，父视频内容的播放在播放持续时间714内恢复。偏移时段706、710有助于父视频内容与子视频内容之间的无缝或接近无缝转变。

当正在硬件装置上播放父视频(例如，2D视频)时，内容切换可以在后台运行通用时钟。内容创建者将决定额外内容(例如，360度视频、3D视频)将在父视频重放期间何时出现，并且将例如使用元数据作者工具将这个信息插入到子或额外内容视频元文件中。如上陈述，存在多个同步选项。

图11是根据说明性实施方式的用于控制交互式内容的界面的示例的示意图。在所示的示例中，360度全景视频370(例如，全景视频、360度交互式视频等)包括场景的360度视图。全景视频可以使用布置成阵列的多个摄像机来捕获。多个相机的图像被拼接在一起以创建场景的360视频。全景视频370的一部分在视觉显示器372(诸如电视机、计算机监视器、膝上型电脑、数字广告牌、投影仪、移动装置、平板电脑、数字相框、数字视频框和/或任何其它显示器)上显示。因为大多数视觉显示器372大致是二维的，所以显示输出374在任何时刻都可以仅包括全景视频的一部分。观看者可以使用控制装置(诸如遥控器、触摸板、移动装置、鼠标、基于运动的控制器、红外遥控装置或任何其它合适装置)来围绕全景视频370移动。观看者可以使用控制装置来控制显示器376的地理空间图像。

返回到图7，示出了根据各种实施方式的用于控制交互式内容的界面的示例的示意图。在所示的示例中，使用控制装置386(例如，移动装置)控制向用户显示的全景视频380的一部分。在定向输入之前显示全景视频的第一部分382，其包括全景场景内的第一区域的视频。在所示的示例中，第一区域包括许多动物。在外部装置386处接收用于将相机向右移动的定向输入。定向输入可以包括在(例如)移动装置386的触摸界面或与系统兼容的其它输入装置上的向右触觉输入。基于定向输入，将显示输出向右移动到全景视频显示的第二部分384。在视频显示器(例如，电视、移动装置、平板电脑等)上显示视频显示的第二部分384。在所示的示例中，全景视频的第二部分384包括斑马。显示输出可以从第一显示输出382平滑地转变到第二显示输出384。在某些情况下，显示可以与观看者在外部装置386上的触觉输入成比例地移动。使用这种方法，用户可以使用触觉输入来控制显示输出的地理空间图像以观看全景视频380的任何部分。可以接受定向输入的许多替代控制装置中的一者的进一步示例被示出为控制装置390。

在各种实施方式中，可以在外部装置386上输入多种远程触觉定向输入。可以将输入到控制装置386的定向输入(例如，上、下、右和左)作为信号发送到与显示器(诸如与电视、平板电脑、移动装置、广告牌等对接的视频串流视频播放器)相关联的接收器。接收器可以经由(例如)蓝牙、近场通信(NFC)、红外、Wi-Fi或其它连接来无线地配对到控制装置386。定向输入信号被处理以移动视觉显示器上的全景视频或图像展示的那部分。举例来说，如果握持远程装置的用户按压并按着控制装置386上的向上按钮，则电视机上的2D图像将在360度全景图像中向上移动。在说明性示例中，用户可以导航具有实况动作视频的街道视图类型界面。

返回到图8，示出了根据各种实施方式的用于控制交互式内容的控制装置810。控制装置810的陀螺仪传感器、加速度计或其它传感器[未图示]可以用于控制全景视频的显示。在说明性实施方式中，控制装置810的取向可以用于控制所显示的全景视频的那部分。控制装置810中的陀螺仪传感器可以测量装置的取向，并且所测量到的取向生成输出以控制全景视频的地理空间视角。在一个示例中，围绕第一轴(平移轴)的旋转横向或水平地旋转相机的地理空间视角。围绕第二轴(倾斜轴)的旋转垂直地旋转地理空间视角。在某些情况下，装置的加速、平移或移动用于控制所显示的全景视频的那部分。装置的移动(诸如沿着装置的x轴、y轴和z轴的移动)可以用于定向全景视频的地理空间视角。

图12是根据各种实施方式的用于控制交互式内容的说明性控制装置606的示意图。控制装置606(例如，移动电话、遥控器等)被倾斜以控制全景视频的地理空间视角。控制装置606可以(例如)相对于地球表面或另一参考系向下倾斜45度。作为响应，全景显示可以从第一显示输出620旋转到垂直向下45度的第二显示输出630。用户可以将控制装置606向上倾斜45度以返回到第一显示输出620。在另一个示例中，观看者可以沿着不同轴旋转控制装置606或倾斜控制装置606以探索全景视频620的其它区。全景视频620可以在所有方向上捕获图像，即在360度视图上。在所示的示例中，相机阵列可以放置在场景的中心。相机阵列可以各自指向不同方向，捕获360度地理空间周围环境的一部分。由每个相机捕获的视频或图像被拼接在一起以创建合成全景视频(或静止图像)，并且用户可以使用控制装置606来定向其地理空间视角以探索全景视频的不同区。实施方式包括用于创建或捕获全景静止图像或视频的任何装置。

图13是用于控制交互式内容的界面的示意图以及全景视频714和部分1至6的相关联示意图。控制装置710可以呈现一个或多个定向输入。每个定向输入可以定向显示输出，改变显示输出的取向，或者以预定方式控制地理空间取向。在一个示例中，定向输入可以包括一个或多个轴(诸如x轴、y轴或z轴)上的预设角度。y轴上的设定度数可以是零(起始位置，图像部分1)、y轴上的180度(倒转，图像部分2)、y轴上的负90度(左转，图像部分3)以及y轴上的90度(右转，图像部分4)。x轴上的设定度数可以是x轴上的90度(向上看，图像部分5)以及x轴上的负90度(图像部分6)。在某些情况下，将定向输入作为按钮或图标712在控制装置710(诸如移动装置)的触摸界面上呈现。用户可以按压触摸界面上的按钮来以预定义方式导航全景视频显示。还可以使用与切换系统兼容的其它输入装置。

上述示例是用于更改全景视频的地理空间视角的许多可能界面和控制技术中的几个。本领域的普通技术人员将了解，其它控制技术和装置可以用于操纵全景视频显示。

在进一步说明性实施方式中，广告视频内容允许用户切换到其它视频内容格式，包括允许用户选择他们自己的冒险路线。本文所描述的2D/360度视频内容切换方法和系统可以用于在广告视频内容中组合这两种格式。提供软件开发包(SDK)以用于实施两个或更多个视频内容格式之间的内容切换。SDK包含用于内容切换、获得和传递的逻辑以及360度视频播放器，但是可以从单独360视频播放器播放视频内容。其可以被配置为用于播放广告视频内容的统包解决方案。SDK提供逻辑和元文件信息以用于同步不同视频内容类型而无需改变移动应用程序或其它应用程序。SDK设置策略元素或切换相关逻辑，例如，包括同步元数据和视频持续时间。因此，应用程序的责任只是在适当的时刻调用SDK。当检测到360度视频内容时，SDK展示用于切换到360度内容的选项。这意味着用户的应用程序责任只是在正确的时刻(即，当用于播放360度视频广告的时段到来时)调用SDK。

可以使用各种广告格式。在说明性实施方式中，采用视频广告服务模板(VAST)3.0。这可以与广告网络服务器(诸如Freewheel)集成。可以使用Freewheel或其它广告网络服务器集成，并且可以通过使用VAST 3.0格式或其它模板播放内容并将广告荚(Ad pod)“滥用”于360度视频来促进集成(如果需要，可以进行不同配置)。广告管理运动和贩卖软件(诸如AdServer)可以在系统基础设施中运行，并且能够连接到广告网络服务器(诸如Freewheel)以获取额外库存并拉入360度视频，或者库存可以直接填充在广告网络服务器中。

在说明性实施方式中，广告荚或可以在内容视频播放之前、间断期间或之后播放的另一组顺序线性广告被用来指定可以被配置为在一个广告间断或多个广告间断内连续播放的多个广告元素。广告荚可以从顺应VAST 3.0的广告网络进行配置，并且传递给播放器。因此，系统的实施方式具有如下视频播放器，所述视频播放器“滥用”来自VAST 3.0规范的广告荚，并且将序列视为呈360度视频格式的广告替代物。当播放器遇到广告荚时，序列中的第二项目被视为360度视频，并且出现360度按钮。可以使用的说明性平台包括tvOS、iOS、Android和Web。说明性格式包括HLS和MPEG-DASH。

图14是例如待应用于广告的切换系统和过程的说明图。在框232中，媒体播放器230从广告服务器调用广告。广告网络服务器234接收信号。广告网络服务器234在框236中对框238中的占位符VAST做出响应，所述占位符VAST包含与视频格式之间的切换相关的值和参数。在框240中，正将信号发送到媒体播放器230，指示其是额外视频内容(诸如呈360度格式的广告)的时间。当其是播放广告的时间时，框242中的广告调度逻辑向媒体播放器230通信，如框244所描绘。

继续参考图14，在框246中，媒体播放器230从SDK 248调用360度广告视频。在框250中，SDK从服务器252调用360广告内容。接着，在框254中，服务器252发信号通知用于360度视频的VAST。接着将内容中继到SDK 248。SDK 248接着在框256中发送360度视频以供在媒体播放器230上播放。应注意，SDK 248和被展示为位于服务器252处的内容以及服务器功能中的任何一者或多者可以位于云中并在云中实行。

在说明性实施方式中，SDK 248被配置为跟踪用户在360广告重放内的观看位置、访问额外内容的频率并且出于目标营销目的收集并导出那个数据。可以使用在SDK中体现的算法、单独营销软件或组合来收集、分类、编译、导出并分析关于用户的动作、偏好或用于营销目的的其它有用数据的这个信息和额外信息。例如，如果观看者观看2D视频中的汽车广告并访问同一广告的360视频，则观看者将能够在那辆汽车内部导航并看到车辆内部的样子。例如，SDK 248将接着能够跟踪观看者花了多少时间“看”仪表板和车门。此外，可以针对特定观看者收集额外数据。如果观看者五次访问广告1(例如，奥迪商业广告)的额外360内容，并且在这个广告1中总共花费超过五分钟；并且此外，同一观看者仅一次访问广告2(例如，BMV商业广告)的360额外内容并花费20秒，则SDK 248可以收集那个信息并将其导出为数据文件，该数据文件可以被中继回到广告网络服务器234或直接中继到媒体播放器230(如果适用的话)。这个信息还可以用作对额外营销相关软件的输入以便采取进一步动作。

图15是示出与VR体验机相关联的内容切换的示意图。内容切换是在VR体验机内部执行的，其中初始馈送只是在局部3D环境(例如，虚拟客厅)内部的受限观看区域中展示并串流的2D视频内容。一旦选择了内容切换按钮，2D观看区域和局部3D环境被完整360度或3D/VR视频内容取代，在视频内容处观看可以接收用于整个360度环境的流。正如先前示例一样，切换可以前后移动。在框262中，服务器260将2D线性内容馈送到VR体验机264。启用2D线性内容流262，如插图图A中所示。2D线性内容流是动态的，因为其可以从服务器中选择。插图图A展示全景视频268的2D线性观看区域。内容切换按钮270可以用于选择2D线性视频266。在272处展示静态360/3D局部环境。返回到图15中的VR体验机264，展示了从服务器260获得360度/VR视频内容，并且在框274中执行缓冲。当选择或以其它方式开始额外内容时，在框278中激活切换控制器以提示视频内容切换。在框276中，根据图A停用2D线性视频以允许重放360度和VR视频。启用额外内容(诸如360/VR视频)，如在280和图B处所示。

图16描绘了在云中操作的视频内容类型切换系统和方法，其中从媒体播放器收听控制装置的功能特征(全景导航、播放、暂停等)也可以在云中执行。系统可以在云中执行所有渲染和功能，并且仅导出2D视频流。这样，将不必配置或更新媒体播放器盒。SDK逻辑将“欺骗”媒体盒(在这种情况下是电视电缆盒)以表现得就像其正在接收并串流仅仅普通2D线性视频。因此，盒子将不知道差异，并且即使其不能够进行渲染或360视频重放，其也将能够重放交互式视频内容。作为示例，仍可以通过在云中执行渲染和相关功能来使用处理能力不足以渲染除2D线性视频之外的任何内容的传统电缆盒。控制装置450经由输入信号向媒体播放器452发送命令。媒体播放器452向SDK 454发送命令信息。在框456中，SDK 454提供用于渲染360度视频以如控制装置所指示那样移动(诸如向左移动)的指令。在框458中，根据指令导航360度全景，在这种情况下是通过向左移动。在框460中，将360度视频裁剪到媒体播放器观看区域，在这个说明性示例中，裁剪到2D线性观看区域。接着，在框462中，这被作为2D视频流串流到媒体播放器452。以这种方式，初始2D视频内容看起来已经以具有360度视频能力的装置将需要的方式进行转变，然而，用户仅采用2D视频装置。

除非另有特别陈述，否则在整个说明书中，利用诸如“处理”、“计算”、“核算”、“确定”等术语的论述是指计算机或计算系统或者类似的电子计算装置的动作或过程，其操纵计算系统的寄存器或存储器内的表示为物理(诸如电子)量的数据或者将之转变成计算系统的存储器、寄存器或其它此类信息存储、传输或显示装置内的类似地表示为物理量的其它数据。

以类似方式，术语“处理器”可以指代处理来自寄存器或存储器的电子数据以将那个电子数据转变为可以存储在寄存器或存储器中的其它电子数据的任何装置或装置部分。“计算平台”可以包括一个或多个处理器和/或数据库。

图17是可以应用于本发明实施方式的说明性计算装置900的示意图。这个说明性实施方式包括处理器模块950、输出模块952、存储模块954、视频切换应用程序956、输入模块958和网络模块960。处理器模块950可以包括一个或多个任何类型的处理器，其可以根据本文所公开的方法和装置执行任何计算机代码并处理信号。输出模块952可以包括各种显示器，诸如体现在电视、智能电话、膝上型电脑、平板电脑等中的显示器，并且可以包括音频和视频输出。输入模块958可以包括智能电话触摸屏、电视遥控器、视频游戏控制器、键盘、系统特定控制装置以及与本文所描述的方法和系统兼容并被配置为与其一起工作的其它输入装置。存储装置954可以包括任何类型的存储器，其可以存储执行方法所必要的信息，保存数据，并且以其它方式用作计算机可读介质来实行本文所描述的动作。网络模块960可以包括用于连接到数据网络的硬件和软件。网络可以是无线、有线蜂窝蓝牙、移动或与本文所描述的系统和方法兼容的其它形式的网络。额外模块可以并入在系统中以实行本文所公开的功能，并且一些模块可以不被包括或者可以被组合成单个模块。

本发明的实施方式可以包括用于执行本文操作的设备。设备可以针对所需目的来专门构造，或者其可以包括由存储在装置中的程序选择性激活或重新配置的通用装置。

实施方式包括本文所描述的方法及其等同物、被编程为实行所述方法的非暂时性计算机可读介质以及被配置为实行所述方法的电子系统。还包括包含本文所描述的任何实施方式的视频播放器。计算机系统和任何子计算机系统包括：机器可读存储介质，其包含可执行代码；一个或多个处理器；存储器，其耦合到一个或多个处理器；输入装置；以及输出装置，其连接到一个或多个处理器。系统的部件可以是网络的一部分。所述系统和方法可以包括位于云中或所述系统或方法可以访问的其它远程位置中并且并入在其中的部分。

实施方式可以以许多不同方式体现为软件部件。例如，其可以是独立的软件包，或者其可以是作为“工具”并入在较大软件产品(诸如媒体或视频播放器)中的软件包。其可以能够从网络(例如，网站)下载，或者可以是独立产品或用于安装在现有软件应用程序中的插件软件包。其还可以作为客户端-服务器软件应用程序，或者作为支持网络的软件应用程序。实施方式包括通过存储编程逻辑来专门化的一个或多个计算机，所述编程逻辑使得一个或多个处理器能够执行本文所描述的技术和方法及其等同。

虽然本文中已经提到视频内容、视频格式、视频文件、视频类型等，但是相关联音频能够以类似方式来寻址并且可以被包括在内。因此，例如，如果需要或适当的话，在提到编码之处，其包括视频和音频编码。

已经描述了本发明的各种实施方式，其各自具有不同的元件组合。本发明不限于所公开的特定实施方式，并且可以包括所公开的元件的不同组合、一些元件的省略或者用此类结构的等同物替换元件。

尽管上文已经描述了本发明的各种实施方式，但是应当理解，它们仅仅是作为示例而非限制来呈现的。因此，本发明的宽度和范围不应受任何上述说明性实施方式的限制，而是应当仅根据所附权利要求书及其等同来界定。