利用去间隙成比例缩略图的双时间线的视频编辑软件

摘要

一种显示已记录视频的时间线的方法，包括以下步骤：将已记录视频划分为多个时间跨度；对已经记录视频的每个时间跨度提供缩略图和时间戳；对其中不存在已记录视频的每个时间跨度提供缩略图之间的间隙和时间戳；显示具有未压缩格式的包含已提供缩略图和时间戳以及已提供间隙和时间戳的第一时间线；接收请求第一时间线被压缩的用户输入；从第一时间线移除间隙和它们相应的时间戳并且移动位于间隙任一侧上的缩略图和它们的时间戳，以使得间隙的任一侧上的缩略图相邻，以提供已压缩时间线；以及显示已压缩时间线。

说明书

相关申请

本申请是2011年12月21日(2011.12.21)提交的美国专利申请序列号 为US 13/332,768的继续并且要求其优先权，其全部教导通过引用并入本 文。

技术领域

本申请大体关于显示和审查(review)已记录视频，尤其关于经由包含 缩略图的视频时间线显示和审查已记录视频。

背景技术

这里使用的缩略图意味着从表示视频记录的时间边界片段的视频记录 采样的静止视频(也称为快照(snapshot))。取决于对时间线的缩放设置(zoom  setting)，每个缩略图可以表示已记录视频的不同时间跨度(timespan)，例如， 范围从一分钟到一个小时到一天。

使用缩略图表示已记录视频向用户提供了审查事件的直接、直观的方 法。然而，缩略图时间线呈现若干冲突的要求。用户需要缩略图足够大，以 使得他可以察觉场景随时间的差异。时间线也需要以足够的粒度伸缩，以使 得用户可以精确地导航(navigate)到特定的时间点。例如，用户可以使用 可以在时间线上水平重新定位的垂直控制的时间刷(scrubber)。如果用户向 左移动时间刷，则视频时间线在时间上向后移动，由此对视频倒带。如果用 户向右移动时间刷，则视频时间线在时间上向前移动，由此使得视频快进。 时间线需要与表示已知时间跨度的每个缩略图成比例，以使得滑动导航 (scrubbing navigation)将感觉自然和可预测。

审查安保视频时的常见要求是定位其中意外的准确时间未知的事件的 连续镜头(footage)。用户寻求具有宽时间帧和寻找什么的多或少的明确想 法的系统。在该情况下，显示表示已记录的事件序列中的不同点的缩略图向 用户提供了审查视频记录的直接、直观的方法。该缩略图提供指示标记，以 帮助用户知道向哪里放置该时间刷。如果用户看到一些感兴趣的事情，则他 可以拖动该时间刷到该点。随着用户沿着时间线移动时间刷，工作空间中的 视频被更新。

另一方面，时间线中可能存在间隙，这是因为视频被设置为仅在警报或 者动作时记录，或者因为视频已经被剪除(prune)。在该情形下，缩略图尺 寸和时间线粒度将针对用户的兴趣而工作，以要求他很长地(at length)滑 动(scrub)或者点击若干次，从而绕过视频不可用的时间线的部分。用户可 以缩小以跳过间隙，但然后他必须花费时间放大回去，以在该场景下观看细 粒度化的改变(fine-gained changes)。另一选择是编程界面以永久隐藏视频 中的间隙；然而，这将导致丧失时间线的可预测线性度和同步滑动的能力。

因此，在业界已经存在当视频包含没有已记录视频的间歇时间跨度时经 由包含缩略图的时间线高效地并且有效地显示和审查已记录视频的方法和 系统的需要。

发明内容

显示已记录视频的时间线的方法的示例包括以下步骤：将已记录视频划 分为多个时间跨度；对已经记录视频的每个时间跨度提供缩略图和时间戳； 对其中不存在已记录视频的每个时间跨度提供缩略图之间的间隙和时间戳； 显示具有未压缩格式的包含已提供缩略图和时间戳以及已提供间隙和时间 戳的第一时间线；接收请求第一时间线被压缩的用户输入；从第一时间线移 除间隙和它们相应的时间戳，并且移动位于间隙任一侧上的缩略图和它们的 时间戳，以使得间隙的任一侧上的缩略图相邻，以提供已压缩时间线；以及 显示已压缩时间线。

这种方法的实现方式可以包括一个或者多个以下特征。该方法还包括在 存在间隙处提供指示符，以使得指示符在位于间隙的任一侧上的缩略图之 间。该方法还包括从用户接收输入，请求已压缩时间线被改变为未压缩格式。 在该方法中，已记录视频包括第一已记录视频和第二已记录视频，并且将已 记录视频划分为时间跨度的步骤包括：将第一已记录视频和第二已记录视频 划分为具有相同时间长度的时间跨度，该方法还包括确定其中第一已记录视 频和第二已记录视频均具有间隙的时间跨度，以及从第一时间线移除间隙和 它们相应的时间戳并且移动位于间隙的任一侧上的缩略图和它们的时间戳 的步骤包括：从第一时间线移除间隙和它们相应的时间戳并且移动位于间隙 的任一侧上的缩略图和它们的时间戳，以使得间隙的任一侧上的缩略图相 邻，以对其中第一已记录视频和第二已记录视频均具有间隙的时间跨度提供 已压缩时间线。

用于显示已记录视频的时间线的系统的示例包括：存储器，用于存储已 记录视频；输入端，用于接收用户输入；输出端，用于向显示器提供信号； 以及处理器，与存储器、输入端和输出端通信，该处理器适配为将存储器中 存储的已记录视频划分为多个时间跨度，对已经记录视频的每个时间跨度提 供缩略图和时间戳，对其中不存在已记录视频的每个时间跨度提供缩略图之 间的间隙和时间戳，生成信号以显示具有未压缩格式的包含已提供缩略图和 时间戳以及已提供间隙和时间戳的第一时间线，向输出端提供信号以在输入 端上接收用户输入，请求第一时间线被压缩，从第一时间线移除间隙和它们 相应的时间戳并且移动位于间隙任一侧上的缩略图和它们的时间戳，以使得 间隙的任一侧上的缩略图相邻，以提供已压缩时间线，以及向输出端提供信 号以显示已压缩时间线。

这种系统的实现方式可以包括一个或者多个以下特征。处理器进一步适 配为在存在间隙处提供指示符，以使得指示符在位于间隙的任一侧上的缩略 图之间。该处理器进一步适配为在输入端上接收来自用户的输入，请求已压 缩时间线改变为未压缩格式。已记录视频包括第一已记录视频和第二已记录 视频，并且其中，该处理器进一步适配为将第一已记录视频和第二已记录视 频划分为具有相同时间长度的时间跨度，确定其中第一已记录视频和第二已 记录视频均具有间隙的时间跨度，从第一时间线移除间隙和它们相应的时间 戳并且移动位于间隙的任一侧上的缩略图和它们的时间戳，以使得间隙的任 一侧上的缩略图相邻，以对其中第一已记录视频和第二已记录视频均具有间 隙的时间跨度提供已压缩时间线，并且向输出端提供信号用于显示已压缩时 间线。

非瞬时计算机可读介质的示例包括配置为使得处理器进行以下的指令： 将已记录视频划分为多个时间跨度；对已经记录视频的每个时间跨度提供缩 略图和时间戳；对其中不存在已记录视频的每个时间跨度提供缩略图之间的 间隙和时间戳；显示具有未压缩格式的包含已提供缩略图和时间戳以及已提 供间隙和时间戳的第一时间线；接收用户输入，请求第一时间线被压缩；从 第一时间线移除间隙和它们相应的时间戳，并且移动位于间隙任一侧上的缩 略图和它们的时间戳，以使得间隙的任一侧上的缩略图相邻，以提供已压缩 时间线；以及显示已压缩时间线。

这种非瞬时计算机可读介质的实现方式可以包括一个或者多个以下特 征。该非瞬时计算机可读介质还包括配置为使得处理器在存在间隙处提供指 示符，以使得指示符在位于间隙的任一侧上的缩略图之间的指令。该非瞬时 计算机可读介质还包括配置为使得处理器在输入端上接收来自用户的输入， 请求已压缩时间线改变为未压缩格式的指令。已记录视频包括第一已记录视 频和第二已记录视频，配置为使得处理器将已记录视频划分为时间跨度的指 令包括：配置为使得处理器将第一已记录视频和第二已记录视频划分为具有 相同时间长度的时间跨度的指令；该非瞬时计算机可读介质还包括配置为使 得处理器确定其中第一已记录视频和第二已记录视频均具有间隙的时间跨 度的指令；以及配置为使得处理器从第一时间线移除间隙和它们相应的时间 戳并且移动位于间隙的任一侧上的缩略图和它们的时间戳的指令还包括：配 置为使得处理器从第一时间线移除间隙和它们相应的时间戳并且移动位于 间隙的任一侧上的缩略图和它们的时间戳，以使得间隙的任一侧上的缩略图 相邻，以对其中第一已记录视频和第二已记录视频均具有间隙的时间跨度提 供已压缩时间线的指令。

通过审查下面的详细描述、附图和权利要求将更全面理解这里描述的处 理和系统以及其附加优点、应用和特征。

附图说明

图1是可以实现显示时间线的不同方面的监视系统的一个实施例的框 图。

图2是图1所示的工作站的一个实施例的示例性框图。

图3是图示时间线的一个实施例的示例性屏幕快照。

图4是图示时间线的一个实施例的示例性屏幕快照。

图5是图示尚未被压缩的时间线的一个实施例的示例性屏幕快照。

图6是图示已经被压缩的时间线的一个实施例的示例性屏幕快照。

图7是实现压缩时间线的方法的一个实施例的示例性流程图。

具体实施方式

参考图1，视频监视系统10具有可以是闭环网络、局域网或者广域网的 网络12，诸如因特网。多个相机14、16和18被连接到网络12，以提供实 时视频流。例如，可以是监视系统10的控制点、个人计算机或者借助膝上 型计算机登录到监视系统10的用户的工作站22被连接到网络12。设备20 被连接到网络12，并且可以是另一工作站、控制点、网络管理员、系统存储 器、数字视频记录器(DVR)或者其他适当设备的一部分。一个或者多个相 机14、16和18可以是诸如PTZ相机之类的可移除相机，其允许用户调整相 机的云台(pan)、倾斜和变焦并且可以具有它们自己的存储器用于存储预置 和旅行信息。来自相机14、16和18的视频流可以由工作站22或者设备20 或者二者记录和存储用于用户未来显示、审查或者分析。

参考图2，以框图形式示出执行显示从一个或者多个相机接收到的已记 录视频流的各个方面的示例性工作站的一个实施例。工作站22具有连接到 输入/输出24、ROM 28、RAM 30、视频显示器35、存储器32和用户输入 设备36的中央或者主机处理器26。用户输入设备36可以是键盘、鼠标、控 制器或者其他适合的输入设备。处理器26响应于来自用户输入设备36的用 户输入，实现存储在ROM 28、例如可以是硬驱动的存储器32、或者位于网 络12的其他地方的设备20中的算法和程序，并且向显示器35提供输出信 号。来自相机14、16和18的视频流例如可以被存储在工作站22或者设备 20中。此外，输入/输出24可以接收来自设备20的诸如程序代码的信号， 以实现显示用于显示已记录视频流的时间线的各个方面。

参考图3，在显示器102上示出示例性时间线100，该显示器102例如 可以是图2中所示的工作站22的显示器35。时间线100具有多个缩略图104 到113，每个表示来自单个相机(诸如例如图1中的相机12)的视频记录的 时间边界片段。缩略图104-113图示为空矩形框；然而，在实际应用中，每 个缩略图104-113将包含时间的相应点处的已记录视频的快照。时间刷114 是可以由用户在时间线100上水平重新定位的垂直控制。如果用户向左移动 时间刷114，则时间线100在时间上向后移动，由此对视频倒带。如果用户 向右移动时间刷114，则时间线100在时间上向前移动，由此使得视频快进。 时间线100与表示由位于相应缩略图之上的相应时间戳108指示的已知时间 跨度的每个缩略图104-113成比例，以使得滑动导航感觉自然和可预测。例 如，缩略图104具有时间戳10：00并且缩略图113具有时间戳7：00，它们 之间的每个缩略图具有它们相应的按小时的时间戳。然而，应当注意，时间 的划分不必是小时；它们例如可以是天、小时、分钟和秒。可以从时间戳108 看到，缩略图104-113中的每个表示一个小时的时间跨度。时间线100具有 步进器(stepper)110和112，该步进器110和112是用户可以用鼠标点击以 分别向左或向右位移时间线100以示出时间线100的前N个或者后N个缩 略图的垂直控制。时间线100可以具有其他控制(未示出)用于与缩略图 104-113交互。

当针对特别在意外的时间和意外的地点未知的同步搜索添加附加相机 时，时间线100的调查值(investigative value)明显增加。图4图示其中显 示四个已记录视频流150、152、154和156的示例性时间线148。为了在典 型工作站显示器上显示时间线148，由于显示屏幕的尺寸限制，包括四个已 记录视频流的缩略图不能过大。此外，时间线148需要以足够的粒度伸缩， 以使得用户可以精确地导航(即滑动)到时间上的特定点。

为了实现所有这些目的，可以使得时间线的缩放水平可调整。缩小显示 了更宽的时间跨度，并且允许用户观察到场景中的主要改变，例如灯开或者 灯灭、对象呈现或者失踪等。放大允许用户深入(drill down)到更窄的时间 跨度，并且看到更细节的缩略图集合。这允许用户在开始回放视频的时间消 耗和密集带宽任务之前导航到感兴趣时间发生的精确点。然而，可缩放时间 线方案当在视频记录中存在间隙时变得不太有效率。这些间隙可能由仅在一 天的特定时间或者仅当检测到运动或者触发警报时捕获视频的记录安排引 起。例如当基于确定视频是否满足特定预定标准以潜在地感兴趣或者是否应 该被保留的算法来剪除视频(即，被垃圾收集)时，间隙也可能发生。在该 情形下，缩略图尺寸和时间线粒度将针对用户的兴趣而工作，以要求他长时 间地滑动或者点击若干次，从而绕过视频不可用的时间线的部分。

参考图5，示出图示没有被压缩的时间线的一个实施例的示例性屏幕快 照。时间线500具有三个视频流502、504和506，该视频流502、504和506 具有由上面讨论的矩形框指示的缩略图和指示该特定时间跨度不存在视频 的真空区。不存在已记录视频的时间地点导致单个流的间隙。如果在相同时 间跨度期间每个视频流中存在间隙，则导致已记录视频数据中的对应间隙 508和510。对应间隙508和510在该示例性图示中被定义为时间跨度，其 中，每个视频流在相同时间跨度处具有视频数据的间隙。图5中示出很多其 他视频间隙，但这些其他视频间隙不具有相同时间跨度期间的相应视频流的 每一个中的已记录视频数据的对应间隙。时间线500具有时间刷512和步进 器514和516用于导航时间线500，如上讨论。此外，时间线500具有按钮 518，用户可以通过将鼠标指针520移动到按钮518上并且点击鼠标按钮以 激活由按钮518控制的功能来交互。按钮518使得用户能够在具有带有间隙 的时间戳522的线性时间单元的未压缩时间线显示或者具有没有对应间隙的 时间戳522的非线性时间单元的已压缩时间线显示之间选择。

图6是图示已经压缩的时间线的一个实施例的示例性屏幕快照。时间线 600图示在响应于用户点击按钮518已经被压缩之后的来自图5的时间线500 的一个实施例。已经在时间线600中移除对应间隙508和510，并且已经在 那里放置作为间隙指示符602和604的图标以指示用户已经移除对应间隙。 已经将间隙指示符602和604示出为四个小垂直圆形，如图示示例，但是任 何符号、地理形状、线等可以用于警告用户显示包含已经被压缩的间隙以使 得时间线600不是线性的事实。时间线600与时间线500相比，允许额外视 频数据被显示，并且由此允许用户跨广阔的时间而快速滑动。图6中被包围 并且由数字606指示的缩略图除了它们已经由于对应间隙的移除和产生的压 缩而在显示器上向左位移之外，与图5中那些被包围并且由数字522指示的 缩略图相同。示出至由数字606指示的缩略图的右侧的额外视频数据仅仅是 已记录视频流中的额外视频数据的示例。如果期望，则用户可以通过点击按 钮518返回图5的时间未压缩时间线，这允许用户容易地在压缩和未压缩时 间线显示之间随时(on the fly)来回切换。

这里描述的技术和/或条目的方面向用户提供观看和导航视频时间线的 灵活方法。未压缩视图提供线性表示，并且压缩后的视图允许用户快速地导 航到感兴趣的已记录视频。

图7是用于实现压缩时间线的方法的一个实施例的示例性流程图。方法 700在判定点702开始，在该判定点702，该方法等待指示时间线应该被压 缩的用户输入命令。如果接收到命令，则在块704，n被设置等于将在时间 线显示的视频流的数量。在步骤706，分析视频n以确定视频n中的一个间 隙或者多个间隙。在判定点708，该系统确定视频n中是否存在间隙。如果 判定否，则处理结束，这是因为如上讨论，在将在时间线中被显示以能够进 行压缩的所有视频流中必须存在对应间隙。如果存在间隙，则在步骤710， 注释间隙地点。在步骤712，n被设置等于n-1。在判定点714，确定n是否 等于零。如果否，则处理返回步骤706，以处理要在时间线中显示的下一视 频流。如果n等于零，则处理移动到判定点716，在判定点716，该方法确 定是否存在任何时间跨度(在时间跨度处，存在要显示在时间线中的所有视 频流的间隙)。如果答案是否，则处理结束。如果在所有视频流中存在一个 或者多个对应间隙，则在步骤718，处理在对应间隙地点放置间隙指示符， 并且压缩视频流尽管应当理解，贯穿该讨论，将随后向诸如图2中的显示器 35的显示器提供由方法700中的各种步骤指示的结果，但是随后处理进行至 结束点。

这里描述和示出的处理和方法可以存储在非瞬时计算机可读介质，该非 瞬时计算机可读介质指代用于存储由计算机可存取的数据的任何非瞬时存 储设备，例如磁硬盘、软盘、诸如CN-ROM或者DVD的光盘、磁带和存储 器芯片。已经参考这里讨论的各种实施例在显示、观看和分析由视频监视系 统记录的视频数据中使用；然而，可以在相机和由监视之外的商用和非商用 系统捕获的视频数据利用相同的处理和方法。

配置和实现方式的其他示例在本公开和所附权利要求的范围和精神内。例 如，由于软件的性质，可以使用由处理器、硬件、固件、硬布线和这些中的 任何的组合实现这里描述的功能。实现功能的特征也可以物理地位于不同位 置(包括被分布)以使得在不同物理地点处实现功能的多个部分。此外，如 这里使用，包括权利要求，以“至少一个”开始的条目的列表中使用的“或” 指示分离列表，以使得例如“A、B或C中的至少一个”的列表意味着A或 B或C或AB或AC或BC或ABC(即，A和B和C)。此外，要理解这里 可以公开不只一个发明。