使用多视点图像的差异信息来估计图像运动的方法和装置

摘要

提供一种用于处理多视点图像的方法和装置。所述方法包括：提取在第一视角的图像和第二视角的图像之间的差异信息；以及使用提取的差异信息来估计第一视角或第二视角的两个连续图像之间的运动。所述装置可以包括：处理器，其被配置为提取多视点图像中的第一视角的图像和第二视角的图像之间的差异信息，并且还被配置为使用提取的差异信息来估计第一视角或第二视角的两个连续图像之间的运动。

说明书

技术领域

该方法和装置涉及用于通过使用多视点图像(multi-view image)的差异 (disparity)信息来估计和处理多视点图像的运动的方法和装置。

背景技术

用于生成两个图像之间的图像的多视点图像的运动估计可以通过估计两 个连续图像之间的运动的方法或通过估计具有不同视角的两个图像之间的运 动的方法来执行。后者可以通过获取差异信息来执行，而前者可以通过获取 运动矢量来执行。

在这种情况下，当估计运动时，在两个连续图像之间(其中每个图像具 有独立的视角)，各视角的运动估计值可能缺乏一致性。

发明内容

技术问题

该方法和装置提供用于通过使用多视点图像的差异信息来估计和处理多 视点图像的运动的方法和装置。

有益效果

根据本发明构思的示例性实施例，当多视点图像处理装置通过在多视点 图像的每个视角处获取两个连续图像之间的运动估计信息而额外生成两个连 续图像之间的图像时，两个连续图像之间的运动估计信息可以通过考虑两个 视角之间的差异来获取以便加强两个视角之间的暂时运动估计信息的一致性 并且提高运动估计的性能。

附图说明

图1是根据本发明的实施例的描述处理多视点图像的方法的图；

图2是根据本发明构思的示例性实施例的图示处理多视点图像的方法的 流程图；

图3a和3b是根据本发明构思的示例性实施例的描述处理多视点图像的 方法的框图；

图4是图示根据本发明构思的示例性实施例的图3a和3b的方法的流程 图；

图5是用于描述根据本发明构思的另一示例性实施例的处理多视点图像 的方法的框图；

图6是图示根据本发明构思的另一示例性实施例的图5的方法的流程图；

图7a至8c是根据本发明构思的示例性实施例的多视点图像；

图9是根据本发明构思的另一示例性实施例的图示通过获取相应区域来 处理多视点图像的方法的流程图；

图10是根据本发明构思的另一示例性实施例的图示通过获取相应区域 来处理多视点图像的方法的流程图；以及

图11是根据本发明构思的示例性实施例的用于处理多视点图像的装置 的框图。

具体实施方式

根据本发明构思的一方面，提供一种处理多视点图像的方法。所述方法 包括：提取在第一视角的图像和第二视角的图像之间的差异信息；以及使用 提取的差异信息来估计第一视角或第二视角的两个连续图像之间的运动。

所述估计可以包括：使用提取的差异信息来获取第一视角和第二视角的 图像中的相应区域；估计第一视角和第二视角中的每一个的两个连续图像之 间的相应区域的运动；以及使用在其它视角处估计的运动信息来补偿在第一 视角和第二视角中的每一个处估计的运动信息。

所述估计可以包括：估计第一视角或第二视角的两个连续图像之间的运 动；以及使用提取的差异信息来补偿第一视角或第二视角的两个连续图像之 间的估计的运动信息。

所述估计可以包括：估计第一视角的两个连续图像之间的运动；以及使 用提取的差异信息和在第一视角处估计的运动信息来估计第二视角的两个连 续图像之间的运动。

所述提取可以包括同时提取第一视角和第二视角的两个图像之间的差异 信息。

提取两个连续图像中的至少一个的时间可以等于或接近于提取差异信息 的时间。

所述估计可以包括获取第一视角或第二视角的两个连续图像之间的运动 矢量。

所述方法还可以包括基于估计的运动信息生成第一视角或第二视角的两 个连续图像之间的图像。

示例性实施例可以提供一种用于处理多视点图像的装置，所述装置包括： 处理器，其被配置为提取多视点图像中的第一视角的图像和第二视角的图像 之间的差异信息，且还被配置为使用提取的差异信息来估计第一视角或第二 视角的两个连续图像之间的运动。所述装置还可以包括存储多视点图像的存 储器。

另一示例性实施例可以提供一种用于处理多视点图像的装置，所述装置 包括：至少两个相机，每一个拍摄彼此间隔开且与相机间隔开的两个对象； 以及处理器，其被配置为提取在该多视点图像中第一相机所拍摄的第一视角 的图像和第二相机所拍摄的第二视角的图像之间的差异信息，且还被配置为 使用提取的差异信息来估计第一视角或第二视角的两个连续图像之间的运 动。

另一示例性实施例可以提供一种用于处理多视点图像的装置，所述装置 包括：第一运动估计模块，其估计第一视角的两个连续图像之间的运动；第 二运动估计模块，其估计第二视角的两个连续图像之间的运动；以及差异提 取模块，其提取在第一视角的图像和第二视角的图像之间的差异信息；其中 两个运动估计模块基于提取的差异信息来估计两个连续图像之间的运动。

本申请要求于2012年7月10日在USPTO提交的美国临时申请第 61/669,757号以及于2012年9月11日在韩国知识产权局提交的韩国专利申 请第10-2012-0100654号的权益，通过引用将其全部公开内容结合于此。

在下文中，将参照附图更全面地描述本发明构思，附图中示出了发明的 示例性实施例。在下列描述及图中，不对已知的功能或构造进行详细描述， 因为它们将以不必要的细节模糊本发明。另外，贯穿说明书中，同样的参考 标记表示同样的元件。

下述说明书和权利要求中使用的术语或词汇不必被分析为具有普遍的或 词典的含义，并且必须在符合本发明构思的技术精神的含义和概念内被分析 以最适当地表示示例性实施例。因此，因为说明书中公开的示例性实施例和 图中所示的配置仅表示本发明构思的最具示例性的实施例，而不表示本发明 构思的所有技术精神，所以应当清楚，在应用了本发明构思示例性实施例时 会存在用于替换它们的各种等效物和修改。

诸如“其中的至少一个”的表达当在元素列表之前时，修饰整个列表的 元素而不修饰列表的单个元素。

图1是根据本发明构思的示例实施例描述处理多视点图像的方法的图。

参照图1，在时刻T0、T1、T2、T3和T4处，多视点图像的图像数据可 以根据每个视角存在。当能够显示多视点图像的显示设备显示多视点图像时 (其中随着时间的图像数据如图1中所示地根据每个视角存在)，必须获取图 像之间的运动估计信息以额外生成每两个连续图像之间的图像，从而自然地 显示图像。

根据本发明构思的示例性实施例，当多视点图像处理装置通过在多视点 图像的每个视角处获取两个连续图像之间的运动估计信息而额外生成两个连 续图像之间的图像时，两个连续图像之间的运动估计信息可以通过考虑两个 视角之间的差异来获取以便加强两个视角之间的暂时运动估计信息的一致性 并且提高运动估计的性能。

图2是根据本发明构思的示例性实施例的图示处理多视点图像的方法的 流程图。

参照图2，在操作S201中，根据本发明构思的示例性实施例的多视点图 像处理装置提取在第一视角和第二视角的图像之间的差异信息。在这种情况 下，从其提取差异信息的第一视角和第二视角的图像可以是同时拍摄的图像， 并且差异信息可以从多视点图像数据中的元数据中提取。提取差异信息的方 法不限于此，并且可以使用提供差异信息的各种方法。

在操作S203中，多视点图像处理装置通过考虑到提取的差异信息来估计 第一视角和第二视角中的每一个的两个连续图像之间的运动。在这种情况下， 提取两个连续图像中的至少一个的时间可以等于或接近于提取差异信息的时 间。另外，当多视点图像处理装置估计第一视角和第二视角中的每一个的两 个连续图像之间的运动时，多视点图像处理装置可以估计两个连续图像之间 的运动从而可通过运动估计信息生成的第一视角和第二视角的图像具有估计 的差异。

图3a和3b是根据本发明构思的示例性实施例的描述处理多视点图像的 方法的框图。在图3a和3b中，运动估计模块V_n和V_n-k 300和320、差异提 取模块310和运动估计补偿模块330可以是存储在根据本发明构思的示例性 实施例的多视点图像处理装置的存储器中的程序。

参照图3a，运动估计模块V_n 300可以估计第一视角的两个连续图像V_nT_m和V_nT_m+1之间的运动。在这种情况下，可估计的运动信息可以由运动矢量 表示。运动估计模块V_n-k 320可以估计第二视角的两个连续图 像V_n-kT_m和V_n-kT_m+1之间的运动，并且运动估计模块V_n-k 320所估计的运动 信息可以由运动矢量表示。差异提取模块310可以提取第一 视角的图像V_nT_m和第二视角的图像V_n-kT_m之间的差异信息

根据示例性实施例，运动估计模块V_n 300和运动估计模块V_n-k 320可以 通过考虑到差异信息来估计两个连续图像之间的运动。

在图3b中，还可以包括用于补偿运动估计模块V_n和V_n-k 300和320所 估计的运动矢量和的运动估计补偿模块330。

参照图3b，运动估计补偿模块330可以分别通过考虑到差异信息 或其它视角的运动估计信息或 来补偿运动估计模块V_n和V_n-k 300和320所估计的运动矢量 和

具体地，运动估计补偿模块330可以使用差异信息或 第一视角的运动估计信息来补偿第二视角的运动估计信息 第二视角的经补偿的运动估计信息可以由运动矢量 表示。

另外，运动估计补偿模块330可以使用差异信息或第 二视角的运动估计信息来补偿第一视角的运动估计信息 第一视角的经补偿的运动估计信息可以由运动矢量 表示。

图4是图示根据本发明构思的示例性实施例的图3a和3b的方法的流程 图。

参照图4，在操作S401中，根据本发明构思的示例性实施例的多视点图 像处理装置提取第一视角的图像和第二视角的图像之间的差异信息。在操作 S403中，多视点图像处理装置估计第一视角和第二视角中的每一个的两个连 续图像之间的运动。在操作S405中，多视点图像处理装置使用提取的差异信 息补偿在操作S403中估计的运动信息。例如，运动信息可以被补偿以使得可 通过运动信息生成的第一视角的图像和第二视角的图像具有对应于提取的差 异信息的差异。

图5是根据本发明构思的另一示例性实施例的描述处理多视点图像的方 法的框图。在图5中，运动估计模块V_n和V_n-k 500和520以及差异提取模块 510可以是存储在根据本发明构思的示例性实施例的多视点图像处理装置的 存储器中的程序。

参照图5，运动估计模块V_n 500可以估计第一视角的两个连续图像V_nT_m和V_nT_m+1之间的运动。在这种情况下，可估计的运动信息可以由运动矢量 表示。运动估计模块V_n-k 520可以估计第二视角的两个连续图 像V_n-kT_m和V_n-kT_m+1之间的运动，并且运动估计模块V_n-k 520所估计的运动 信息可以由运动矢量表示。差异提取模块510可以提取第一 视角的图像V_nT_m和第二视角的图像V_n-kT_m之间的差异信息

根据示例性实施例，运动估计模块V_n-k 520可以使用差异信息 和运运矢量可获取的运动信息来估计第二 视角的两个连续图像V_n-kT_m和V_n-kT_m+1之间的运动信息，并且运动信息可以 按照运动矢量来获取。换句话说，根据示例性实施例，多视 点图像处理装置可以使用两个视角之间的差异信息来估计一个视角的运动信 息，并且可以估计其它视角的运动信息。

图6是图示根据本发明构思的另一示例性实施例的图5的方法的流程图。

参照图6，在操作S601中，多视点图像处理装置提取第一视角的图像和 第二视角的图像之间的差异信息。在操作S603中，多视点图像处理装置估计 第一视角的两个连续图像之间的运动。在操作S605中，多视点图像处理装置 使用差异信息和估计的第一视角的运动信息来估计第二视角的两个连续图像 之间的运动。例如，第二视角的运动信息可以被估计以使得第二视角的图像 具有从第一视角的相应图像提取的差异，第一视角的相应图像可以基于在第 一视角处估计的运动信息来生成。

图7a至8c是根据本发明构思的示例性实施例的多视点图像。

图7a和7b示出了不同视角的两个图像，它们由两个相机同时捕获。参 照图7a和7b，在多视点图像中，关于不同视角生成的图像由于两个相机之间 的位置差异而具有全局差异。图7a中所示的图像的左边区域710未在图7b 中示出。另外，图7b中所示的图像的右边区域740未在图7a中示出。如果 图7a中所示的图像被移动到右边，则经移动的图像可以与图7b中所示的图 像类似。

因此，根据本发明构思的示例性实施例的多视点图像处理装置可以使用 差异信息来获取图7b中的相应区域730，该相应区域730对应于图7a中的当 前区域720。

图8a示出相机810和820，每个相机拍摄两个对象830和840，所述两 个对象830和840的位置与相机810和820分离并彼此不同。图8b示出位于 图8a左侧的相机810所捕获的图像，并且图8c示出位于图8a右侧的相机820 所捕获的图像。当其位置与图像平面分离且并不相同的两个对象830和840 被相机810和820在不同位置拍摄时，如图8a中所示，对象830和840的差 异彼此不同，如图8b和8c中所示。参照图8b和8c，更远离相机810和820 的对象830的差异小于更靠近相机810和820的对象840的差异。也即，多 视点图像中的每个区域的差异可以根据对象和相机之间的距离而变化。因此， 多视点图像处理装置可以针对多视点图像中的每个区域提取差异信息，并且 可以通过使用差异信息获取每个区域的相应区域来估计图像之间的运动，从 而提高运动估计执行的性能。

图9是根据本发明构思的另一示例性实施例的图示通过获取相应区域来 处理多视点图像的方法的流程图。

参照图9，在操作S901中，根据本发明构思的示例性实施例的多视点图 像处理装置提取第一视角的图像和第二视角的图像之间的差异信息。在操作 S903中，多视点图像处理装置获取第一视角和第二视角中的每一个的图像中 的相应区域。在操作S905中，多视点图像处理装置基于相应区域估计第一视 角和第二视角中的每一个的两个连续图像之间的运动。在操作S907中，多视 点图像处理装置基于相应区域使用提取的差异信息补偿在操作S905中估计 的运动信息。

图10是根据本发明构思的另一示例性实施例的图示通过获取相应区域 来处理多视点图像的方法的流程图。

参照图10，在操作S1001中，根据本发明构思的示例性实施例的多视点 图像处理装置提取在第一视角的图像和第二视角的图像之间的差异信息。在 操作S1003中，多视点图像处理装置获取第一视角和第二视角中的每一个的 图像中的相应区域。在操作S1005中，多视点图像处理装置基于相应区域估 计第一视角的两个连续图像之间的运动。在操作S1007中，多视点图像处理 装置使用差异信息和在第一视角处估计的运动信息、基于相应区域来估计第 二视角的两个连续图像之间的运动。例如，第二视角的运动信息可以被基于 相应区域来估计以使得第二视角的图像具有从第一视角的相应图像提取的差 异，所述第一视角的图像可以基于在第一视角处估计的运动信息来生成。

图11是根据本发明构思的示例性实施例的用于处理多视点图像的装置 1100的框图。

参照图11，装置1100可以包括：存储器1140，其存储多视点图像1141 和用于处理多视点图像1141的程序；以及处理器1130，其处理多视点图像 1141。装置1100还可以包括：显示器1120，其显示经处理的多视点图像；以 及输入单元1110，其从用户接收输入。

处理器1130可以通过运行存储在存储器1140中的程序来处理多视点图 像1141。存储在存储器1140中的程序可以根据其功能被分为多个模块，例如， 差异提取模块1142、运动估计模块1143、运动估计补偿模块1144、多视点图 像解码模块1145以及多视点图像再现模块1146。

差异提取模块1142可以提取第一视角的图像和第二视角的图像之间的 差异信息。提取的差异信息可以涉及整个图像或部分图像。从其提取差异信 息的第一视角和第二视角的图像可以同时被生成。

运动估计模块1143可以基于提取的差异信息来估计第一视角或第二视 角的两个连续图像之间的运动。当差异信息根据图像中的每个区域而不同时， 运动估计模块1143可以使用差异信息来获取第一视角和第二视角中的每一 个的相应区域，并且对每个相应区域执行运动估计。

根据本发明构思的示例性实施例，运动估计模块1143可以估计第一视角 和第二视角中的每一个的两个连续图像之间的运动并且使用差异信息来补偿 在第一视角和第二视角中的每一个处估计的运动信息。

根据本发明构思的另一示例性实施例，运动估计模块1143可以估计第一 视角的两个连续图像之间的运动，并且可以使用差异信息和在第一视角处估 计的运动信息来估计第二视角的两个连续图像之间的运动。第一视角和第二 视角不限于特定视角。提取两个连续图像中的至少一个的时间可以等于或接 近于提取差异信息的时间。也即，运动估计模块1143可以在提取差异信息之 时估计图像的暂时变化的运动信息。另外，运动估计模块1143可以通过获取 运动矢量来估计连续图像之间的运动。

运动估计补偿模块1144可以通过考虑到差异信息或另一视角的运动估 计信息来补偿估计的运动矢量。

具体地，运动估计补偿模块1144可以使用差异信息或在第一视角处估计 的运动信息来补偿在第二视角处估计的运动信息。另外，运动估计补偿模块 1144可以使用差异信息或在第二视角处估计的运动信息来补偿在第一视角处 估计的运动信息。

多视点图像解码模块1145可以使用运动估计模块1143所估计的运动信 息或运动估计补偿模块1144所补偿的运动信息来生成每个视角的两个连续 图像之间的图像。

多视点图像再现模块1146可以控制显示器1120使用多视点图像解码模 块1145所生成的图像来显示多视点图像。根据本发明构思的示例性实施例， 多视点图像再现模块1146可以控制显示器1120使用多视点图像解码模块 1145所生成的图像来显示图像。

本发明构思还可以具体实现为非暂态计算机可读记录介质上的计算机可 读代码。非暂态计算机可读记录介质是可以存储可在其后由计算机系统读取 的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器 (ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设 备等等。

虽然已经参照其示例性实施例具体示出和描述了本发明构思，但是本领 域普通技术人员将会理解，可以在其中进行形式和细节上的各种变化而不脱 离权利要求书所限定的本发明的精神和范围。