一种立体图像处理方法、图像处理装置和相应的终端设备

摘要

一种立体图像处理方法、图像处理装置和相应的终端设备，该处理方法包括：获取立体图像的视差范围；对所述立体图像进行视差调整时，根据所述立体图像的视差范围和立体显示装置的视差特性，确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向；根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移。该图像处理装置包括获取单元，偏移参数确定单元和偏移单元，用于完成上述功能。本发明基于立体显示装置的视差表现能力，对要显示的立体图像进行动态视差调整，从而让立体图像在该立体显示装置上显示时，总是充分利用该立体显示装置的视差表现能力，提供给用户尽可能好的立体效果。

说明书

技术领域

本发明涉及一种图像处理技术，特别是涉及一种立体图像处理方法、图 像处理装置和相应的终端设备。

背景技术

目前立体显示技术已经快速发展起来，并被越来越多的用户所认可，其 中以眼镜式立体显示和裸眼式立体显示为市场上最常见的方式。其中，眼镜 式立体显示一般用在电影院或者家庭电视设备上，裸眼式立体显示一般应用 在笔记本电脑、平板电脑和手机等移动设备上。

针对个人消费者的立体显示装置的片源内容一般都是两个具备一定视差 信息的图像来构成的，我们称之为立体图像(stereo images)，构成立体图像 的图像分别称为左图像和右图像。

图1a和图1b分别示出了作为示例的立体图像的左图像和右图像，其中 有三个物体，分别是第一物体101，104(101为该物体在左图像中的标号，104 为该物体在右图像中的标号，其他物体同此)、第二物体102，105和第三物 体103，106。这三个物体分别具有不同的视差信息，其中第一物体具有正视差， 距离观众更近，凸出显示平面；第二物体102具有零视差，呈现在显示平面 上；第三物体具有负视差，距离观众更远，凹进显示平面。由于立体图像的 左图像(L)和右图像(R)可以颠倒放置，所以视差的正负也会相应变化。文中， 将比较一立体图像上各像素点的视差得到的正视差的最大值和负视差的最小 值称为该立体图像的最大正视差和最小负视差，立体图像的最大正视差和最 小负视差限定的区间为立体图像的视差范围。

当立体显示装置的硬件设计固定之后，立体显示装置的视差特性如支持 的视差范围(即该立体显示装置支持的最大正视差和最小负视差限定的区间， 支持的最大正视差和最小负视差是指立体显示装置正常播放立体图像时所允 许的图像像素点的最大正视差和最小负视差)就确定了，立体显示装置例如 为液晶电视、PC(Personal Computer，个人电脑)显示器、手机显示屏等。 立体显示装置支持的视差范围体现了该立体显示装置的视差表现能力。

目前，立体图像在采集后就会把视差信息固定下来。但立体图像的视差 范围与立体显示装置支持的视差范围之间的关系，直接影响着显示的立体效 果和观众的立体感受。

发明内容

本发明要解决的技术问题是提供一种能够使立体图像适应不同立体显示 装置的立体图像处理方法、图像处理装置和相应的终端设备。

为了解决上述问题，本发明提供了一种立体图像处理方法，包括：

获取立体图像的视差范围；

对所述立体图像进行视差调整时，根据所述立体图像的视差范围和立体 显示装置的视差特性，确定所述立体图像上各像素点的水平坐标的偏移量和 偏移方向；

根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐 标进行偏移。

较佳地，

所述对所述立体图像进行视差调整时，根据所述立体图像的视差范围和 立体显示装置的视差特性，确定所述立体图像上各像素点的水平坐标的偏移 量和偏移方向，包括：以整体偏移的方式对所述立体图像的视差进行调整时， 确定所述立体图像上各像素点的水平坐标的第一偏移量和第一偏移方向，使 得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点间的距 离减小；

所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐 标进行偏移，包括：根据确定的第一偏移量和第一偏移方向对所述立体图像 上各像素点的水平坐标进行偏移。

较佳地，

所述以整体偏移的方式对所述立体图像的视差进行调整，是无条件地进 行的；或者，是在所述立体图像的视差范围满足设定的第一条件进行；

其中，所述第一条件包括以下条件中的至少一种：

a)所述立体图像的视差范围超出了立体显示装置支持的视差范围；

b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的 中点之间的距离大于设定的阈值。

较佳地，

所述第一偏移量X_offset根据下式计算：

X_offset＝k₁(M-M′)+k₂(N-N′)

其中，M为立体显示装置支持的最大正视差，N为立体显示装置支持的 最小负视差，M’为立体图像的最大正视差，N’为立体图像的最小负视差，k₁，k₂分别表示正视差的权值和负视差的权值，k₁，k₂相等或不等，k₁+k₂＝1。

较佳地，

所述根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点 的水平坐标进行偏移，方式如下：

将左图像上各像素点的水平坐标向左偏移X_offset；或者

将右图像上各像素点的水平坐标向右偏移X_offset；或者

将左图像上各像素点的水平坐标向左偏移X_offset1，同时将右图像上各像素 点的水平坐标向右偏移X_offset2，且X_offset1+X_offset2＝X_offset。

较佳地，

所述以整体偏移的方式对所述立体图像的视差进行调整，是在所述立体 图像的视差范围满足设定的第一条件进行，如所述立体图像的视差范围不满 足设定的第一条件，执行以下步骤：

按等比例缩放的方式对所述立体图像的视差进行调整，确定各像素点的 水平坐标的第二偏移量和第二偏移方向，使得调整后的所述立体图像的视差 范围落入设定的立体显示装置的最佳视差范围；

根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水 平坐标进行偏移。

较佳地，

根据确定的第一偏移量和第一偏移方向对立体图像上各像素点的水平坐 标进行偏移之后，还包括：

将所述立体图像上各像素点的水平坐标更新为偏移后的水平坐标，并根 据偏移后各像素点的视差更新所述立体图像的视差范围；

按等比例缩放的方式对所述立体图像的视差进行调整，确定各像素点的 水平坐标的第二偏移量和第二偏移方向，使得调整后的所述立体图像的视差 范围落入设定的立体显示装置的最佳视差范围；

根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水 平坐标进行偏移。

较佳地，

对所述立体图像进行视差调整时，根据所述立体图像的视差范围和立体 显示装置的视差特性，确定所述立体图像上各像素点的水平坐标的偏移量和 偏移方向，包括：按等比例缩放的方式对立体图像的视差进行调整时，确定 各像素点的水平坐标的第二偏移量和第二偏移方向，使得调整后的立体图像 的视差范围落入设定的立体显示装置的最佳视差范围；

所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐 标进行偏移，包括：根据确定的第二偏移量和第二偏移方向对所述立体图像 上各像素点的水平坐标进行偏移。

较佳地，

所述确定各像素点的水平坐标的第二偏移量时，每一像素点的水平坐标 的第二偏移量X’_offset根据下式确定：

X′_offset＝D_h·(1-p)，p＝min(M_b/M′，N_b/N′)

其中，D_h表示该像素点的视差，M_b，N_b分别为立体显示装置的最佳视差 范围的最大正视差和最小负视差，M/5≤M_b≤M，N/5≤N_b≤N，M’和N’分别为立 体图像的最大正视差和最小负视差，M和N分别为立体显示装置支持的最大 正视差和最小负视差，p表示M_b/M′和N_b/N′中的最小值。

较佳地，

所述按等比例缩放的方式对立体图像的视差进行调整，是无条件地进行， 或者，是在所述立体图像的视差范围满足设定的条件时进行，其中，所述条 件包括以下条件中的至少一种：

a)p值小于设定的最小值P_min；

b)p值大于设定的最大值P_max；

c)立体图像的视差范围超出了立体显示装置支持的视差范围。

较佳地，

所述根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点 的水平坐标进行偏移，采用以下方式：

将左图像上各像素点的水平坐标向右偏移X’_offset；或者

将右图像上各像素点的水平坐标向左偏移X’_offset；或者

将左图像上各像素点的水平坐标向右偏移X’_offset1，同时将右图像上各像 素点的水平坐标向左偏移X’_offset2，且满足X’_offset1+X’_offset2＝X’_offset。

较佳地，

所述立体图像处理方法是对视频内容中每一帧立体图像的处理方法，所 述获取立体图像的视差范围是获取每一帧立体图像的最大正视差和最小负视 差，作为该帧立体图像的视差范围；或者

所述立体图像处理方法是对视频内容包含的一组立体图像的处理方法， 所述获取立体图像的视差范围是确定该组中各立体图像的最大正视差的均值 或最大值，以及各立体图像的最小负视差的均值或最小值，作为该组立体图 像的视差范围；所述根据确定的所述偏移量和偏移方向对所述立体图像上各 像素点的水平坐标进行偏移，是按相同方式对该组立体图像中的每一帧立体 图像进行偏移处理。

相应地，本发明提供了一种图像处理装置，包括：

获取单元，用于获取立体图像的视差范围；

偏移参数确定单元，用于对所述立体图像进行视差调整时，根据所述立 体图像的视差范围和立体显示装置的视差特性，确定所述立体图像上各像素 点的水平坐标的偏移量和偏移方向；

偏移单元，用于根据确定的所述偏移量和偏移方向对立体图像上各像素 点的水平坐标进行偏移。

较佳地，

所述偏移参数确定单元包括：第一偏移参数确定单元，用于在以整体偏 移的方式对所述立体图像的视差进行调整时，确定所述立体图像上各像素点 的水平坐标的第一偏移量和第一偏移方向，使得立体图像的视差范围的中点 与立体显示装置支持的视差范围的中点间的距离减小；

所述偏移单元包括：第一偏移单元，用于根据确定的第一偏移量和第一 偏移方向对所述立体图像上各像素点的水平坐标进行偏移。

较佳地，

第一偏移参数确定单元无条件地以整体偏移的方式对所述立体图像的视 差进行调整；或者

所述图像处理装置还包括：第一判断单元，用于判断所述立体图像的视 差范围是否满足设定的第一条件，如满足，再激活所述第一偏移参数确定单 元；其中，所述第一条件包括以下条件中的至少一种：

a)所述立体图像的视差范围超出了立体显示装置支持的视差范围；

b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的 中点之间的距离大于设定的阈值。

较佳地，

所述第一偏移参数确定单元根据下式计算第一偏移量X_offset：

X_offset＝k₁(M-M′)+k₂(N-N′)

其中，M为立体显示装置支持的最大正视差，N为立体显示装置支持的 最小负视差，M’为立体图像的最大正视差，N’为立体图像的最小负视差，k₁，k₂ 分别表示正视差的权值和负视差的权值，k₁，k₂相等或不等，k₁+k₂＝1；

所述第一偏移单元根据确定的第一偏移量和第二偏移方向对所述立体图 像上各像素点的水平坐标进行偏移时，方式如下：

将左图像上各像素点的水平坐标向左偏移X_offset；或者

将右图像上各像素点的水平坐标向右偏移X_offset；或者

将左图像上各像素点的水平坐标向左偏移X_offset1，同时将右图像上各像素 点的水平坐标向右偏移X_offset2，且X_offset1+X_offset2＝X_offset。

较佳地，所述立体图像处理装置还包括：

与所述第一偏移单元连接的更新单元，用于将所述立体图像上各像素点 的水平坐标更新为第一偏移单元偏移后的水平坐标，并根据偏移后各像素点 的视差更新所述立体图像的视差范围，然后激活第二偏移参数确定单元；

与所述更新单元连接的第二偏移参数确定单元，用于按等比例缩放的方 式对所述立体图像的视差进行调整，确定各像素点的水平坐标的第二偏移量 和第二偏移方向，使得调整后的所述立体图像的视差范围落入设定的立体显 示装置的最佳视差范围；以及

与所述第二偏移参数确定单元连接的第二偏移单元，用于根据所述第二 偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。

较佳地，

所述偏移参数确定单元包括：第二偏移参数确定单元，用于在按等比例 缩放的方式对立体图像的视差进行调整时，确定各像素点的水平坐标的第二 偏移量和第二偏移方向，使得调整后的立体图像的视差范围落入设定的立体 显示装置的最佳视差范围；

所述偏移单元包括：第二偏移单元，用于根据确定的第二偏移量和第二 偏移方向对所述立体图像上各像素点的水平坐标进行偏移。

较佳地，

所述第二偏移参数确定单元确定各像素点的水平坐标的第二偏移量时， 每一像素点的水平坐标的第二偏移量X’_offset根据下式确定：

X′_offset＝D_h·(1-p)，p＝min(M_b/M′，N_b/N′)

其中，D_h表示该像素点的视差，M_b，N_b分别为立体显示装置的最佳视差 范围的最大正视差和最小负视差，M/5≤M_b≤M，N/5≤N_b≤N，M’和N’分别为立 体图像的最大正视差和最小负视差，M和N分别为立体显示装置支持的最大 正视差和最小负视差，p表示M_b/M′和N_b/N′中的最小值；

所述第二偏移单元根据确定的第二偏移量和第二偏移方向对所述立体图 像上各像素点的水平坐标进行偏移，采用以下方式：

将左图像上各像素点的水平坐标向右偏移X’_offset；或者

将右图像上各像素点的水平坐标向左偏移X’_offset；或者

将左图像上各像素点的水平坐标向右偏移X’_offset1，同时将右图像上各像 素点的水平坐标向左偏移X’_offset2，且满足X’_offset1+X’_offset2＝X’_offset。

较佳地，

所述获取单元获取立体图像的视差范围，是获取每一帧立体图像的最大 正视差和最小负视差，作为该帧立体图像的视差范围；其他单元是对该帧立 体图像进行处理；或者

所述获取单元获取立体图像的视差范围，是确定该组中各立体图像的最 大正视差的均值或最大值，以及各立体图像的最小负视差的均值或最小值， 作为该组立体图像的视差范围；其他单元是对该组立体图像中的每一帧立体 图像进行相同的处理。

相应的，本发明还提供了一种终端设备，包括立体显示装置，其特征在 于，还包括上述图像处理装置。

上述方案基于立体显示装置的视差表现能力，对要显示的立体图像进行 动态视差调整，从而让立体图像在该立体显示装置上显示时，总是充分利用 该立体显示装置的视差表现能力，提供给用户尽可能好的立体效果。

附图说明

图1a和图1b分别示出了作为示例的立体图像的左图像(L)和右图像 (R)；

图2a和图2b分别示出了图1a中左图像(L)上的一像素点和图1b中右 图像(R)上的一对应像素点的坐标，用于说明视差的正负；

图3是本发明实施例一立体图像处理方法的流程示意图；

图4a和图4b是依照本发明第一实施例对立体图像调整后，立体图像中 像素点的位置变化的示意图；

图5是本发明实施例一提供的图像处理装置的模块图；

图6是本发明实施例二立体图像处理方法的流程示意图；

图7是本发明实施例二提供的图像处理装置的模块图；

图8是本发明实施例三立体图像处理方法的流程示意图；

图9是本发明实施例三提供的图像处理装置的模块图；

图10是基于本发明实施例三的一应用示例的立体图像处理方法的流程 示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图 对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申 请中的实施例及实施例中的特征可以相互任意组合。

本发明的发明人发现，目前的图像处理中，立体图像被采集后，视差信 息被固定下来，不能够根据不同的立体显示装置的视差表现能力进行调整以 达到最佳的立体显示效果，这限制了立体显示技术的发展。例如，用于在电 影院播放的立体图像在液晶电视上播放时，立体图像的最大正视差和最小负 视差均可能超过液晶电视支持的最大正视差和最小负视差，此时液晶电视显 示的图像就可能出现不清楚或立体感降低等问题。

为此，本发明提供了一种立体图像处理方法和相应的图像处理装置，能 够对要显示的立体图像的视差范围进行动态调整，使立体图像适应不同立体 显示装置。具体的，在本发明中在获取立体图像的视差范围后，确定对该立 体图像进行视差调整时，根据获取的立体图像的视差范围及立体显示装置的 视差特性，确定立体图像上各像素点的水平坐标的偏移量及偏移方向，根据 该偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。

为了便于说明，各实施例中立体图像的视差正负按照图2a和图2b所示 来确定，以右方向为水平坐标的正向。例如，第一物体101，104上的点(x1，y1) 和(x2，y2)它们之间的水平视差是Dh＝x2-x1，垂直视差是Dv＝y2-y1。 由于人眼是水平的，同时目前主流的立体显示装置均主要提供水平视差，在 此假设立体图像只有水平视差，也就是Dv＝0。坐标原点和坐标单位优选的与 立体显示装置的屏幕坐标一致，例如对于PC通常坐标原点为左上角。

实施例一

在某些场景下，例如立体图像的视差范围和立体显示装置支持的视差范 围相比，可能立体图像的最大正视差M’大于立体显示装置支持的最大正视差 M，同时立体图像的最小负视差N’也大于立体显示装置支持的最小负视差N， 导致立体显示装置显示该立体图像时，无法显示其最大正视差M’。这种情况 下，由于立体图像的视差范围的中心相对立体显示装置支持的视差范围的中 点距离较大，立体图像的视差范围没有均布在立体显示装置支持的视差范围 的中点两侧，因而没有充分利用该立体显示装置的视差表现能力。如通过视 差调整，对立体图像上各像素点的视差进行整体偏移(即同一图像上所有像 素点的水平坐标的偏移量和偏移方向相同)，就有可能充分的利用立体显示 装置的视差表现能力，取得更好的立体显示效果。

如图3所示，本实施例的立体图像处理方法包括：

步骤101，获取立体图像的视差范围；

立体图像的相关数据中可能存在立体图像的视差信息，此时可根据该视 差信息直接获取立体图像的视差范围，即立体图像的最大正视差M′和最小负 视差N′。如果不存在该视差信息，可以通过比较立体图像上每一个像素点的 差异，计算得到立体图像上各像素点的视差值，进而确定立体图像的最大正 视差M′和最小负视差N′。像素点的视差计算的基本都是从两个方面考虑：一 个是匹配约束，一个是平滑约束，只不过具体应用这两种约束的手段不同， 本发明对于该视差计算的具体实现形式不做限制。

步骤102，以整体偏移的方式对立体图像的视差进行调整时，确定立体图 像上各像素点的水平坐标的偏移量和偏移方向，使得立体图像的视差范围的 中点与立体显示装置支持的视差范围的中点之间的距离减小；

视差范围的中点即最大正视差和最小负视差之和的一半。对于立体图像 而言，其视差范围的中点为(M’+N’)/2，对于立体显示装置而言，其支持的 视差范围的中点(M+N)/2。

可以无条件地对所述立体图像以上述整体偏移的方式进行视差调整，但 为了减小视差调整的计算量，提高为用户提供立体显示效果的效率，本实施 例是在立体图像的视差范围满足设定的第一条件时进行，第一条件如可以是 以下条件中的至少一种：

a)立体图像的视差范围超出了立体显示装置支持的视差范围，即满足 M’＞M和N’＜N中的至少一个条件。立体显示装置支持的视差范围可作为参 数配置在图像处理装置中或由图像处理装置读取得到。

b)立体图像的视差范围的中点与立体显示装置支持的视差范围的中点 之间的距离大于设定的阈值，该阈值与立体显示装置的种类有关，可以根据 经验值设置，还可根据实际显示效果加以调整。

不满足上述第一条件时，可以不需要调整，也可以按照其他方式进行处 理。本发明不加以限制。

立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间 的距离(等于中点之差的绝对值)减小，意味着立体图像的视差在整体上， 相对于立体显示装置支持的视差范围的中点分布得更为均匀，不会一端超出 很大而另一端没有充分利用。

像素点水平坐标的偏移即是对视差的调整，本步骤对每一像素点，确定 的水平坐标的偏移量X_offset可以根据下式计算：

X_offset＝k₁(M-M′)+k₂(N-N′)                        (1)

其中，k₁，k₂分别表示正视差的权值和负视差的权值，k₁+k₂＝1。特别地， 如果要使立体图像的视差范围的中点与立体显示装置支持的视差范围的中点 重合，可以取k₁＝k₂＝0.5。

水平坐标的偏移可以只对左图像或右图像上的像素点进行，也可以对左 图像和右图像上的像素点同时进行。在不同图像上偏移时偏移方向不同，根 据偏移要达到的目的(中点之间的距离减少)可以很容易的确定。

步骤103，根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐 标进行偏移。

本实施例中，将左图像上各像素点的水平坐标向左偏移X_offset，也即X_offset为正值时，是向左偏移，如X_offset为负值，是向右偏移。在另一实施例中，也 可以将右图像上各像素点的水平坐标向右偏移X_offset，也即X_offset为正值，是 向右偏移，如X_offset为负值，是向左偏移。

在其他实施例中，也可以将左图像上各像素点的水平坐标向左偏移 X_offset1，同时将右图像上各像素点的水平坐标向右偏移X_offset2，且应满足X_offset1+ X_offset2＝X_offset。只对左图像或右图像上各像素点的水平坐标进行偏移的方式可 以看成该方式下X_offset2＝0或者X_offset1＝0时的两个特例。

对像素点的水平坐标进行偏移后生成的新的立体图像的视差已发生了变 化，即实现了对立体图像的视差调整。

应说明的是，步骤102中的式1可变换为X_offset＝(k₁(M′-M)+k₂(N′-N))/2， 即与式(1)中的X_offset的符号相反，则在步骤103中，是将左图像上各像素点的 水平坐标向右偏移X_offset，或者将右图像上各像素点的水平坐标向左偏移 X_offset。这只是上述实施例的一种等同替代方式。

根据人类眼睛的特点，影响立体效果最大的两个因素，一个汇聚点 (convergence)，另一个是左相机和右相机的间距(separation)。本实施例对视差 做整体偏移的方式相当于在成像时对汇聚点进行前后移动产生的变化，正视 差的变化量与负视差的变化量是相同的。如图4a和图4b所示，假设左图中 像素点A的正视差为AA’，像素点B的负视差为BB’，假定通过本实施例的 处理得到右图，像素点A的正视差变为AA”，像素点B的负视差变为BB”， 各个像素点的偏移量A’A”和B’B”是相同的。对应在立体显示效果上，就看 到立体场景在整体的前后移动。

采用本实施例的处理方式，在立体图像的视差范围小于或等于立体显示 装置的视差范围即(M’-N’)≤(M-N)的场景下，可以使得立体图像的视差范围 落入立体显示装置的视差范围(包括重合的情况)，即M’≤M，N’≥N。如果 立体图像的视差范围大于立体显示装置的视差范围，也可以避免正视差或者 负视差有一方过分的超过范围，即有均布的效果。

相应地，本实施例提供的图像处理装置如图5所示，包括获取单元11、 判断单元12、偏移参数确定单元13和偏移单元14，其中：

获取单元11，用于获取立体图像的视差范围。

判断单元12，用于判断是否满足以整体偏移方式对立体图像的视差进行 调整的第一条件，如满足，激活偏移参数确定单元。第一条件见步骤102中 的说明。

偏移参数确定单元13，用于在以整体偏移方式对立体图像的视差进行调 整时，确定各像素点的水平坐标的偏移方向和偏移量，使得立体图像的视差 范围的中点与立体显示装置支持的视差范围的中点之间的距离减小。具体的 确定方法见步骤102中的说明。

偏移单元14，用于根据确定的偏移量和偏移方向对立体图像上各像素点 的水平坐标进行偏移。具体的偏移方式见步骤103中的说明。

如上文所说的，可以不对视差调整的条件进行判断，因此，在另一实施 例中，判断单元12是可选的。

在其他实施例中，也不排除其他的偏移方式，如根据立体图像的视差范 围超出立体显示设备支持的视差范围的超出量，如为立体图像的最大正视差 超出立体显示设备支持的最大正视差一定的超出量，则将该超出量作为立体 视图的偏移量X_offset。

实施例二

在某些场景下，立体图像的视差范围大于立体显示装置支持的视差范围， 即(M’-N’)＞(M-N)，此时立体显示装置只能对立体图像的部分视差进行显示， 影响了立体显示效果，也没有做到对立体显示装置的视差表现能力的充分利 用。

对于不同类型的立体显示装置而言，其视差特性除了支持的视差范围外， 还可有一个最佳视差范围。立体显示装置的最佳视差范围与显示器的尺寸、 种类和光学设计参数有关，该最佳视差范围可以根据经验值设定，可根据实 际效果进行调整。该最佳视差范围可作为参数配置在图像处理装置中或由图 像处理装置读取得到，也可以在得到立体显示装置支持的视差范围后乘以相 应比例得到，假定立体显示装置的最佳视差范围的最大正视差为M_b，最小负 视差为N_b，在一示例中，M_b，N_b可以在M_b＝M/5～M，N_b＝N/5～N的范围内 取值，如取为M_b＝M/2，N_b＝N/2，M为立体显示装置支持的最大正视差，N 为立体显示装置支持的最小负视差。在另一示例中，也可以取M_b＝M，N_b＝N。

如图6所示，本实施例的立体图像处理方法包括：

步骤201，获取立体图像的视差范围；

本步骤请参照步骤101。

步骤202，按等比例缩放的方式对立体图像的视差进行调整时，确定立体 图像上各像素点的水平坐标的偏移量和偏移方向，使得调整后的立体图像的 视差范围落入设定的立体显示装置的最佳视差范围；

立体图像上每一像素点的偏移量X’_offset可以根据下式来确定：

X′_offset＝D_h·(1-p)，p＝min(M_b/M′，N_b/N′)

其中，D_h表示该像素点的视差，p表示M_b/M′和N_b/N′中的最小值。

同实施例一相同的，水平坐标的偏移可以只对左图像或右图像上的像素 点进行，也可以对左图像和右图像上的像素点同时进行。在不同图像上偏移 时偏移方向不同，根据偏移要达到的目的可以很容易的确定。

步骤203，根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐 标进行偏移。

本实施例中，将左图像上各像素点的水平坐标向右偏移X’_offset，也即X’_offset为正值时，是向右偏移，如X’_offset为负值，是向左偏移；在另一实施例中， 也可以将右图像上各像素点的水平坐标向左偏移X’_offset，也即X’_offset为正值时， 是向左偏移，如X’_offset为负值，是向右偏移。在其他实施例中，也可以将左 图像上各像素点的水平坐标向右偏移X’_offset1，同时将右图像上各像素点的水 平坐标向左偏移X’_offset2，且满足X’_offset1+X’_offset2＝X’_offset。上述只对左图像或右 图像上各像素点的水平坐标进行偏移的方式可以看成该方式下X’_offset2＝0或者 X’_offset1＝0时的两个特例。

假定立体图像的M_b/M′＜N_b/N′，以具有最大正视差的像素点为例，调整 后的最大正视差为D′_h＝D_h-D_h·(1-p)＝D_h·p，因为D_h＝M′，p＝M_b/M′，则 D′_h＝M_b。可见，立体图像的最大正视差已被调整为立体显示装置的最佳视差 范围的最大正视差，此时立体图像调整后的最小负视差应大于立体显示装置 的最佳视差范围的最小负视差。因此，调整后的立体图像的视差范围落入了 设定的立体显示装置的最佳视差范围。如果将该最佳视差范围设置为立体显 示装置支持的视差范围，则调整后的立体图像的视差范围落入立体显示装置 支持的视差范围。M_b/M′＞N_b/N′时情况类似，只是立体图像的最小负视差被 调整为立体显示装置的最佳视差范围的最小负视差，不再赘述。

本实施例对立体图像的视差进行等比例缩放的方式，对应在立体显示效 果上就似乎左相机和右相机(或者说人的左、右眼)的间距发生变化。调整 后，可以充分利用立体显示装置的视差表现能力，显示立体图像所有像素点 的视差，同时取得良好的显示效果。

相应地，本实施例提供的图像处理装置如图7所示，包括获取单元21、 偏移参数确定单元22和偏移单元23，其中：

获取单元21，用于获取立体图像的视差范围。

偏移参数确定单元22，用于在按等比例缩放的方式对立体图像的视差进 行调整时，确定各像素点的水平坐标的偏移量和偏移方向，使得调整后的立 体图像的视差范围落入设定的立体显示装置的最佳视差范围。具体的确定方 式见步骤202中的说明。

偏移单元23，用于根据确定的偏移量和偏移方向对立体图像上各像素点 的水平坐标进行偏移，实现对立体图像的视差调整。具体的偏移方式见步骤 203中的说明。

本实施例按等比例缩放的方式对立体图像的视差进行调整是无条件地。 但在另一实施例中，也可以在立体图像的视差范围满足设定的条件后再进行， 该条件可以是以下条件的至少一种：

a)p值小于设定的最小值P_min；

b)p值大于设定的最大值P_max；

c)立体图像的视差范围超出了立体显示装置支持的视差范围时，也即 M’＞M和/或N’＜N，才进行调整。

上述条件a)和b)的判断可以在计算出p值后进行。条件c)的判断可以在 确定偏移量之前进行。

相应地，图像处理装置可以在偏移参数确定单元和偏移单元之间或者获 取单元和偏移参数确定单元之间增加一个判断单元，用于进行上述判断，并 在判断要进行视差调整时再激活偏移单元或偏移参数确定单元。

实施例三

按照实施例二的间距调节方式，可以将立体图像的视差范围调整到立体 显示装置的最佳视差范围之内。但是，如果M’超过对应的界限M很多，但 是N’却在N的范围内的时候，如果仅仅通过对视差的等比例缩放把M’调整 到M的范围，N’也相应被调整了很大的量，N’虽然还在N的范围内，但是却 被约束的很小，不能发挥最佳的立体显示效果。因此，本实施例中把实施例 一的汇聚点调整方式和实施例二的间距调整方式统一在一起，以获得更好的 显示效果。

如图8所示，本实施例的立体图像处理方法包括：

步骤301，获取立体图像的视差范围；

本步骤请参照步骤101。

步骤302，判断立体图像是否满足以整体偏移方式对立体图像的视差进行 调整的第一条件，如果是，执行步骤303；否则，执行步骤305；

上述第一条件可以与第一实施例步骤102中的第一条件相同。

步骤303，按整体偏移的方式对立体图像的视差进行调整，确定各像素点 的水平坐标的第一偏移量和第一偏移方向，使得立体图像的视差范围的中点 与立体显示装置支持的视差范围的中点之间的距离减小；

本步骤请参见实施例一的步骤102。

步骤304，根据确定的第一偏移量和第一偏移方向对立体图像上各像素点 的水平坐标进行偏移，将各像素点的水平坐标更新为偏移后的水平坐标，并 根据偏移后各像素点的视差更新立体图像的视差范围；

步骤305，按等比例缩放的方式对立体图像的视差进行调整，确定各像素 点的水平坐标的第二偏移量和第二偏移方向，使得调整后的立体图像的视差 范围落入设定的立体显示装置的最佳视差范围；

此处，按等比例缩放的方式对立体图像的视差进行调整可以是无条件的， 也可以是有条件的，所述条件可以与实施例二中条件相同或为其中的一部分。

第二偏移量和第二偏移方向的确定请参见实施例二的步骤202。

步骤306，根据确定的第二偏移量和第二偏移方向对立体图像上各像素点 的水平坐标进行偏移，实现对立体图像的视差调整。

本步骤请参见实施例二的步骤203。

本实施例对视差调整的方式是同时对视差进行整体偏移和等比例缩放， 相当于同时调节汇聚点和左、右相机的间距。先按照整体偏移方式进行视差 调整，使得立体图像的视差范围相对立体显示装置支持的视差范围较为均布， 然后再用等比例缩放方式进行视差调整，将立体图像的视差范围调整到立体 显示装置支持的最佳视差范围，同时兼顾了正、负视差的表现。因此可以取 得更好的显示效果。

相应地，本实施例提供的图像处理装置如图9所示，包括获取单元31、 第一判断单元32、第一偏移参数确定单元33、第一偏移单元34、更新单元 35、第二偏移参数确定单元36和第二偏移单元37，其中：

获取单元31，用于获取立体图像的视差范围。

第一判断单元32，用于判断是否满足以整体偏移方式对立体图像的视差 进行调整的第一条件，如满足，激活第一偏移参数确定单元，否则，激活第 二偏移参数确定单元。第一条件可见实施例一的说明。

第一偏移参数确定单元33，用于按整体偏移的方式对立体图像的视差进 行调整，确定各像素点的水平坐标的偏移方向和偏移量，使得立体图像的视 差范围的中点与立体显示装置支持的视差范围的中点之间的距离减小。具体 的确定方法见实施例一中的说明。

第一偏移单元34，用于根据确定的第一偏移量和第一偏移方向对立体图 像上各像素点的水平坐标进行偏移。具体偏移方法可见实施例一的说明。

更新单元35，用于将所述立体图像上各像素点的水平坐标更新为第一偏 移单元偏移后的水平坐标，并根据偏移后各像素点的视差更新立体图像的视 差范围，然后激活第二偏移参数确定单元。

第二偏移参数确定单元36，用于按等比例缩放的方式对立体图像的视差 进行调整，确定各像素点的水平坐标的第二偏移量和第二偏移方向，使得调 整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围。具体 确定方法可见实施例二的说明。

第二偏移单元37，用于根据确定的第二偏移量和第二偏移方向对立体图 像上各像素点的水平坐标进行偏移。

如上文所述，在其他实施例中，按整体偏移的方式对立体图像的视差进 行调整可以是无条件的，相应的，可以取消第一判断单元。而按等比例缩放 的方式对立体图像的视差进行调整可以是有条件的，相应的，可以在第二偏 移单元或第二偏移单元之间增加第二判断单元，具体可参照实施例二中关于 增加判断单元的说明。

此外，本实施例在步骤302判断立体图像不满足以整体偏移方式对立体 图像的视差进行调整的第一条件时，也可以不再进行视差调整，从而得到另 一实施例。

图10所示是基于本实施例的一个应用示例，立体图像处理方法包括：

步骤401，获取M′和N′；

步骤402，计算a＝M-M′，b＝N-N′；

步骤403，判断是否a＜0或b＞0，如果是，执行步骤404，如果否，执 行步骤407；

本步骤即判断立体图像的视差范围是否超出立体显示装置支持的视差范 围。

步骤404，计算c＝(a+b)/2；

该偏移量相于当使立体图像的视差范围的中点与立体显示装置支持的视 差范围的中点重合所需的偏移量。

步骤405，令左图像各像素点的水平坐标等于原水平坐标加-c(即向左移 动c)；或者，令右图像各像素点的水平坐标等于原水平坐标加c(即向右移 动c)；

步骤406，计算e＝M/(M′+c)，f＝N/(N′+c)，转入步骤408；

本步骤是用新的视差范围计算参数e，f；

步骤407，计算e＝M/M′，f＝N/N′；

本步骤是用未调整过的视差范围计算参数e，f；

步骤408，计算g＝min(e，f)；

参数g与实施例二中的参数p相关，只是此处是求比值M/M’，N/N’中的 最小值，而p是求比值M_b/M’，N_b/N’中的最小值。

步骤409，将左图像各像素点的水平坐标向右偏移Dh-Dh*g/2(或者将右 图像各像素点的水平坐标向左偏移Dh*g/2-Dh，其中Dh为任一像素点的当前 视差。

上述计算虽然形式上与实施例三的上述流程的描述有些差异，但是实质 上是相同的，相当于取M_b＝M/2，N_b＝N/2的情况。

可以了解，如果只执行上述步骤中的步骤401～405，即为实施例一的一 个应用示例。如果只执行上述步骤中的步骤401，407～409，即为实施例二的 一个应用示例。

以上各个实施例中，所述立体图像处理方法可以是对视频内容中每一帧 立体图像的处理方法，所述获取立体图像的视差范围是获取每一帧立体图像 的最大正视差和最小负视差，作为该帧立体图像的视差范围。相应地，上述 各个实施例中的立体图像处理装置中，获取单元获取立体图像的视差范围， 是获取每一帧立体图像的最大正视差和最小负视差，作为该帧立体图像的视 差范围；其他单元是对该帧立体图像进行处理。

或者，所述立体图像处理方法是对视频内容包含的一组立体图像的处理 方法，所述获取立体图像的视差范围是确定该组中各立体图像的最大正视差 的均值或最大值，以及各立体图像的最小负视差的均值或最小值，作为该组 立体图像的视差范围；所述根据确定的所述偏移量和偏移方向对所述立体图 像上各像素点的水平坐标进行偏移，是按相同方式对该组立体图像中的每一 帧立体图像进行偏移处理。此时，实施例一达到的使立体图像的视差范围均 布的效果应理解为该组立体图像在整体上有均布的效果。相应地，上述各个 实施例中的立体图像处理装置中，所述获取单元获取立体图像的视差范围， 是确定该组中各立体图像的最大正视差的均值或最大值，以及各立体图像的 最小负视差的均值或最小值，作为该组立体图像的视差范围；其他单元是对 该组立体图像中的每一帧立体图像进行相同的处理。

以上各实施例的立体图像处理装置可以应用于包含立体显示装置的终端 设备中，如手机、电脑、PDA等。也可以应用单独的设备，用于对视频内容 处理后，作为具有相应立体显示装置的终端设备的片源。

上述立体图像处理方法可以由图像处理装置自动完成也可以通过人机交 互来触发执行。另外，为了增加灵活性，可以由用户通过用户控制器向图像 处理设备配置用于确定立体图像上各像素点的水平坐标偏移量的数值，如上 述实施例中的X_offset、p、X’_offset等值中的一个或多个。这样图像处理装置不需 要按照上述实施例中的公式计算。为了防止用户无经验地调整导致立体图像 最终无法正常显示，可以在设置立体图像的视差范围超出立体显示装置的视 差范围时才提示用户配置参数。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读 存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用 一个或多个集成电路来实现，相应地，上述实施例中的各装置/模块/单元可以 采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制 于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本 领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。