基于双目相机的光栅立体印刷图像合成方法

摘要

本发明提供一种基于双目相机的光栅立体印刷图像合成方法，用双目相机拍摄场景得到双目图像对，所述双目图像对包括左视图和右视图；获得双目图像深度图；构建图像序列，包括以双目图像对的左视图为图像序列中最左的序列视差图像，以双目图像对的右视图为图像序列中最右的序列视差图像，生成位于左视图和右视图之间的多幅序列视差图像；根据图像序列合成光栅立体图像；调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。本发明能够使立体印刷产品实现个性化、便捷化的即时输出。用该方法得到的光栅立体图像，用裸眼即可观察到较好的立体效果。

说明书

技术领域

本发明属于印刷技术领域，特别的提供了一种基于双目相机的光栅立体印刷图像合成方 法，输出的光栅立体图像，用裸眼就可看到较好的立体效果。

背景技术

现有光栅立体合成技术主要分为基于单幅图像立体合成和基于序列视差图像立体合成。 基于单幅图像的立体合成技术主要适用于制作单幅原稿图像的立体印刷产品，但是，由于单 幅图像不含有场景的三维信息，这要求操作人员必须凭借自身经验赋予场景中的景物相应的 三维深度信息，如果深度信息赋予错误，将大大影响立体图像的质量，而且单幅图像立体化 操作要依靠Photoshop、PsdTo3d等专业软件，这要求操作人员要熟悉这些软件，并且在复杂 繁琐的操作过程中，操作人员不能出错，因此，单幅图像立体合成技术具有制作难度大，周 期长，专业性强等缺点。基于序列视差图像的立体合成方法，在获取序列视差图像时可以使 用多镜头立体相机拍摄或基于单镜头移动拍摄。但是，多镜头相机对制作工艺要求非常高， 必须保证每个成像系统的各种参数之间的误差控制在一定范围内，这使得相机造价相当高， 很难推广。而单镜头移动拍摄需要借助导轨，让单镜头相机在导轨上移动，对物体进行等间 距拍摄而且只能拍摄静物。因此，单镜头相机采集序列视差图时对导轨有依赖性，对拍摄主 体有要求，也不利于推广。

发明内容

为了克服单幅图像立体合成操作繁琐以及序列视差图像立体合成时所需设备造价高，或 依赖导轨，只适用于拍摄静物等缺陷，本发明提供了基于双目相机的光栅立体印刷图像合成 方法。

本发明提供的技术方案为一种基于双目相机的光栅立体印刷图像合成方法，包括以下步 骤：

步骤1，用双目相机拍摄场景得到双目图像对，所述双目图像对包括左视图和右视图；

步骤2，获得双目图像深度图，包括左视差图和右视差图；

步骤3，构建图像序列，包括以双目图像对的左视图为图像序列中最左的序列视差图像， 以双目图像对的右视图为图像序列中最右的序列视差图像，生成位于左视图和右视图之间的 多幅序列视差图像，实现方式如下，

设图像序列对应的总镜头光心数为m+1，Cl为第一个镜头光心，对应左视图，Cr为最后 一个镜头光心，对应右视图，b为镜头光心Cl、Cr的距离；左视图记为L，右视图记为R， 左视差图记为D_L，右视差图记为D_R，设对应位于左视图L和右视图R之间的某幅序列视差 图像T的镜头光心Ct位于镜头光心Cl、Cr之间，其中从Cl到Ct的总镜头光心数有n+1个， 镜头光心Ct与镜头光心Cl的距离为(n/m)×b，x_l、x_r、x_t分别表示场景中的一点P在Cl、 Ct、Cr相应成像平面的成像点的X轴坐标值，视差d＝x_l-x_r， 当序列视差图像T距离左视图L较近时，利用左视图L和左视差图D_L以及公式计 算左视图L中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变，从而获得序列 视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用右视图R和右视 差图D_R以及公式进行补充，形成完整的序列视差图像T； 当序列视差图像T距离右视图R较近时，利用右视图R和右视差图D_R以及公式 计算右视图R中每个点的横坐标在序列视差图像T中的位置，点的纵坐标 不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息， 利用左视图L和左视差图D_L以及公式进行补充，形成完整的序列视差图像T；

步骤4，根据图像序列合成光栅立体图像；

步骤5，调整光栅立体图像分辨率，以打印机为输出设备，以柱镜光栅为载体，将光栅 立体图像输出。

而且，步骤2的实现方式包括，利用Mean shift算法对双目图像对进行色彩分割；利用 差值绝对值和函数作为测度函数，计算每个像素的匹配代价；通过基于色彩分割的匹配代价 聚集，使用WTA算法以左视图为目标图、右视图为参考图计算每个像素的视差值得到一张 初始视差图，以右视图为目标图、左视图为参考图计算每个像素的视差值得到另一张初始视 差图；通过图像中值滤波对两张初始视差图进行优化，对比两张初始视差图的图像中值滤波 结果，将不一致的视差值修正为两个视差值之间较小值，得到优化后的左右两张视差图。

而且，步骤4的实现方式包括，

设图像序列中的序列视差图像共有N张，按拍摄角度从左至右依次排列，首先对各序列 视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素；设第k张序列视差图像的第 i行第j列的像素为gⁱ_k(j)合成的光栅立体图像的第i行j列的像素为fⁱ(j)，则有

$f^i\left(j\right)=g_k^i\left(j\right)$

k用如下公式来确定，

k＝j+1-[j/N]×N

其中1≤k≤N，0≤i≤width-1，0≤j≤height-1，且k、i、j为整数，width是以像素为单位的图像宽 度，height是以像素为单位的图像高度。

而且，步骤5调整光栅立体图像分辨率根据下式实现，

DPI＝R×N

其中，DPI为光栅立体图像调整后的分辨率，R为输出的柱镜光栅的光栅线数。

本发明在用双目相机拍摄得到双目图像对的情况下，只需将双目图像对输入到由以上技 术支持而得到的成像软件中，经过简单的处理，就可以依次得到双目图像对的深度图、序列 视差图、以及最终要打印的光栅立体合成图，整个过程方便、快捷，且最终输出的光栅立体 图的立体效果较好，能够使立体印刷产品实现个性化、便捷化的即时输出，对光栅立体图像 的推广也具有重要意义。

附图说明

图1是本发明实施例的基于双目相机的光栅立体印刷图像合成方法的流程图。

图2是本发明实施例中用到的双目立体视觉简化模型图。

图3是本发明实施例的基于双目立体图像对的立体匹配流程图。

图4是本发明实施例中生成序列视差图的成像模型图。

图5是本发明实施例中基于柱镜光栅的光栅立体图像编码方式原理图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

具体实施时，本领域技术人员可参考计算机软件技术实现本发明技术方案的自动运行流 程。参见图1，本发明实施例首先通过双目相机获得图像对，然后运用双目视觉理论进行立 体匹配，得到序列视差图像，最后通过一种编码方式合成光栅立体图像。实施例的具体流程 说明如下：

一、用双目相机拍摄场景得到双目图像对：首先基于双目相机采集拍摄场景的两个观察 角度的二维平面图像数据，得到双目图像对。

实施例采集双目图像对，需要借助双目相机，获得同一场景的不同视角的一对二维平面 图像，分别记为左视图和右视图。这样在双目图对中寻找匹配点时，匹配范围从二维的搜索 降到一维极线上搜索，为后期立体匹配提供了极大便利。

二、获得双目图像深度图：借助双目立体视觉理论，使用一种鲁棒性强的基于区域分割 的图像匹配技术，得到精度较高的视差图，获得场景中每个图元的相对空间三维信息。

实施例在获得双目图像的深度图时，首先利用Mean shift算法对双目图像对进行色彩分 割，再利用SAD（差值绝对值和函数）作为测度函数，计算每个像素的匹配代价，最后通过 基于色彩分割的匹配代价聚集，使用WTA算法计算每个像素的视差，获得视差图并优化。

图2是双目立体视觉简化模型，双目相机拍摄所得到的双目图像对是平行的，在双目图 像对中寻找匹配点时，只需在对应点的极线上寻找。图2中，Cl、Cr分别表示左相机镜头和 右相机镜头的光心，分别对应左视图和右视图，f为双目相机的焦距，b为两镜头光心的距离， P点为场景中的一点，z为点P的景深，即距双目相机成像平面的深度，x_l、x_r分别表示点P 在两个成像平面的成像点E和点F的X轴坐标值，由相似三角形性质可得：

$\frac{b}{z}=\frac{(b+x_r)-x_l}{z-f}$

设视差d＝x_l-x_r，可得：

$z=\frac{b·f}{x_l-x_r}=\frac{b·f}{d}$

其中d即为P点在双目图像对中的成像视差。由以上公式可知，深度z与视差d成反比， 与双目相机的焦距和两镜头光心距离成正比，这是整个立体视觉系统及立体匹配的理论基础。

图3是本发明基于双目立体图像对的立体匹配流程图，共分为五个步骤。

第一步，图像色彩分割：根据视差平滑性约束可知，图像在同一物体上的视差变化较平 滑，而在物体边缘一般发生视差突变，而大部分普通拍摄场景中，不同的物体一般具有不同 颜色特性，颜色不连续的区域一般为图像边缘，即视差突变区域。以此假设为前提，本发明 实施例利用Mean shift算法对输入彩色图像进行图像分割，能在一次分割后形成大量小的模 态区域，然后实施基于色彩分割的区域立体匹配。

第二步，鲁棒的匹配代价计算：本发明实施例利用SAD（差值绝对值和函数）作为测度 函数计算每个像素的匹配代价。SAD函数公式如下：

C_AD(x,y,d)＝Σ_(x,y)∈S|I_L(x,y)-I_R(x+d,y)|

其中S表示匹配代价计算的窗口区域，图中坐标点为(x,y)的像素记为像素点(x,y)， I_L(x,y)表示左视图中坐标点为(x,y)的像素的灰度值，I_R(x+d,y)表示右视图中在视差d下与 左视图像素点(x,y)对应的像素的灰度值，即右视图中像素点(x+d,y)的灰度值，C_AD(x,y,d) 表示像素点(x,y)在视差d下的匹配代价。对于彩色图像，I_L(x,y)-I_R(x+d,y)一般表示两点 在RGB彩色空间的曼哈顿距离，公式如下：

I_L(x,y)-I_R(x+d,y)＝|R_l-R_r|+|G_l-G_r|+|B_l-B_r|

其中R_l、G_l、B_l分别表示左图像中像素点(x,y)在R通道、G通道、B通道的像素值， 同理，R_r、G_r、B_r分别表示右图像中像素点(x+d,y)在R通道、G通道、B通道的像素值。

在基于色彩区域的立体匹配过程中，一般假设匹配窗口中心像素为最优匹配时，窗口中 其余像素也是最优匹配，不是最优匹配的点被定义为奇异点。由于在匹配代价聚集时，奇异 点拥有很高的匹配代价，从而扰乱平均代价，为了有效的抑制奇异点的影响，本发明实施例 使用如下公式来抑制奇异点：

Y＝X²/(A+X²)

其中A为常数，X为视差d下的初始匹配代价，Y为经过奇异点抑制后用于代价聚集的 匹配代价，X越大，Y越大，且Y的范围控制在0到1之间。

第三步，基于分割匹配代价聚集：本发明实施例采用较大的匹配窗口，为匹配提供尽量 多的信息，降低弱纹理处的误匹配。匹配代价的聚集结果C_SAD(x,y,d)计算公式如下：

C_SAD(x,y,d)＝Σ_(x,y)∈SC_AD(x,y,d)

其中，S表示固定尺寸的匹配窗口，C_AD(x,y,d)表示像素点(x,y)在视差d下的匹配代价。 同时在同一匹配窗口中，经色彩分割后与匹配窗口中心像素不在同一区域的像素点被视为离 群点，为了不全部忽略离群点的匹配代价，此时赋予离群点的匹配代价以较小的权值λ，以减 少Mean shift过分割所带来的影响，同时也可为非深度变化区域的分割边界提供足够的匹配 信息。计算公式如下：

C_S(x,y)＝λ·C′_SAD(x,y)+C_SAD(x,y)

其中(x,y)表示中心像素的坐标，S表示固定尺寸的匹配窗口，λ表示权值，C'_SAD(x,y)表 示匹配窗口中与中心像素不在同一区域的所有像素匹配代价之和，即所有离群点的匹配代价 之和，C_SAD(x,y)表示匹配窗口中与中心像素在同一区域的所有像素的匹配代价之和，C_S(x,y) 表示在匹配窗口中，中心像素总的匹配代价之和。

第四步，视差计算，实施例选择WTA算法，在预设的视差范围约束内选择匹配代价最 小的点作为中心像素对应的匹配点，此时匹配点对应的视差即为所求的视差值。分别以左视 图为目标图，右视图为参考图，计算视差后得到一张初始视差图；同样原理，以右视图为目 标图，左视图为参考图，计算视差得到另一张初始视差图。

第五步，视差优化，首先通过图像中值滤波对第四步所得两张初始视差图进行优化，然 后通过联合左右视图的视差图，假设误匹配仅发生在其中一幅视差图的计算中，于是对比左 右初始视差图的图像中值滤波优化计计算结果，将左右不一致的视差值修正为两个视差值之 间较小值，该方法可以在一定程度上减少遮挡区域的误匹配问题，最终得到优化后的左右两 张视差图。

三、利用一种基于双目图像对生成序列视差图像的方法，得到多幅连续角度等间隔的序 列视差图像，构成一个图像序列。

设图像序列中所有序列视差图像等间隔排列，构建图像序列时，主要根据双目立体视觉 模型中双目图像对以及视差图的投影关系，生成位于双目图像对中间位置的等间隔的序列视 差图像。

图4是序列视差图像的成像模型图，其中参数Cl、Cr、x_l、x_r、z与双目立体简化模型中 相应参数一致（见图2），Cl为第一个镜头光心即左镜头光心，Cr为最后一个镜头光心即右镜 头光心，设模型中总镜头光心数为m+1，即Cr为第m+1个镜头光心，其中镜头光心Ct位于左右 镜头光心Cl、Cr之间的某一位置，则其与镜头光心Cl的距离为(n/m)×b，其中n表示Ct之前的 总镜头光心数，即从Cl到Ct的总镜头光心数有n+1个，x_t表示点P在Ct相应成像平面的成像点 的X轴坐标值，由投影原理可知镜头Cl、Cr满足以下公式：

$\frac{z}{f}=\frac{(n/m)\times b}{x_l-x_t}$

对于同一点P，其距每个镜头的垂直距离相同，即深度z不变，同时镜头的参数基本一致， 即焦距f相同，于是可得公式：

$\frac{(n/m)\times b}{x_l-x_t}=\frac{b}{x_l-x_r}$

设d＝x_l-x_r,化简整理可得公式：

$x_t=x_l-\frac{n}{m}d$

按照同样的方法，可以得到C_t、C_r之间的关系公式如下：

$x_t=x_r+\frac{(m-n)}{m}d$

根据以上公式，设双目相机拍摄的左右视图分别为图像序列中最左的序列视差图像和最右的 序列视差图像，位于两者之间的序列视差图像可由左右视图及左右两幅视差图演算出来。同 时在计算过程中，为了尽量多的利用双目图像对的信息，同时降低立体匹配中误匹配对生成 结果质量的影响，在计算一幅中间序列视差图像时，首先根据距离它最近的视图及其视差图 生成大致的图像结果，然后再使用另一幅视图对结果进行优化补充。假设根据步骤一、步骤 二有左视图L和右视图R，以及对应的两张视差图D_L和D_R，实现方式如下：

当序列视差图像T距离左视图L较近时，利用左视图L和左视差图D_L以及公式 计算左视图L中每个点的横坐标在序列视差图像T中的位置，点的纵坐标不变， 从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息，利用右 视图R和右视差图D_R以及公式进行补充，形成完整的序列视差图像T；

当序列视差图像T距离右视图R较近时，利用右视图R和右视差图D_R以及公式 计算右视图R中每个点的横坐标在序列视差图像T中的位置，点的纵坐标 不变，从而获得序列视差图像T的初始图像，然后对序列视差图像T中没有赋值的点信息， 利用左视图L和左视差图D_L以及公式进行补充，形成完整的序列视差图像T。

例如，需要用于光栅立体合成的序列视差图像共8张：S₁-S₈。首先，将左右视图分别作 为序列视差图像的第1张和第8张，即令S₁=L，S₈=R。在计算S₂，S₃，S₄图像时，相对于右 视图即S₈来说，S₁距离S₂，S₃，S₄图像较近，则利用S₁和D_L以及公式计算S₁图像中每个点的横坐标在S₂，S₃，S₄图像中的位置，点的纵坐标不变，从而分别获得初始的 图像S₂，S₃，S₄，对于S₂，S₃，S₄图像中没有赋值的点信息，利用S₈和D_R以及公式 补充，形成完整的序列视差图像S₂，S₃，S₄。对计算S₅，S₆，S₇图像，采 取同样的策略，即先利用S₈和D_R以及公式分别计算初始的图像S₅，S₆，S₇， 再利用S₁和D_L以及公式分别对初始的图像S₅，S₆，S₇进行补充，形成完整的序 列视差图像S₅，S₆，S₇。

利用上述方法，生成的序列视差图像的大部分信息被还原出来，对于仍然存在的一些丢 失的图像信息，采用目前插值效果较好的双三次插值算法进行进一步补充和优化。

四、利用基于柱镜光栅的序列视差图像编码方式，完成光栅立体图像的合成。

该光栅立体编码方式为：首先将图像序列中所有的序列视差图像按列分割，图像分割的 每列宽度等于光栅间距除以序列视差图的总张数，以此保证柱镜光栅中每个柱镜单元内存储 每个序列视差图中的相应一列，即每个序列视差图像都会抽取相应列来编码组合成光栅立体 图，最后得到的光栅立体图与源图尺寸大小相同，编码后数据量小，便于处理。

图5是基于柱镜光栅的光栅立体图像编码方式原理图，根据光栅立体编码方式，将每幅序 列视差图按列分割，由于共有3幅序列图，所以每列的宽度是由光栅间距除以3计算得到，最 终将图中所有的序列视差图像A、B、C分别分割为9列。在组合得到的立体合成图中，第1列 为图像A的第1列，第2列为图像B的第2列，第3列为图像C的第3列，第4列为图像A的第4列， 第5列为图像B的第5列，第6列为图像C的第6列，第7列为图像A的第7列，第8列为图像B的第 8列，第9列为图像C的第9列，其中第1、2、3列构成一个编码图像组，第4、5、6列构成一个 编码图像组，第7、8、9列构成一个编码图像组，每个编码组宽度等于光栅间距。

具体实施时，光栅立体编码如下：

假设生成的序列视差图像一共有N张，并且已按拍摄角度从左至右排列。首先对各序列 视差图像分别进行纵向条纹抽样分割，设定分割宽度为一个像素（因为计算机中图像以像素 为单位存储）；设第k张序列视差图像的第i行第j列的像素为gⁱ_k(j)，其中1≤k≤N，0≤i≤width-1， 0≤j≤height-1，且k、i、j为整数，width是以像素为单位的图像宽度，height是以像素为单位的 图像高度，合成后的立体图像的第i行j列的像素为fⁱ(j)，则根据原理图5中像素列对应关系，可 得出公式：

$f^i\left(j\right)=g_k^i\left(j\right)$

其中k用如下公式来确定（其中[]为取整符号）：

k＝j+1-[j/N]×N

按照该算法对序列视差图像完成光栅立体编码后，将得到一幅尺寸和源图尺寸一样的图 像。

五、调整光栅立体图像分辨率，用打印机将立体图像直接输出到柱镜光栅上。

实施例具体操作为：首先为了保证单一柱镜单元内包含不同序列视差图的单列信息，在 输出前需要对图像的分辨率进行调整，这与柱镜光栅的光栅线数以及序列视差图像数量有关， 要求分辨率要等于光栅线数与序列视差图像数量的乘积，即假设用于输出的柱镜光栅的光栅 线数为R，序列视差图像共有N幅，则光栅立体图像调整后的分辨率DPI计算公式为：

DPI＝R×N

最后以打印机为输出设备，以柱镜光栅为载体，将光栅立体图像输出。输出的光栅立体 图像用裸眼即可观察到较好的立体效果。

本发明的上述实例仅仅为说明本发明的方法实现，任何熟悉该技术的人在本发明所揭露 的技术范围内，都可轻易想到其变化和替换，因此本发明保护范围都应涵盖在由权利要求书 所限定的保护范围之内。