全景环带立体成像系统及其标定方法与成像方法

摘要

本发明公开了一种全景环带立体成像系统及其标定方法与成像方法。包括两个结构相同的同光轴上下间隔布置的全景环带成像单元，形成立体成像系统，其投影模型符合f?θ模型；用棋盘格标定板对成像单元拍摄标定获得内参，然后同时拍摄相同的标定板获得外参，建立基于任意成像单元的局部坐标系，利用外参的投影矩阵旋转两个局部坐标系，使得坐标系三个轴方向相同且同光轴；光线进入两个成像单元后，经过多次折射和反射后成像在各自的成像面上，根据内参和外参获得两个成像点各自距离光轴之间的径向距离，两者差值结合基线距计算出该物点的空间坐标。本发明不需要转动设备就能实现360°无盲区的距离测量和立体成像，实时性好，计算过程简单。

说明书

技术领域

本发明涉及一种全景立体成像光学系统，以及视觉测量领域，尤其涉及了 一种全景环带立体成像系统及其标定方法与成像方法。

背景技术

基于平面圆柱投影原理的全景环带成像技术是一种与传统中心投影原理截 然不同的新成像技术，可在无需转动成像系统的条件下，将周围360°的环带景 物一次性地成像在同一个环带像面上，从光学原理上实现了360°全景凝视成像。 如专利USPatent4,566,763,1986和USPatent5,473,474,1995所述，全景透镜采 用平面圆柱投影法FCP(FlatCylinderPerspective)，将围绕光学系统光轴360°范 围的圆柱视场投影到二维平面上的一个环形区域内。

通过上下同轴放置的存在一定光轴方向位移的两个全景环带镜头单元不仅 可以实现360°范围内无盲区的实时监控，还可以通过三角测量法计算出图像中 物体与系统的距离，可以实现无死角的报警，并且该方法不需要后期的图像拼 接，实时性好，算法简单，可以广泛的应用于机器人和车载系统中。

由于全景环带镜头的视场极大，往往可以超过180°，一般的f-tanθ投影模 型已不能适用，因此需要提出一种新的全景立体成像系统的标定方法，并且本 方案不同于传统的双目视觉，并非左右设置两套光学系统，而是上下放置，因 此其标定方法也较为特殊。

发明内容

本发明的技术解决问题是：克服了现有技术的不足，提供了一种全景环带 立体成像系统及其标定方法与成像方法，可以在不需要拼接与旋转机构的情况 下获得360°环境中的物体距离。

本发明采用的技术方案是：

一、一种全景环带立体成像系统：

包括两个结构相同的同光轴上下间隔布置的全景环带成像单元，两个成像 单元的光轴同轴并垂直于地面，形成立体成像系统，全景环带成像单元的投影 模型均符合f-θ成像模型。

一般的无畸变模型符合f-tanθ模型，即实际像高和入射角的关系为f×tanθ， 因此在接近90°时理论像高为无限大，而全景环带透镜的入射角会高于90°， 因此通过引入桶形畸变的方法来避免像高无限大的情况，这类型的成像模型的 实际像高和入射角的关系为f×θ。

所述成像系统使用时光轴垂直于地面放置，与光轴垂直的直线为水平线， 两个全景环带成像单元将绕光轴360°范围之内、水平线以下0°～20°、水平线 以上0°～80°范围内的物体发出的光线投影到两个全景环带成像单元各自的成 像面上，成像面呈环形，中心存在圆形盲区。

所述的两个全景环带成像单元沿光轴方向的基线距d为10mm～100mm。

所述的全景环带成像单元包括同一光轴下的环形折射面、环形反射面、圆 形反射面、圆形折射面、中继转向透镜和成像面，环形折射面作为入射面，环 形反射面位于环形折射面的正下方且其反射面朝上，圆形反射面连接在环形折 射面的中心且其反射面朝下，圆形折射面连接在环形反射面的中心；入射光从 环形折射面折射入射，经环形反射面反射到圆形反射面上，再经圆形反射面反 射后经圆形折射面折射后出射，出射的光经中继转向透镜汇聚到成像面上。

二、一种全景环带立体成像系统的标定方法，步骤如下：

1)使用带棋盘格的标定板对两个结构相同的全景环带立体成像单元分别进 行拍摄标定，获得各自的内参，内参包括镜头的投影中心坐标、近轴焦距、畸 变方程系数、主点在虚拟像平面上的投影坐标等参数，主点为距离投影中心为 一倍焦距的点，然后进行校正使得两个全景环带立体成像单元的内参在校正后 相同；

2)将两个全景环带成像单元上下同轴放置形成所述全景环带立体成像系统， 使用相同的带棋盘格的标定板分别进行拍摄，获得全景环带立体成像系统的外 参，外参包括两个全景环带成像单元的基线距以及两个全景环带成像单元分别 相对于标定板所在平面的投影矩阵；

3)建立世界坐标系，以带棋盘格的标定板所在平面的坐标系作为世界坐标 系的XY轴，垂直于标定板的方向为世界坐标系的Z轴；对于两个全景环带成 像单元分别建立空间上的虚拟成像平面局部坐标系O₁X₁Y₁Z₁和O₂X₂Y₂Z₂，其中 O点为全景环带成像单元的成像面中心，作为虚拟成像平面局部坐标系的原点， 成像面中心为成像面与光轴的交点，光轴方向作为Z轴，X轴和Y轴分别为垂 直于光轴的投影平面的两个互相垂直方向；

4)利用步骤2)获得的投影矩阵，旋转上方全景环带成像单元和下方全景 环带成像单元的局部坐标系，完成对全景环带立体成像系统的标定。

所述步骤3)中具体的是：O₁、O₂为下、上全景环带成像单元的成像面中 心，Z₁、Z₂轴为下、上全景环带成像单元的Z轴方向，X₁/X₂轴分别表示下、上 全景环带成像单元的X轴方向，Y₁/Y₂轴分别表示下、上全景环带成像单元的Y 轴方向；

所述步骤4)中旋转上方全景环带成像单元和下方全景环带成像单元的局部 坐标系具体方法为：

4.1)将上方全景环带成像单元的局部坐标系绕着原点O₂旋转至其Z₂轴与 O₁O₂连线重合，

4.2)然后将下方全景环带成像单元的局部坐标系绕着原点O₁旋转至其Z₁轴与O₁O₂连线重合；

4.3)最后将上方全景环带成像单元或者下方全景环带成像单元的X-Y平面 绕自身坐标系的Z轴旋转，使得上下全景环带成像单元的X和Y轴方向对齐一 致。

所述步骤4.1)～4.3)中的旋转角度是根据上方全景环带成像单元相对于下 方全景环带成像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带 成像单元的投影矩阵获得，所述上方全景环带成像单元相对于下方全景环带成 像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带成像单元的投 影矩阵是根据步骤2)获得的两个投影矩阵相除获得。

三、一种全景环带立体成像系统的成像方法：

步骤一、采用权利要求5～8任一所述的方法对上、下两个全景环带成像单 元进行标定处理，获得内参和外参；

步骤二、空间的物点发出两条光线，分别进入标定后的两个全景环带成像 单元中，经过多次折射和反射后成像在各自的成像面上，根据全景环带成像单 元的内参和外参获得两个成像点各自距离光轴之间的径向距离；

步骤三、比较两个成像点各自距离光轴之间的径向距离获得两者差值，并 结合成像系统已知的基线距，通过以下公式的三角测量法计算出该物点距离系 统光轴的距离：

$z=\frac{f\times d}{x_2-x_1}$

其中f为全景单元的标定焦距(以毫米为单位)，d为系统的基线距离(以 像素为单位)，x₁和x₂为相同像点在两个像平面上的径向距离(以像素为单位)， z为计算出的物体的距离系统光轴的距离(以毫米为单位)。

所述的两个成像点各自与光轴之间的径向距离具体是根据内参和外参将两 个全景环带成像单元的成像图像沿着任意同一条极线分别展开成矩形，计算两 个矩形中各自成像点位置的距离差异获得。

本发明的有益效果是：

本发明全景立体环带成像装置在不需要转动设备的情况下，使用两个光学 系统即实现了360°无盲区的距离测量，并且与该发明相配套的立体标定方法不 同于已有的双目标定方法，提出了一种非f-tanθ投影模型的标定方法，可以实现 一次性快速标定。经过标定后的图像可以采用与双目视觉求取视差相同的方法 计算物体的距离，实时性好，计算过程简单。

附图说明

图1是单个全景环带镜头的光路图；

图2是单个全景环带镜头的像面分布图；

图3是本发明的立体成像原理图；

图4是本发明的虚拟像平面位置关系示意图与展开后的图像示意图；

图5是本发明全景环带立体成像装置的图像标定方法流程；

图6是本发明虚拟成像平面与同一物点的投影关系；

图7是本发明校正虚拟成像平面的过程示意图。

图中：环形折射面1、环形反射面2、圆形反射面3、圆形折射面4、中继 转向透镜5、成像面6、上方全景环带成像单元7、下方全景环带成像单元8、 光轴9；成像区域S₁、盲区S₂、成像点P、物点P₀、第一成像点P₁、第二成像 点P₂、上方成像单元主点M₂、下方成像单元主点M₁、基线距d、H为物点到第 二个全景环带成像单元成像面的高度、S为物点到光轴的距离。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1所示，本发明包括两个结构相同的同光轴9上下间隔布置的全景环 带成像单元，两个成像单元的光轴9同轴并垂直于地面，形成立体成像系统， 全景环带成像单元均符合f-θ成像模型。

本发明全景环带成像单元的结构是：一面为向外突出的环形折射面1，其中 央部分为圆形反射面3，在环形折射面1的下方有向外突出的环形反射面2，其 与环形折射面1之间连接部分为磨砂面，环形反射面2中心内圆区域为圆形折 射面4，可以是凸面或凹面，也可以是平面，四个面组成一个实体。

全景透镜的成像原理是：同一物点发出的光线从环形折射面1折射进入实 体，然后被环形反射面2与圆形反射面3两次反射，最后从圆形折射面4折射 出实体。光线通过全景透镜后在其内部或后方形成虚像，该虚像通过中继转向 透镜5折射，成像于成像面6的成像点P。

如图2所示，为本发明的单个全景环带镜头的像面分布图，由于存在原型 反射面3的遮挡，近轴的光线无法进入全景透镜成像，因此会在成像面上形成 圆形的盲区S₂，而其能够成像的区域为环形的成像区域S₁。

如图3所示，为本发明的立体成像原理图。两个如图1所示的成像单元上 下堆叠放置，且共光轴9，两单元虚拟主点M₁和M₂之间的间距为基线距d，使用 时光轴垂直于地面放置。空间中任意一点P₀发出两条光线，可以分别进入上方 成像单元7和下方成像单元8，最终分别成像于第一成像点P₁和第二成像点P₂上，这两点距离光轴9的像素数略有差异，类似于双目视觉，通过该差异与基 线距d与焦距f即可计算出P₀点的空间坐标P₀(S,H)。

本发明获得的两张图像为两幅环状图像，由于两个成像单元是上下放置的， 不同于一般的双目相机，基线并非沿着图像的水平方向，而是从图像中心发出 的射线。类似于双目相机在计算视差前要对图像进行标定和校正，由于受到镜 头自身的个体误差，两全景环带成像单元空间相对位置偏差和成像面的空间状 态等影响，必须对获得的图像进行标定，具体的说是将上下两成像单元拍摄的 具有一定视差的图像进行极线标定和校正，使得上下两全景环带成像单元拍摄 的两幅图像的虚拟成像平面三个坐标轴方向一致，仅存在Z轴方向的位移。如 图4左图所示，标定后的上下单元的虚拟图像平面的X和Y轴方向相同，Z轴同 轴，任意通过Z轴的平面与虚拟成像平面的交线都是极线，同一物点形成的两 成像点服从极线约束，两成像点与Z轴必在同一平面上。沿着任意一条极线将 上下单元的环形图像展开成矩形，可获得两张全景图像，如图4右图所示，此 时只要沿着纵向极线方向查找同一物点的在两幅图上的对应像点的距离差异即 可获得视差值，结合已知的基线距d与焦距f，可采用常规的双目视觉算法，计 算获得同一物点距离全景环带立体成像装置光轴的距离。将所有像素点进行匹 配后即可获得一副全景深度图。

DavideScaramuzz对鱼眼镜头和全景镜头等具有特殊投影模型的大畸变大 视场成像系统给出了标定内参的方法，可标定出镜头在成像面上的投影中心， 畸变方程系数，仿射变换矩阵等内参，整个标定过程与标定普通相机过程类似， 也采用拍摄黑白棋盘格的方式进行，但并未给出如何标定由两个相同全景镜头 组成的全景环带立体成像系统的方法。

如图5所示，本发明实施例及其过程如下：

对上下两个全景环带成像单元分别进行标定，获得各自的内参；两个全景 环带成像单元拍摄相同的棋盘格可获得外参，建立空间上的两虚拟成像平面局 部坐标系；计算上方虚拟成像平面相对于下方虚拟成像平面的投影矩阵；旋转 上下坐标系的坐标轴，使得XYZ方向均一致且Z轴同轴，并获得各自的投影矩 阵；将两幅经过投影矩阵校正后的图像沿着径向展开成矩形后，即变成了两幅 普通的校正后的双目图像对，可通过常见的双目视觉算法计算物点的距离。

下面分别对各主要步骤进行说明。

(1)对上下两个全景环带成像单元分别进行标定，获得各自的内参。利用 物理参数已知的黑白棋盘格拍摄多幅完整的图像，采用DavideScaramuzz提供 的OcamCalibToolbox计算获得准确度较高的内参，具体包括镜头主点相对于 成像平面的距离，图像中心的坐标，近轴焦距，以及每张黑白棋盘格相对于成 像平面的投影矩阵。

(2)两个全景环带镜头拍摄相同的棋盘格，获得两者的外参，建立空间上 的虚拟成像平面局部坐标系O₁X₁Y₁Z₁和O₂X₂Y₂Z₂，其中O₁/O₂为成像点的投影中心， 光轴方向为Z₁/Z₂轴，垂直于光轴的投影平面两垂直方向分别为X₁/X₂轴和Y₁/Y₂轴。通过上下两个全景环带成像单元同时拍摄一块黑白标定板，获得上下两个 全景环带成像单元成像面相对于标定板上同一个物点的投影矩阵，由此建立上 下全景环带成像单元的局部坐标系。

若世界坐标系中任意一点投影到两个局部坐标系中，如图6左侧所示，大 坐标为世界坐标系，小坐标为两虚拟成像平面所在坐标系。如果以下方坐标系 作为世界坐标系，其中心法线为O₁Z₁轴，如图6右侧图所示，由于各种误差的存 在，上方虚拟成像平面的中心法线O₂Z₂与O₁Z₁不同轴，需要对其进行校正。

(3)将两全景相机拍摄相对于同一棋盘格的投影矩阵相除获得上方虚拟 成像平面相对于下方虚拟成像平面的投影矩阵。对于一般的相机旋转和平移， 世界坐标系中的任意一点P(X,Y,Z)投影到图像平面上可以用以下方程表示：

$K\left(\begin{array}{cc}1& 0\\ 0^T& 1\end{array}\right){\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)}_W=z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$

$K\left(\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right){\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)}_W=z^{\prime }\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)$

其中，第一个方程代表在虚拟成像平面在旋转前满足的方程，第二个方程 代表虚拟成像平面在经过旋转和平移后满足的方程，K是包含焦距和图像中心坐 标的相机内参矩阵，P’(u,v)为P在虚拟成像平面上的二维坐标。u表示空间中 任意一点x方向的坐标，表示空间中任意一点y方向的坐标，z表示和z’分别为 与旋转前后焦距相关常数，W表示世界坐标系。

一般相机的内参矩阵为3*4的矩阵，外参为4*4的矩阵，所以K是不能求 逆的，因为本方法不含平移(t＝[0；0；0])，因此外参矩阵可以缩减到3*3，可 以求逆，只保留R，如下方程所示：

$\left(\begin{array}{cc}K=\left(\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\Rightarrow K^{\prime }=\left(\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right)& \left(\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right)\Rightarrow R\end{array}\right)$

其中，K’为不含有平移的投影矩阵，R为旋转矩阵，t为平移矩阵。f_x表 示小孔成像模型的x方向的近轴焦距，f_y表示小孔成像模型的y方向的近轴焦 距，u₀表示x方向的中心坐标，v₀表示y方向的中心坐标，0^T表示1*3的全0 矩阵。

消除相同的世界坐标(X,Y,Z,1)后，则旋转前后虚拟成像平面上的二维坐 标(u,v)和(u’,v’)满足以下方程：

$\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)=\frac{z}{z^{\prime }}·K^{\prime }{\mathrm{RK}}^{\prime -1}\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$

全景环带成像单元的内参矩阵在虚拟成像平面上的中心坐标(u’,v’)在 步骤(1)中已经获得，但其中并没有给出焦距值，原因在于鱼眼镜头或全景镜 头的畸变巨大，不满足小孔成像模型(或称之为f-tanθ模型)，此类镜头即使 标定出焦距也只适用于近轴位置，非近轴视场的边缘畸变极大。这类畸变一般 可以拟合成一个视场角与像点到图像中心距离r的多项式的和的形式，如以下 方程所示：

r(θ)＝a₁θ+a₂θ²+a₄θ⁴+a₆θ⁶+...+a_2nθ²ⁿ

其中，a_n为投影模型的畸变系数，θ为入射光与光轴的夹角，r为入射光在 虚拟成像平面上的成像点与虚拟成像平面中心的距离。

全景环带成像单元在设计时符合f-θ模型，因此以上方程可以简化为：

r(θ)＝fθ

其中，θ为入射光与光轴的夹角，f为全景环带成像单元标定后的焦距，r 为入射光在虚拟成像平面上的成像点与虚拟成像平面中心的距离。

因此其在图像上的坐标符合以下方程：

$x=\frac{f_x}{Z_w}·X_w=f_x·{\mathrm{tan\theta }}_x$

其中，x为投影点在虚拟成像平面上X方向的距离，θ_x为入射光与光轴的夹 角在X轴方向的分量，X_W和Z_W分别表示物点在X和Z方向的世界坐标。

由于符合f-θ模型，全景环带成像单元的X_w等价于θ_xZ_w，也就是说物空间坐 标(X_W,Y_W,Z_W)可以写成(θ_xZ_w，θ_yZ_w，Z_w),其中的角度均为弧度制。因此全景环带 成像单元的投影方程可以表示为：

$Z_W\left(\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{\theta }_x{Z}_W\\ {\theta }_y{Z}_W\\ Z_W\end{array}\right)=Z_W\left(\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{\theta }_x\\ {\theta }_y\\ 1\end{array}\right)$

其中(u’,v’)为投影点在虚拟成像平面上的坐标，θ_x和θ_y为入射光与光轴的夹 角在X和Y轴方向的分量，Y_W分别表示物点在Y方向的世界坐标。

因此，全景环带成像单元的成像模型也依然满足小孔成像的模型。上方全 景环带成像单元相对于下方全景环带成像单元的投影矩阵M为：

$M=\frac{z}{z^{\prime }}·K^{\prime }{\mathrm{RK}}^{\prime -1}$

(4)利用以上获得投影矩阵，将上方虚拟成像平面的z₂轴绕着O₂旋转至与 O₁O₂连线相同的方向，然后，将下方虚拟成像平面的z₁轴绕着O₁旋转至与O₁O₂连线相同的方向，最后旋转上方或下方虚拟成像平面的z轴，使得上下两虚拟 成像平面的x和y轴方向一致。为了保证基线距离相同，同时使两虚拟成像平 面的Z轴同轴，必须对两个虚拟成像平面进行三次旋转。

在获得步骤(3)的矩阵M后，即可知道两个虚拟成像平面的旋转角度。如 图7所示，首先计算出上方虚拟成像平面中心O₁与下方虚拟成像平面中心O₂的 连线向量O₁O₂与下方虚拟成像平面法线O₁Z₁与上方虚拟成像平面法线O₂Z₂的夹 角θ₁和θ₂，将两个夹角通过罗德里格斯方程转换为旋转矩阵M₂和M₁，接下来 下方虚拟成像平面保持不变，计算上方虚拟成像平面X轴或Y轴相对于下方虚 拟成像平面X轴或Y轴的角度θ₂’，采用同样的方法转换为旋转矩阵M₂’，因此 上下虚拟成像平面的旋转矩阵分别为：

$\left(\begin{array}{c}{M}_{down}=M_1\\ M_{up}={M_2}^{\prime }·M_2\end{array}\right)$

其中，M_down和M_up分别为下和上虚拟成像平面的旋转矩阵。

原像平面上的坐标乘以以上各自的旋转矩阵后即可保证上下虚拟成像平面 的坐标轴对齐，只存在Z方向的基线差异。

(5)将两幅图像沿着径向展开成矩形，消除径向畸变，通过三角测量法比 较同一物点在极线上的差异可获得该物点的距离。

由于全景环带成像单元形成的图像是两个环形图像，沿着极线展开后既可 以获得一副360°的无拼接全景图，将校正后的图像展开后即可获得如图4右侧 的图像，图4右侧中上下的两幅图像只存在Y方向的视差，因此具体实施中是 从两幅图像各自的左上角开始，沿着Y方向逐像素扫描，找到Y方向相似度最 大的匹配点对，计算出两者Y方向的像素差异，结合已知的基线长度，即可计 算出该匹配点距离装置光轴的距离。

由此，本发明实现了在不需要转动设备的情况下360°无盲区的距离测量， 并且可一次性快速标定，实时性好，具有其突出显著的技术效果。