一种基于沙姆定律的投影仪标定方法

摘要

本发明提供了一种基于沙姆定律的投影仪标定方法，属于3D结构光测量技术领域。本发明是针对沙姆投影仪，使用精度更高的双向多频多步相移法，提升相位的计算精度，构建沙姆投影仪成像模型结合现有的张氏解析算法进行内外参初值的计算，利用LM算法对投影仪内参、外参、畸变系数进行优化，并进一步继续利用LM算法对沙姆角进行优化，提高投影仪的标定精度。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于沙姆定律的投影仪标定方法。

背景技术

结构光测量技术是指通过投影仪向物体表面投射特制图案，相机拍摄经由物体表面调制的图案，经各种恢复算法，得到被测物体表面三维信息的一种测量技术。目前，投影仪在该技术领域有着重要的应用，其前提是能够对投影仪准确的内外参标定，而投影仪并不能像相机一样成像，这就是投影仪标定的难点所在，如何利用相机标定算法去标定投影仪仍是相关领域的研究重点。另外，为解决由于景深限制无法获取大范围目标清晰图像的问题，一种较为新颖的满足沙姆定律的相机得到了广泛推广和应用，对应相机的成像平面与透镜面倾斜，称为沙姆相机。此时，沙姆相机的成像模型不同于普通的小孔成像模型，难以直接使用现有成熟的相机标定方法，如附图1所示，为沙姆相机的标定模型。在投影仪的技术中，将满足沙姆定律的投影仪成为沙姆投影仪。

中国专利申请文献CN104732539A中公开了为一种投影仪标定方法，其投影仪标定主要是借助于结构光技术和相机，主要过程如下：通过投影仪投射结构光到棋盘格标定板上，然后相机捕捉棋盘格图像并进行解码，通过相位值建立投影仪图像坐标和标定板三维坐标的映射，即计算得到棋盘格角点的投影仪图像坐标，改变标定板位姿重复以上过程得到多组标定板角点的投影仪图像坐标，由于标定板上棋盘格角点三维世界坐标已知，最后利用张正友相机标定算法进行投影仪标定。该标定过程比较复杂，且通过相机进行标定必然造成成本增加、由于坐标传递容易引起精度损失。

现有技术至少存在以下不足：

1.使用普通结构的投影仪，存在景深浅，视野两端离焦，成像模糊的问题。

2.沙姆投影仪成像模型，现有技术中的投影仪标定方法不再适用。

发明内容

为解决现有技术中的投影仪标定方法不适用于沙姆投影仪的标定问题，本发明提供了一种基于沙姆定律的投影仪标定方法，该方法使用精度更高的双向多步多频相移码来寻找相机和投影仪的对应关系，提升了解相精度，同时构建了沙姆投影仪逆向的成像模型，结合现有的张氏解析算法计算相机内外参初值，并利用LM算法对投影仪标定参数进行非线性迭代优化，进一步提高标定精度。

本发明提供了一种基于沙姆定律的投影仪标定方法，包括如下步骤：

投影仪标定图片的采集步骤：

采用棋盘格标定板，在相机的景深范围内，以任一位姿将标定板摆放在投影区域内，由投影仪分别向标定板投射M种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各N张条纹图；

不移动标定板，再投射一张没有条纹的光，获取一个位置的一组投影仪标定图片；

每次投影的同时用相机采集投影图案的标定板图像；

按照上述步骤，调整标定板位姿，使标定板尽量覆盖整个投影区域，得到多个不同位姿的标定板图像；

投影仪像素坐标的获取步骤：

对不包含条纹图像的标定板图像，采用Harris特征提取算法提取棋盘格角点的亚像素坐标，将所述棋盘格角点作为标定板图像的特征点；

采用N步相移算法计算相位主值；

采用M频外差法计算绝对相位值；

采用双线性插值算法计算每个特征点图像的相机像素坐标的绝对相位值；

根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标；

投影仪的标定步骤：

构建逆向沙姆投影仪的成像模型，利用张氏解析方法计算投影仪内参和外参初值；

结合构建的逆向沙姆投影仪的成像模型，在虚拟成像面引入镜头畸变模型，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化，畸变系数初值为0；

将内参、畸变系数、外参的优化结果作为定值，以重投影误差最小为准则，建立目标方程，根据构建的沙姆投影仪的成像模型，采用LM算法进行沙姆角的优化。

优选地，所述采用N步相移算法计算相位主值具体包括：

将成像系统获取的N帧条纹像表示为：

其中，

I

A(x,y)为背景光强；

I”(x,y)为受物体面形反射率影响的光场调制强度；

Φ为调制光场的相位分布；

N为相移法步数；

利用N帧条纹图像，采用如下公式计算相位主值：

其中，

φ(x,y)为相位主值；

(x,y)为投影仪像素坐标；

k为计算过程中的具体相移步数。

优选地，采用M频外差法计算绝对相位值具体包括采用如下公式计算绝对相位值：

其中，

φ

Φ

φ(x,y)为叠加相位主值函数；

INT[·]为四舍五入取整计算；

f为叠加频率；

f

优选地，采用双线性插值算法计算每个特征点坐标的绝对相位值具体包括根据提取得到的各特征点的标定板亚像素位置坐标，利用双线性插值得到各特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)

其中，

Φ为绝对相位值；

(i,j)分别为特征点坐标在相机图像坐标系中垂直和水平方向的整数部分；

(u,v)分别为特征点坐标在相机图像坐标系中垂直和水平方向的小数部分。

优选地，根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标具体包括采用如下公式进行计算：

其中，

(u

(u

Φ

N为光栅条纹周期个数；

W为投影仪图像水平方向的分辨率；

Φ

H为投影仪图像垂直方向的分辨率。

优选地，投影仪的标定步骤中构建逆向沙姆投影仪的成像模型，具体包括如下步骤：

采用如下公式进行世界坐标到投影仪图像坐标之间的转换：

其中，

(u

Z

(X

其中，(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C

(f

其中，(α

M

R为旋转矩阵；

T为平移向量。

优选地，采用LM算法进行内参、畸变系数、外参的优化具体包括采用如下公式进行优化：

其中，

L为引入畸变模型前以重投影误差最小为准则建立的目标方程；

A为内参；

R

T

i为第i个位姿；

j为第j个特征点；

N

N

K＝(k

m

M

优选地，建立目标方程具体包括如下步骤：

进行世界坐标系到投影仪坐标系的坐标转换：

进行投影仪坐标系到虚拟成像坐标系的坐标转换：

进行虚拟成像坐标系到实际成像坐标系的坐标转换：

进行实际成像坐标系到图像像素坐标系的坐标转换：

在虚拟成像面将虚拟成像坐标按照畸变模型进行畸变校正，得到如下目标方程，

其中，

(x

(x

r

(k

(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C

(X，Y)为实际成像面坐标；

(u

(X

(X

(X

优选地，根据构建的沙姆投影仪的成像模型，利用LM算法进行沙姆角的优化具体包括采用如下公式进行优化：

L为引入畸变模型后以重投影误差最小为准则建立的目标方程；

i为第i个位姿；

j为第j个特征点；

N

N

α＝(α

m

M

优选地，标定板位姿个数≥3。

与现有技术相对比，本发明的有益效果如下：

(1)本发明采用双向多步多频相移码来寻找投影仪像素坐标，提高了解相精度；

(2)本发明构建了一种沙姆投影仪的成像模型，降低了沙姆投影仪的标定难度；

(3)本发明采用两步标定法进行沙姆投影仪的标定，提高了投影仪的标定精度。

附图说明

图1是沙姆相机的标定模型；

图2是本发明的一个实施例的标定方法流程图；

图中，Pw为三维空间世界坐标系中任意一点，O为光心，OXcYcZc表示相机坐标系，平面S表示沙姆光机实际成像面，平面P表示垂直于光轴的虚拟成像面，r为过点Pw与光心O的直线，Ps为直线r与平面S的交点，Pp为直线r与平面P的交点，α

具体实施方式

下面结合附图1-2，对本发明的具体实施方式作详细的说明。

本发明提供了一种基于沙姆定律的投影仪标定方法，包括如下步骤：

投影仪标定图片的采集步骤：

采用棋盘格标定板，在相机的景深范围内，以任一位姿将标定板摆放在投影区域内，由投影仪分别向标定板投射M种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各N张条纹图；

不移动标定板，再投射一张没有条纹的光，获取一个位置的一组投影仪标定图片；

每次投影的同时用相机采集投影图案的标定板图像；

按照上述步骤，调整标定板位姿，使标定板尽量覆盖整个投影区域，得到多个不同位姿的标定板图像；

投影仪像素坐标的获取步骤：

对不包含条纹图像的标定板图像，采用Harris特征提取算法提取棋盘格角点的亚像素坐标，将所述棋盘格角点作为标定板图像的特征点；

Harris特征提取算法为基于图像灰度的方法通过计算点的曲率及梯度来检测角点，角点为棋盘格两个边缘的连接点，代表了两个边缘变化的方向上的点。

采用N步相移算法计算相位主值；

采用M频外差法计算绝对相位值；

采用双线性插值算法计算每个特征点图像的相机像素坐标的绝对相位值；

根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标；

投影仪的标定步骤：

构建逆向沙姆投影仪的成像模型，利用张氏解析方法计算投影仪内参和外参初值；

结合构建的逆向沙姆投影仪的成像模型，在虚拟成像面引入镜头畸变模型，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化，畸变系数初值为0；

将内参、畸变系数、外参的优化结果作为定值，以重投影误差最小为准则，建立目标方程，根据构建的沙姆投影仪的成像模型，采用LM算法进行沙姆角的优化。

作为优选实施方式，所述采用N步相移算法计算相位主值具体包括：

将成像系统获取的N帧条纹像表示为：

其中，

I

A(x,y)为背景光强；

I”(x,y)为受物体面形反射率影响的光场调制强度；

Φ为调制光场的相位分布；

N为相移法步数；

利用N帧条纹图像，采用如下公式计算相位主值：

其中，

φ(x,y)为相位主值；

(x,y)为投影仪像素坐标；

k为计算过程中的具体相移步数。

作为优选实施方式，采用M频外差法计算绝对相位值具体包括采用如下公式计算绝对相

位值：

其中，

φ

Φ

φ(x,y)为叠加相位主值函数；

INT[·]为四舍五入取整计算；

f为叠加频率；

f

作为优选实施方式，采用双线性插值算法计算每个特征点坐标的绝对相位值具体包括根据提取得到的各特征点的标定板亚像素位置坐标，利用双线性插值得到各特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)

其中，

Φ为绝对相位值；

(i,j)分别为特征点坐标在相机图像坐标系中垂直和水平方向的整数部分；

(u,v)分别为特征点坐标在相机图像坐标系中垂直和水平方向的小数部分。

作为优选实施方式，根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标具体包括采用如下公式进行计算：

其中，

(u

(u

Φ

N为光栅条纹周期个数；

W为投影仪图像水平方向的分辨率；

Φ

H为投影仪图像垂直方向的分辨率。

作为优选实施方式，投影仪的标定步骤中构建逆向沙姆投影仪的成像模型，具体包括如下步骤：

采用如下公式进行世界坐标到投影仪图像坐标之间的转换：

其中，

(u

Z

(X

其中，(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C

(f

其中，(α

M

R为旋转矩阵；

T为平移向量。

作为优选实施方式，采用LM算法进行内参、畸变系数、外参的优化具体包括采用如下公式进行优化：

其中，

L为引入畸变模型前以重投影误差最小为准则建立的目标方程；

A为内参；

R

T

i为第i个位姿；

j为第j个特征点；

N

N

K＝(k

m

M

作为优选实施方式，建立目标方程具体包括如下步骤：

进行世界坐标系到投影仪坐标系的坐标转换：

进行投影仪坐标系到虚拟成像坐标系的坐标转换：

进行虚拟成像坐标系到实际成像坐标系的坐标转换：

进行实际成像坐标系到图像像素坐标系的坐标转换：

在虚拟成像面将虚拟成像坐标按照畸变模型进行畸变校正，得到如下目标方程，

其中，

(x

(x

r

(k

(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C

(X，Y)为实际成像面坐标；

(u

(X

(X

(X

作为优选实施方式，根据构建的沙姆投影仪的成像模型，利用LM算法进行沙姆角的优化具体包括采用如下公式进行优化：

L为引入畸变模型后以重投影误差最小为准则建立的目标方程；

i为第i个位姿；

j为第j个特征点；

N

N

α＝(α

m

M

LM算法全称为Levenberg-Marquardt算法，是现有成熟的较为有效的最小二乘法之一，是对高斯牛顿的改进，在迭代步长上略有不同。

作为优选实施方式，标定板位姿个数≥3。

作为优选实施方式，根据张氏解析算法计算内、外参初值包括如下步骤：

令Z

sm＝HM其中，s为比例因子，

根据上面的公式sm＝HM，得到如下关系式：

进而得到如下方程：

再得到如下公式：

令：

则有Ab＝0，可以得到A

对A

A

则上式的解为：b＝V的最后一行向量，因此得到H如下：

对上式变形得到：

利用LM优化算法对H进行迭代寻优，以所得H作为迭代初值H0。

其中，

由于

则有

h

令：

同理，

利用SVD分解求的b，得到b向量，(α

根据得到的投影仪内参初值，计算外参初值：

将上面的公式

对上式进行单应性矩阵的求解，得到

R＝[r

根据公式

并以重投影误差最小为准则建立目标方程得到：

其中，

R

T

i为第i个位姿；

j为第j个特征点；

N

N

实施例1

根据本发明的一个具体实施方案，下面对本发明的基于沙姆定律的投影仪标定方法进行详细说明。

本发明提供了一种基于沙姆定律的投影仪标定方法，该方法包括如下步骤：

1、采集投影仪标定图片，具体步骤包括：

(1)在相机的景深范围内，将标定板以一定位姿摆放在投影区域内，分别投射3种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各5张条纹图，共得到2*5*3张相机标定图片，不移动标定板，再投射一张没有条纹的光；

(2)获取一个位置的一组投影仪标定图片，包含2*5*3+1张投影仪标定图片，每次投影的同时用相机采集投影图案的标定板图像；

(3)继续按照上述步骤，在相机的景深范围和投影仪的投射范围内，采集标定板不同位姿对应的2*5*3+1张标定图像，使标定板尽量覆盖整个投影区域，得到30组不同位姿的标定板图像，共得到(2*5*3+1)*30张标定图片。

2、获取投影仪像素坐标，使用棋盘格标定板，对每组图像中不包含条纹的图像采用Harris特征提取算法获取高精度的特征点像素坐标，采用5步相移法和3频外差法解相，并通过双线性插值算法得到每个特征点坐标对应更高精度的绝对相位值，具体包括如下步骤：

(1)对每组图像中不包含条纹的图像，采用Harris特征提取算法提取棋盘格特征点像素坐标；

(2)采用5步相移法和3频外差法求解绝对相位，并采用双线性插值算法得到每个特征点坐标更高精度的绝对相位值；

投影的3个不同频率的正弦光栅条纹，频率分别为：f

采用3频外差法进行绝对相位的计算：

叠加频率f

叠加频率f

叠加频率f

从而得到

得到φ

利用双线性插值得到该特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-

(1)利用每个特征点坐标的绝对相位值，得到各特征点在相机图像中坐标对应的投影仪像素坐标；

其中，(u

(2)根据得到的投影仪像素坐标，结合构建的沙姆投影仪成像模型，利用张氏解析算法计算投影仪内参和外参初值；

(3)在虚拟成像面引入镜头畸变模型，将标定板面投影至虚拟成像面，将沙姆角初值作为默认值，将去畸变后的虚拟成像面像点投影至实际像面，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化；

L为以重投影误差最小为准则的目标方程，A为内参，R

(4)将步骤(6)中的内参、畸变系数、外参的优化结果作为默认值，以重投影误差最小为准则，建立目标方程，采用LM算法进行沙姆角的优化；

L为以重投影误差最小为准则的目标方程，i为第i个位姿，j为第j个特征点，N

(9)得到沙姆投影仪的标定参数，包括：投影仪内参、畸变系数以及沙姆角。

实施例2

本发明采用的DLP投影仪投射的图像分辨率为1280*720像素，相机获取的图像分辨率为2448*2048像素，x方向和y方向的沙姆角分别为4.637°和0°，可认为在y方向不存在倾斜，所投射的3个频率的条纹对应周期分别为20,22,24。

按照实施例1中的方法，采集投影仪标定过程中用到的棋盘格标定板图像，标定实验求出的投影仪内参初值为：

经非线性优化后所得的投影仪内参初值为：

畸变系数为：[0.33181 -0.05140 -0.00414 0.07085 0.94587]；

沙姆角的优化结果为：3.22316°

重投影误差为：0.20333

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。