基于RGB-D图像和多相机系统的图像插值方法及装置

摘要

本发明公开了一种基于RGB‑D图像和多相机系统的图像插值方法及装置，其中方法包括：对多相机系统中的每台相机进行相机标定；根据所述多相机系统中的每台相机的所处位置信息，明确新相机的插值位置，并根据相机标定数据计算所述新相机的相机位姿；根据相机的投影关系和各相机的位姿信息，计算与所述多相机系统中的各相机采集的指定图像具有一一对应关系的多张初始插值图像；对各所述初始插值图像进行图像融合，得到一融合插值图像；对所述融合插值图像进行像素补全，最终得到关联所述新相机的插值图像。本发明解决了多视角视频由于采集相机布设数量过少，切换观看视角时容易产生观感卡顿的问题。

说明书

技术领域

本发明涉及一种图像插值方法，具体涉及一种基于RGB-D和多相机系统的图像插值方法及装置。

背景技术

如今，多相机系统在3D重建、运动捕捉、多视点视频拍摄等领域得到了广泛应用。多相机系统通过多个不同相机、光源、存储设备等同时对一个或多个目标进行跟踪拍摄，得到的多视角视频更能展示出目标特征，能够大幅提高观众的视觉体验。但多视角视频通常只能在原始的采集相机视角进行观看，当采集相机的布设数量较为稀疏时，视角切换为引起较大的内容变化，使得用户观感卡顿。

发明内容

本发明的以解决多视角视频由于采集相机布设数量过少，切换观看视角时容易产生观感卡顿的问题，提出了一种基于RGB-D图像和多相机系统的图像插值方法及装置。

为达此目的，本发明采用以下技术方案：

提供一种基于RGB-D图像和多相机系统的图像插值方法，步骤包括：

1)对多相机系统中的每台相机进行相机标定；

2)根据所述多相机系统中的每台相机的所处位置信息，明确新相机的插值位置，并根据步骤1)的相机标定数据计算所述新相机的相机位姿；

3)根据相机的投影关系和各相机的位姿信息，计算与所述多相机系统中的各相机采集的指定图像具有一一对应关系的多张初始插值图像；

4)对各所述初始插值图像进行图像融合，得到一融合插值图像；

5)对所述融合插值图像进行像素补全，最终得到关联所述新相机的插值图像。

优选地，步骤2)中，所述新相机的相机位姿包括相机内参矩阵、相机平移向量和相机旋转矩阵，所述新相机的相机内参矩阵通过以下公式(1)计算而得：

K'＝(1-λ)K

公式(1)中，K'表示所述新相机的相机内参矩阵；

λ用于表示所述新相机的插值位置，λ为所述新相机到左相机的距离与左右相机总距离的比值，0λ≤1；

K

K

优选地，所述新相机的相机平移向量通过以下公式(2)计算而得：

T'＝(10λ)T

公式(2)中，T'表示所述新相机的相机平移向量；

T

T

优选地，计算所述新相机的相机旋转矩阵的具体步骤包括：

2.1)通过所述左相机和所述右相机的相机旋转矩阵，计算出所述右相机相对于所述左相机的第一相对旋转矩阵；

2.2)将所述第一相对旋转矩阵转换为第一相对旋转向量，所述第一相对旋转向量由旋转轴r＝r

2.3)计算所述旋转角θ和比值λ的乘积作为所述新相机相对于所述左相机的旋转角θ'，所述旋转角θ'和与所述第一相对旋转向量相同的所述旋转轴r用于表示所述新相机相对于所述左相机的第二相对旋转向量；

2.4)将所述第二相对旋转向量转换为第二相对旋转矩阵；

2.5)根据所述第二相对旋转矩阵以及所述左相机的相机旋转矩阵，反向计算出所述新相机的相机旋转矩阵。

优选地，计算所述新相机的相机旋转矩阵的过程通过以下公式(3)表达：

公式(3)中，R'表示所述新相机的相机旋转矩阵；

M

M

R

R

优选地，步骤3)中，计算所述初始插值图像具体步骤包括：

3.1)建立各相机的投影矩阵；

3.2)根据一指定相机采集到的所述指定图像上的所有像素坐标和深度值，并利用所建立的相机投影矩阵反投影得到一三维离散点S；

3.3)根据所述指定相机和所述新相机的位姿信息，并根据所述新相机的相机投影矩阵，计算得到待生成图像上的像素坐标；

3.4)根据所述指定图像和所述待生成图像上的像素点坐标的对应关系，将所述指定图像上的像素值和深度值填充到所述待生成图像上的对应像素点上，得到与所述指定图像具有对应关系的一所述初始插值图像；

3.5)重复所述步骤3.2)～3.4)，直至计算得到与所述多相机系统中的所有相机采集的所述指定图像具有一一对应关系的多张所述初始插值图像。

优选地，步骤3.3)中，通过以下公式(4)计算所述待生成图像上的像素坐标：

公式(4)中，u'表示所述待生成图像上的像素在x轴上的坐标；

v'表示所述待生成图像上的像素在y轴上的坐标；

d'表示在u'、v'坐标位置处的像素对应的深度值；

公式(4)中的x和y通过以下公式(5)计算而得：

公式(5)中，u

P

P'表示所述新相机的相机投影矩阵；

d

优选地，当从同一张所述指定图像上投影到所述待生成图像上的同个坐标位置的像素点有多个时，保留深度值d'最小的像素的像素值作为所述待生成图像上的该坐标位置处的像素点的像素值。

优选地，步骤4)中，对各所述初始插值图像进行图像融合的方法为：

4.1)判断各所述初始插值图像上的同一位置处的像素点的像素值是否均为空，

若是，则跳转到步骤5)进入图像补全流程；

若否，则转入步骤4.2)；

4.2)判断同一位置处的像素值为非空的所述初始插值图像的数量是否为1，

若是，则将非空像素值赋予给所述融合插值图像上的同一位置处的像素点；

若否，则转入步骤4.3)；

4.3)计算各所述初始插值图像间的同一位置处像素值非空的像素点的深度值的差值，并通过阈值判断方法根据阈值判断结果选定对应的像素值赋予方法，将所述初始插值图像上的像素值赋予给所述融合插值图像。

优选地，步骤4.3)中，将所述初始插值图像上的像素值赋予给所述融合插值图像的具体方法为：

若所述右相机采集的右图像和所述左相机采集的左图像上同一位置处的像素点的深度值的差值绝对值小于等于设定的阈值∈，则将所述左图像和所述右图像在同一位置处的像素值加权平均后赋值到所述融合插值图像的对应像素点上；

若所述右图像与所述左图像上的同一位置的像素值的差值大于所述阈值∈，则将所述左图像上的同一位置处的像素值赋值到所述融合插值图像的对应像素点上；

若所述左图像与所述右图像上的同一位置的像素值的差值小于所述阈值∈，则将所述右图像上的同一位置处的像素值赋值到所述融合插值图像的对应像素点上。

优选地，对所述融合插值图像进行像素补全的步骤具体包括：

5.1)以空像素所处位置为中心生成一窗口W；

5.2)计算所述窗口W内所有非空像素点的平均像素值；

5.3)将所述平均像素值填充到步骤5.1)确定的中心像素点上；

5.4)重复步骤5.1)～5.3)，直至完成对所述融合插值图像上所有空像素的像素点的像素补全。

本发明还提供了一种基于RGB-D图像和多相机系统的图像插值装置，所述图像插值装置包括：

相机标定模块，用于对多相机系统中的每台相机进行相机标定；

新相机位姿计算模块，连接所述相机标定模块，用于根据所述多相机系统中的每台相机的所处位置信息，明确新相机的位置，并根据相机标定数据计算所述新相机的相机位姿；

初始插值图像计算模块，连接所述新相机位姿计算模块，用于根据相机的投影关系和各相机的位姿信息，计算与所述多相机系统中的各相机采集的指定图像具有一一对应关系的多张初始插值图像；

图像融合模块，连接所述初始插值图像计算模块，用于对各所述初始插值图像进行图像融合，得到一融合插值图像；

图像补全模块，连接所述图像融合模块，用于对所述融合插值图像进行像素补全，最终得到关联所述新相机的插值图像。

本发明具有以下有益效果：

1、可在相机间任意线性位置进行图像插值，只需少量相机即可实现多台相机的拍摄效果，节约了拍摄成本；

2、利用少量相机即可形成如同在稠密视角观看的多视角视频，视频视角切换不卡顿、更流畅，而且减少了图像数量，有利于提高多相机系统的数据传输速度；

3、采用并行计算方法计算插值图像上的各个像素点的像素值，提高了插值图像的计算速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的基于RGB-D图像和多相机系统的图像插值方法的步骤图；

图2是计算新相机的相机旋转矩阵的方法步骤图；

图3是计算所述初始插值图像的具体方法步骤图；

图4是对各所述初始插值图像进行图像融合的方法步骤图；

图5是计算新相机所处位置的示意图；

图6是计算所述初始插值图像的原理图；

图7是对所述融合插值图像进行像素补全的方法步骤图；

图8是本发明一实施例提供的基于RGB-D图像和多相机系统的图像插值装置的内部逻辑结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例提供的基于RGB-D和多相机系统的图像插值方法，如图1所示，步骤包括：

1)对多相机系统中的每台相机进行相机标定，得到相机的内参和外参，内参矩阵K由以下3×3矩阵表示：

其中：f

f

c

c

外参矩阵是由3×3的旋转矩阵R和3×1的平移向量T拼接成的3×4矩阵R|T；

2)根据多相机系统中的每台相机的所处位置信息，明确新相机的插值位置，并根据步骤1)的相机标定数据计算新相机的相机位置；

本发明采用的新相机的相机位置指定方法为：

如图5所述，在相机轨迹内，以任意相邻的两个相机为例，一个记为左相机，另一个记为右相机，把新相机插值在左相机和右相机的连线段之间的位置。新相机的插值位置用比值λ表示，新相机的具体设置位置的计算方法为新相机到左相机的距离与左右相机总距离的比值，该比值用λ表示。当新相机位于左相机的所处位置时，λ＝0；当新相机位于右相机的所处位置时，λ＝1。所以新相机位于左右相机位置之间时，0≤λ≤1。

新相机的相机位姿包括相机内参矩阵、相机平移向量和相机旋转矩阵，新相机的相机平移向量和相机旋转矩阵构成新相机的外参矩阵。新相机的相机内参矩阵通过以下公式(1)计算而得：

K'＝(1-λ)K

公式(1)中，K'表示新相机的相机内参矩阵；

λ用于表示新相机的插值位置，λ为新相机到左相机的距离与左右相机总距离的比值，0≤λ≤1；

K

K

新相机的相机平移向量通过以下公式(2)计算而得：

T'＝1-λT

公式(2)中，T'表示新相机的相机平移向量；

T

T

如图2所示，新相机的相机旋转矩阵的计算过程具体包括如下步骤：

2.1)通过左相机和右相机的相机旋转矩阵，计算出右相机相对于左相机的第一相对旋转矩阵；

2.2)将第一相对旋转矩阵转换为第一相对旋转向量，第一相对旋转向量由旋转轴r＝[r

2.3)计算旋转角θ和比值λ的乘积作为新相机相对于左相机的旋转角θ'，该旋转角θ'和与第一相对旋转向量的相同旋转轴r用于表示新相机相对于左相机的第二相对旋转向量；

2.4)将第二相对旋转向量转换为第二相对旋转矩阵；

2.5)根据第二相对旋转矩阵以及左相机的相机旋转矩阵，反向计算出新相机的相机旋转矩阵。

上述计算新相机的相机旋转矩阵的过程可通过以下公式(3)表达：

公式(3)中，R'表示新相机的相机旋转矩阵；

M

M

R

R

I即3×3的单位矩阵。

请继续参照图1，本发明提供的基于RGB-D图像和多相机系统的图像插值方法还包括：

3)根据相机的投影关系和各相机的位姿信息，计算与多相机系统中的各相机采集的指定图像具有一一对应关系的多张初始插值图像；

如图3和图6所示，计算初始插值图像的具体步骤包括：

3.1)建立各相机的投影矩阵；各相机的投影矩阵P通过以下公式(12)计算而得：

公式(12)中，K表示相机的内参矩阵；

R表示相机从世界坐标系到相机坐标系的旋转矩阵；

T表示相机从世界坐标系到相机坐标系的平移向量；

相机坐标系和世界坐标系之间的转换可通过以下公式(13)计算而得：

公式(13)中，R

T

R

T

3.2)根据以指定相机采集到的指定图像上的所有像素坐标和深度值，并利用所建立的相机投影矩阵反投影得到一三维离散点S；

3.3)根据指定相机和新相机的位姿信息，并根据新相机的相机投影矩阵，计算得到待生成图像(即初始插值图像)上的像素坐标；

3.4)根据指定图像和待生成图像上的像素点坐标的对应关系，将指定图像上的像素值和深度值填充到待生成图像的对应像素点上，得到与指定图像具有对应关系的一初始插值图像；

3.5)重复步骤3.2～3.4，直至计算得到与多相机系统中的所有相机采集的指定图像具有一一对应关系的多张初始插值图像。

以下以将新相机设置在左相机和右相机之间为例，并结合图6，对初始插值图像的计算过程进行阐述：

首先将左相机采集到的图像记为左图像(即指定图像)，根据左图像上的所有像素坐标和深度值，利用投影矩阵反投影得到三维离散点S。然后根据新相机的投影矩阵投影，并利用左相机和新相机的位姿关系，投影得到待生成图像(插值图像)上的像素坐标。然后再将左图像上的像素值填充到待生成图像的对应像素点上，若左图像上有多个像素投影到待生成图像上的同一像素位置，只保留投影后深度值最小的像素值，得到初始插值RGB图像I

上述步骤3.3)中，通过以下公式(4)计算待生成图像上的像素坐标：

公式(4)中，u'表示待生成图像上的像素在x轴上的坐标；

v'表示待生成图像上的像素在y轴上的坐标；

d'表示在u'、v'坐标位置处的像素对应的深度值；

公式(4)中的x和y通过以下公式(5)计算而得：

公式(5)中，u

P

P'表示新相机的相机投影矩阵；

d

请继续参照图1，本发明提供的基于RGB-D图像和多相机系统的图像插值方法还包括：

步骤4)对各初始插值图像进行图像融合，得到一融合插值图像；

具体地，如图4所示，融合各初始插值图像的具体步骤包括：

4.1)判断各初始插值图像上的同一位置处的像素点的像素值是否均为空，

若是，则进入图像补全流程；

若否，则转入步骤4.2)；

4.2)判断在同一位置处的像素值为非空的初始插值图像的数量是否为1，

若是，则将非空像素值赋予给融合插值图像上的同一位置处的像素点；

若否，则转入步骤4.3)；

4.3)计算各初始插值图像间的同一位置处像素值非空的像素点的深度值的差值，并通过阈值判断法根据阈值判断结果选定对应的像素值赋予方法，将初始插值图像上的像素值赋予给融合插值图像。

步骤4.3)中，将初始插值图像上的像素值赋予给融合插值图像的具体方法为：

若右相机采集的右图像和左相机采集的左图像上同一位置处的像素点的深度值的差值绝对值小于等于设定的阈值∈，则将左图像和右图像在同一位置处的像素值加权平均后赋值到融合插值图像的对应像素点上；

若右图像与左图像上的同一位置的像素值的差值大于阈值∈，则将左图像上的同一位置处的像素值赋值到融合插值图像的对应像素点上；

若左图像与右图像上的同一位置的像素值的差值小于阈值∈，则将右图像上的同一位置处的像素值赋值到融合插值图像的对应像素点上。

具体地，本发明根据以下三个准则对由左图像和右图像分别得到的初始插值图像I

如果同个位置上，初始插值图像I

I'(i,j)＝I

公式(6)中，I'(i,j)表示融合插值图像；

i,j表示初始插值图像或融合插值图像上的像素点的坐标位置。

如果同个位置上，初始插值图像I

I'(i,j)＝I

如果同个位置上，初始插值图像I

公式(8)中，D

D

I

I

步骤5)中，当判断到各初始插值图像上的同一位置处的像素点的像素值均为空时，如图7所示，对融合插值图像上的对应位置处的像素点进行像素补全的步骤具体包括：

5.1)以空像素所处位置为中心生成一窗口W；

5.2)计算窗口W内所有非空像素点的平均像素值；

5.3)将平均像素值填充到步骤5.1)确定的中心像素点上；

5.4)重复步骤5.1)～5.3)，直至完成对融合插值图像上所有空像素的像素点的像素补全。

上述的像素补全过程可通过以下公式(9)表达：

公式(9)中，I(i,j)表示补全后的融合插值图像；

Δx,Δy表示窗口W中x方向和y方向相对于中心像素点的偏移量；

card(W)为窗口W内的有效像素个数。

I'(i,j)表示未补全的融合插值图像。

本发明还提供了一种基于RGB-D图像和多相机系统的图像插值装置，如图8所示，该装置包括：

相机标定模块，用于对多相机系统中的每台相机进行相机标定；

新相机位姿计算模块，连接相机标定模块，用于根据多相机系统中的每台相机的所处位置信息，明确新相机的位置，并根据相机标定数据计算新相机的相机位姿；

初始插值图像计算模块，连接新相机位姿计算模块，用于根据相机的投影关系和各相机的位姿信息，计算与多相机系统中的各相机采集的指定图像具有一一对应关系的多张初始插值图像；

图像融合模块，连接初始插值图像计算模块，用于对各初始插值图像进行图像融合，得到一融合插值图像；

图像补全模块，连接图像融合模块，用于对融合插值图像进行像素补全，最终得到关联新相机的插值图像。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。