面向运动估计的跨帧超高速相机设计方法及运动估计方法

摘要

本发明所提供的面向运动估计的跨帧超高速相机设计方法及运动估计方法，所述方法包括：对双目摄像机进行相机标定；设定两个摄像头拍摄的物体图像进行图像配准，拟合两个摄像头之间的物理状态；设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。本发明通过对双目摄像机进行设定，进而达到高速摄像机的拍摄效果，从而降低了面向超高速运动估计时采用的高速摄像机成本过高的问题，也避免了需要对高速图像进行后续处理时运算量大和效率低的问题。

说明书

技术领域

本发明涉及通讯、生物、交通、军事、气象、虚拟技术领域，尤其涉及的是面向运动估计的跨帧超高速相机设计方法及运动估计方法。

背景技术

目前对超高速运动的估计在许多领域得到应用，比如，在通信领域中，需要实现超高速的视频压缩；在生物领域中，需要使用超高速运动记录与分析显微镜下生物组织的运动；在医疗领域，需要使用超高速运动技术对病理诊断中的X光序列图片和B超序列图片进行三维合成与立体重建；在工业领域中，通过超高速运动实现对目标的识别跟踪。除此之外，超高速运动估计在诸如军事领域、交通运输领域、气象领域、航空航天领域、AI智能领域、微观领域等均广泛应用，因此，对超高速运动的估计必不可少。

但目前在运动估计方面的技术主要是基于超高速相机进行高速视觉和高速图像处理，此种方式需要配置高质量的超高速相机，造成成本过高；再者，对高速图像的处理方面则需要提取图片中的部分进行处理，造成资源浪费，且对高速视觉和高速图像的处理需要复杂的算法支撑，造成系统运算量大、效率低。

因此，现有技术存在缺陷，有待改进与发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供面向运动估计的跨帧超高速相机设计方法及运动估计方法，旨在解决现有技术中的面向超高速运动估计所采用的超高速相机成本过高，且对超高速相机拍摄的高速图像处理时造成运算量大和效率低的问题。

本发明解决技术问题所采用的技术方案如下：

面向运动估计的跨帧超高速相机设计方法，其中，包括：

对双目摄像机进行相机标定；

设定两个摄像头拍摄的物体图像进行图像配准，拟合两个摄像头之间的物理状态；

设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。

进一步地，所述对双目摄像机进行相机标定包括：

控制所述双目摄像机拍摄标定板，得到多张标定图片；

对所述标定图片进行标定计算，确定所述双目摄像机的标定参数，其中，所述标定参数包括：内参数和畸变参数。

进一步地，所述对双目摄像机进行相机标定，之后还包括：

设定所述双目摄像机通过所述标定参数对所述物体图像进行畸变校正；

其中，对所述物体图像进行畸变校正包括：

根据所述内参数对应的内参矩阵对所述物体图像的图像坐标系进行归一化处理；

通过所述畸变参数校正经归一化处理的图像坐标系；

对校正后的图像坐标系进行归一化逆变换，完成对所述物体图像的畸变校正。

进一步地，所述对双目摄像机进行相机标定，之后还包括：

设定两个摄像头对所述物体图像进行阴影校正；

其中，对所述物体图像进行阴影校正包括：

分析两张所述物体图像上同一位置的亮度，基于光照一致性对两张所述物体图像的亮度进行光照标定。

进一步地，所述设定两个摄像头拍摄的物体图像进行图像配准包括：

从所述物体图像上选取四对对角点；

根据选取的四对对角点计算两个摄像头中左摄像头相对右摄像头的透视变换矩阵；

根据所述透视变换矩阵与所述右摄像头坐标系的乘积，确定两张所述物体图像之间的位移。

本发明还提供一种基于如上所述的面向运动估计的跨帧超高速相机设计方法的双目摄像机，其中，所述双目摄像机包括：双摄像头，所述双摄像头预先进行了相机标定，且预先设定了对所述双摄像头拍摄的物体图像进行阴影校正和图像配准。

本发明还提供了一种基于如上所述的面向运动估计的跨帧超高速相机设计方法的运动估计方法，其特征在于，包括：

根据运动估计算法对经图像配准后的两张物体图像进行处理，得到待测物体的速度场。

进一步地，所述根据运动估计算法对经图像配准后的两张物体图像进行处理，得到待测物体的速度场，之前还包括：

对经畸变校正、阴影校正和图像配准后的两张物体图像进行双边滤波；

对滤波后的所述物体图像进行锐化处理，得到预处理图像。

进一步地，所述根据运动估计算法对经图像配准后的两张物体图像进行处理，得到待测物体的速度场，包括：

分别求取两张所述预处理图像在像素的长度方向和宽度方向相对时间的差分，得到待测物体的速度场；

对所述速度场进行中值滤波处理后滤除其中的噪点，估计所述待测物体的运动状态。

本发明还提供了一种运动估计系统，其中，包括：

双目摄像机控制模块，用于对双目摄像机进行相机标定，设定两个摄像头拍摄的物体图像进行图像配准，以及用于设定两个摄像头之间的曝光时间差；

运动估计计算模块，用于根据运动估计算法对经畸变校正、阴影校正和图像配准后的两张物体图像进行处理，得到待测物体的速度场。

本发明所提供的面向运动估计的跨帧超高速相机设计方法及运动估计方法，所述面向运动估计的跨帧超高速相机设计方法包括：对双目摄像机进行相机标定；设定两个摄像头拍摄的物体图像进行图像配准，拟合两个摄像头之间的物理状态；设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。本发明通过对双目摄像机进行相机标定，且设定两个摄像头拍摄的物体图像进行图像配准，进而能够对两个摄像头的物理状态进行一致性调整，之后通过设定两个摄像头之间的曝光时间差，能够达到高速摄像机的拍摄效果，以降低高超速运动估计时所采用相机的成本，也对应降低了对双目摄像机拍摄的物体图像进行处理的复杂度，提高了处理效率。

附图说明

图1是本发明中面向超高速运动的超高速相机设计的较佳实施例的流程图；

图2是本发明中双目摄像机的示意图；

图3是本发明中面向超高速运动的超高速相机设计的较佳实施例的中步骤S100进行相机标定的流程图；

图4是本发明中面向超高速运动的超高速相机设计的较佳实施例的中步骤S100之后对物体图像进行畸变校正的流程图；

图5是本发明中面向超高速运动的超高速相机设计的较佳实施例的中步骤S200进行图像配准设定的流程图；

图6是本发明中进行图像配准设定的示意图；

图7是本发明中进行设定两个摄像头之间曝光时间差拍摄物体图像的示意图；

图8是本发明中运动估计系统的较佳实施例的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

现有技术中，为实现超高速运动估计，常采用具有高质量超高速相机拍摄高速图像，进而对高速图像进行处理，以对物体进行运动估计。但存在的问题在于，一方面超高速相机的制作成本高，且不能完全得到连续帧，造成在图像处理过程中需要从视频流中舍弃大部分图片；另一方面在对高速图像处理方面，由于采集的图像并不是连续帧图像，则需要对图像进行大量运算，才能推导得到连续帧之间的像素位移情况，进而得知物体的运动状态，但这种方式造成运算量过大，且计算效率低。

基于上述问题，本发明提供了通过低速双目摄像机实现超高速相机的拍摄效果，且采取两个摄像头所拍摄的跨帧图像作为连续帧图像运算，大大降低了运算成本，提高了运算效率。

请参见图1，图1是本发明中面向运动估计的跨帧超高速相机设计方法的流程图。如图1所示，本发明实施例所述的面向运动估计的跨帧超高速相机设计方法包括以下步骤：

步骤S100、对双目摄像机进行相机标定。

首先，如图2所示，为一个摄像机设置两个摄像头，所述双目摄像机可以为成本较低的低速相机，而两个摄像头之间的距离应尽可能设置较小，以减小两个摄像头所拍摄图像之间的差异，保证获得的图片更加精准且覆盖范围更大。

之后，预先对两个摄像头进行相机标定，以实现通过两个摄像头拍摄的物体图像不会产生畸变。即基于双目摄像机拍摄时，物体在摄像头中的移动不会因畸变发生形变，进而利于对物体的运动进行分析。

其中，对双目摄像机进行相机标定即为获取双目摄像机内参数和畸变参数的过程，当获得到双目摄像机的内参数和畸变参数之后，即可完成对双目摄像机的标定，而双目摄像机的标定参数是固定的，当获得双目摄像机的标定参数之后，即可实现对双目摄像机的标定，且只需要进行一次标定即可保证后续拍摄图像不会产生畸变。

步骤S200、设定两个摄像头拍摄的物体图像进行图像配准，拟合两个摄像头之间的物理状态。

具体地，设定两个摄像头拍摄的图像进行图像配准。通过对图像进行配准能够保证图像具有良好的融合效果，且保证两个摄像头拍摄同一物体的图像达到较高的相似性，以消除两个摄像头在物理性能上差异，保证两个摄像头拍摄图像的一致性，提高对物体运动估计的计算精度。

其中，图像配准是将同一目标的两幅或多幅图像在空间位置上的对准。

步骤S300、设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。

具体地，设定两个摄像头之间曝光的时间间隔，使得两个摄像头拍摄前后时刻的间隔极短，进而将低速相机由原本的采样间隔时间转换为可以在更短的时间间隔内采样，以达到高速相机的采样时间间隔，实现模拟高速相机的拍摄效果。

在一具体实施例中，如图3所示，步骤S100包括：

步骤S101、控制所述双目摄像机拍摄标定板，得到多张标定图片。

步骤S102、对所述标定图片进行标定计算，确定所述双目摄像机的标定参数，其中，所述标定参数包括：内参数和畸变参数。

具体地，预先对双目摄像机进行标定的方式为通过标定板进行标定，具体地，可使用棋盘格标定板。通过控制双目摄像机拍摄多张标定板的图片，然后对多张标定图片进行标定计算得到双目摄像机的标定参数。

其中，标定参数包括内参数和畸变参数，而畸变参数包括径向畸变参数和切向畸变参数，而求取径向畸变参数和切向畸变参数、内参数的公式如下：

径向畸变：

切向畸变：

内参矩阵：

在一具体实施例中，步骤S100之后包括：

步骤S110、设定所述双目摄像机通过所述标定参数对所述物体图像进行畸变校正。

进一步地，如图4所示，对所述物体图像进行畸变校正包括：

步骤A110、根据所述内参数对应的内参矩阵对所述物体图像的图像坐标系进行归一化处理。

步骤A120、通过所述畸变参数校正经归一化处理的图像坐标系。

步骤A130、对校正后的图像坐标系进行归一化逆变换，完成对所述物体图像的畸变校正。

其中，通过上述内参数和畸变参数对物体图像进行处理的表达式如下：

(1)坐标归一化：

(2)畸变校正：

(3)归一化逆变换：

在一具体实施例中，由于摄像头中心感光强于四周，且摄像头对不同色彩的折射情况不同，则会导致同一个摄像头拍摄不同画面的亮度不同，为消除两个摄像头拍摄同一个物体的亮度不均匀，在步骤S100中设定所述双目摄像机对所述物体图像进行畸变校正之后还包括：

步骤S120、设定两个摄像头对所述物体图像进行阴影校正。

具体地，预先对摄像头的控制系统进行设定，以对两个摄像头拍摄的同一物体的两张物体图像进行阴影校正，进而使得两张物体图像亮度均匀，保证物体相对摄像头移动时灰度值不会发生改变。

进一步地，对所述物体图像进行阴影校正包括：

步骤B110、分析两张所述物体图像上同一位置的亮度，基于光照一致性对两张所述物体图像的亮度进行光照标定。

具体地，预先通过双目摄像机拍摄光照亮度均匀的图像，之后基于拍摄的两张图像的亮度调整两个摄像头的拍摄亮度，即以一个摄像头的拍摄亮度为基准，调整另一个摄像头的拍摄亮度，以使得两个摄像头的拍摄亮度一致，其中，进而拍摄亮度调整是以同一位置上的像素亮度为基准进行调整的，当基于一个摄像头亮度对另一个摄像头亮度进行调整之后，则保留两个摄像头亮度调整前后的亮度值并存储。

当通过两个摄像头拍摄物体图像时，通过存储的亮度值对比表对摄像头进行亮度调整，即可实现所拍摄的两张物体图像的亮度均匀。

在一具体实施例中，如图5所示，步骤S200设定两个摄像头拍摄的物体图像进行图像配准，具体包括：

步骤S210、从所述物体图像上选取四对对角点。

步骤S220、根据选取的四对对角点计算两个摄像头中左摄像头相对右摄像头的透视变换矩阵。

步骤S230、根据所述透视变换矩阵与所述右摄像头坐标系的乘积，确定两张所述物体图像之间的位移。

具体地，设定双目摄像头对所拍摄的物体图像进行图像配准，以实现两张图像上元素分布方向和位置的一致性，保证两张物体图像之间的位移值固定。

其中，透视变换也叫投影变换，是将图片投影到一个新的视平面，其变换公式为：

其中，(x,y)和(x',y')分别是左摄像头和右摄像头所拍摄物体图像中相同像素点的坐标，可以理解地，此处的左摄像头和右摄像头是相对而言的，仅用于表示两个摄像头之间的位置关系，并不用作其它限定条件。

如图6所示，通过两个摄像头拍摄同一物体的图片，然后对拍摄的图片进行匹配，对无法匹配的两个图片进行标定后则能够匹配成功，完成对物体图像配准，之后则保留两张物体图像重合的部分，舍弃不重合部分，以进行物体运动估计计算。

在一具体实施例中，步骤S300中设定两个摄像头之间的曝光时间差，其中，两个摄像头的曝光时间差可根据实际需求自定义设定，此处并不做过多限制。通过设置两个摄像头每帧开始曝光时刻的相位差，能够得到视频流中每帧所拍摄时间间隔极短的两张物体图像。此处进行举例说明，如图7所示，比如，正常情况下通过低速相机进行拍摄，单个相机拍摄间隔为d′，其帧率可为60帧、30帧、20帧等，通过双摄像机的左右两个相机拍摄的时间间隔为d，但每帧都包括间隔时间极短的两张物体图像，两张物体图像分别由左摄像头和右摄像头拍摄得到。

在进一步地实施例中，步骤S300之后还包括：

控制所述双目摄像机拍摄物体图像；

通过运动估计算法对所述物体图像进行处理，得到待测物体的速度场。

基于上述面向运动估计的跨帧超高速相机设计方法，本发明还提供了一种双目摄像机，包括：双摄像头，所述双摄像头预先进行了相机标定，且预先设定了对所述双摄像头拍摄的物体图像进行阴影校正和图像配准。

其中，所述双目摄像机通过双目摄像机控制模块控制，当控制所述双目摄像机进行拍摄时，执行以下步骤：

拍摄待测物体，得到经畸变校正、阴影校正和图像配准后的物体图像；

对经畸变校正、阴影校正和图像配准后的两张物体图像进行双边滤波；

对滤波后的所述物体图像进行锐化处理，得到预处理图像；

分别求取两张所述预处理图像在像素的长度方向和宽度方向相对时间的差分，得到待测物体的速度场；

对所述速度场进行中值滤波处理后滤除其中的噪点，估计所述待测物体的运动状态。

而对所述双目摄像机的设计则执行以下步骤：

控制所述双目摄像机拍摄标定板，得到多张标定图片；

对所述标定图片进行标定计算，确定所述双目摄像机的标定参数，其中，所述标定参数包括：内参数和畸变参数；

设定所述双目摄像机通过所述标定参数对所述物体图像进行畸变校正；

设定两个摄像头对所述物体图像进行阴影校正；

设定两个摄像头拍摄的物体图像进行图像配准；

设定两个摄像头之间的曝光时间差。

基于上述面向运动估计的跨帧超高速相机设计方法，本发明还提供了一种运动估计方法，包括：

步骤S500、根据运动估计算法对经图像配准后的两张物体图像进行处理，得到待测物体的速度场。

具体地，基于上述双目摄像机拍摄待测物体图像，得到两张物体图像，所述物体图像通过双目摄像机的拍摄调整实现了畸变校正、阴影校正和图像配准。然后通过运动估计算法(即Lucas-Kanade算法)对经双目摄像机调整后的物体图像进行速度场计算，可以得到待测物体的运动速度。

其中，Lucas-Kanade算法是一种基于两帧图像差分的速度场估计算法，其计算方式有如下特点：第一、亮度不变：视频中随时间移动的物体上其像素点灰度值不随时间改变；第二、小运动：两帧间物体图像位置不会发生很大偏移；第三、空间一致：移动物体上相邻像素点间相对距离不随时间变化。

在一具体实施例中，在步骤S500之前还包括：

步骤S410、对经畸变校正、阴影校正和图像配准后的两张物体图像进行双边滤波。

具体地，对两张物体图像进行双边滤波，能够过滤掉噪点的影响，进而保证图像边缘清晰度。

步骤S420、对滤波后的所述物体图像进行锐化处理，得到预处理图像。

具体地，可通过拉普拉斯算子对经滤波后的物体图像进行锐化处理，从而加强物体图像边缘信息，保留更多图像信息。

在一具体实施例中，步骤S500具体包括：

步骤S510、分别求取两张所述预处理图像在像素的长度方向和宽度方向相对时间的差分，得到待测物体的速度场。

步骤S520、对所述速度场进行中值滤波处理后滤除其中的噪点，估计所述待测物体的运动状态。

具体地，两帧物体图像间对x，y，t的差分用Ix，Iy，It表示，其中，对像素长度方向和宽度方向的差分算子表示为：

求取速度场(Vx，Vy)的表达方式为：

I

I

M

I

其中，在计算速度场时假设每个像素的速度值相同，而计算速度场的方式可以采用最小二乘法。当然地，为提升计算速度，可在每次计算时将像素移动N/2个像素长度。

通过对双目摄像机拍摄的两张物体图像进行计算，可以实现每个像素的速度场仅需要计算一次，就可得到对应待测物体的速度场，相较于现有方式节省了计算量，提高了计算效率。再者，提高了计算物体图像在像素长度方向和像素宽度方向梯度时的数据质量。

本发明还提供了一种运动估计系统，如图8所示，包括：

双目摄像机控制模块，用于对双目摄像机进行相机标定，设定两个摄像头拍摄的物体图像进行图像配准，以及用于设定两个摄像头之间的曝光时间差；

运动估计计算模块，用于根据运动估计算法对经畸变校正、阴影校正和图像配准后的两张物体图像进行处理，得到待测物体的速度场。

具体地，当通过双目摄像机控制模块控制双目摄像机拍摄待测物体之前，则对双目摄像机进行相机标定、阴影校正设定、图像配准设定和曝光时间差设定；

其中，对双目摄像机进行相机标定包括：

控制所述双目摄像机拍摄标定板，得到多张标定图片。

对所述标定图片进行标定计算，确定所述双目摄像机的标定参数，其中，所述标定参数包括：内参数和畸变参数；

设定所述双目摄像机通过所述标定参数对所述物体图像进行畸变校正。

对双目摄像机进行阴影校正设定包括：

设定两个摄像头对所述物体图像进行阴影校正。

具体地，分析两张所述物体图像上同一位置的亮度，基于光照一致性对两张所述物体图像的亮度进行光照标定。

对双目摄像机进行图像配准设定包括：

从所述物体图像上选取四对对角点。

根据选取的四对对角点计算两个摄像头中左摄像头相对右摄像头的透视变换矩阵。

根据所述透视变换矩阵与所述右摄像头坐标系的乘积，确定两张所述物体图像之间的位移。

对双目摄像机进行曝光时间差设定包括：

设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。

而当通过所述双目摄像机控制模块对待测物体进行拍摄时，则执行以下步骤：

根据双目摄像机的内参矩阵对所述物体图像的图像坐标系进行归一化处理。

通过所述畸变参数校正经归一化处理的图像坐标系。

对校正后的图像坐标系进行归一化逆变换，完成对所述物体图像的畸变校正。

之后，则基于光照一致性对两张所述物体图像的亮度进行光照标定；

之后，对经光照标定的两张物体图像进行图像配准，保留重叠部分。

当通过运动估计计算模块计算物体运动速度流时，执行以下步骤：

对经畸变校正、阴影校正和图像配准后的两张物体图像进行双边滤波；

对滤波后的所述物体图像进行锐化处理，得到预处理图像；

分别求取两张所述预处理图像在像素的长度方向和宽度方向相对时间的差分，得到待测物体的速度场；

对所述速度场进行中值滤波处理后滤除其中的噪点，估计所述待测物体的运动状态。

综上所述，本发明公开的面向运动估计的跨帧超高速相机设计方法及运动估计方法，所述面向运动估计的跨帧超高速相机设计方法包括：对双目摄像机进行相机标定；设定两个摄像头拍摄的物体图像进行图像配准，拟合两个摄像头之间的物理状态；设定两个摄像头之间的曝光时间差，模拟高速相机的拍摄效果。本发明通过对双目摄像机进行相机标定，且设定两个摄像头拍摄的物体图像进行图像配准，进而能够对两个摄像头的物理状态进行一致性调整，之后通过设定两个摄像头之间的曝光时间差，能够达到高速摄像机的拍摄效果，以降低高超速运动估计时所采用相机的成本，也对应降低了对双目摄像机拍摄的物体图像进行处理的复杂度，提高了处理效率。。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。