高帧频红外图像序列中运动目标的实时复原方法

摘要

本发明公开了一种高帧频红外图像序列中运动目标的实时复原方法。该方法的步骤如下：高帧频红外视频图像帧的输入、确定图像帧运动目标的运动方向和距离参数、在运动方向上进行中值滤波、根据设定的隶属度函数确定种子像素与邻域像素的隶属度、根据判断准则确定种子像素的像素值、输出经过运动复原的图像帧。本发明对输入图像序列采用中值滤波减轻了噪声的影响；对目标的大小和运动速度没有严格的要求，适用性强；中值滤波、卷积操作和确定种子像素与邻域像素的隶属度在空域进行的，不要求噪声的全局特征，使得算法简单，不存在振铃效应，且易于硬件实时实现。

说明书

一、技术领域

本发明属于红外运动目标的实时复原技术，特别是一种针对目标与探测器相对高速运动的情况下，高帧频凝视型红外成像系统中运动目标实时复原方法。

二、背景技术

随着材料和工艺水平的发展，红外探测器件在国防和工业以及民用领域都得到了广泛的应用。在观察动态场景尤其是有快速运动的场景中，采用高帧频凝视型红外焦平面成像阵列成为发展的趋势。

高帧频凝视型红外成像系统的关键问题之一是拖尾现象。拖尾是由于探测器感光区到电荷存储区的垂直转移过程中，光敏元仍在产生光电荷，并被势阱收集造成的，表现为点目标被成像为一个线目标。拖尾现象是帧转移面阵探测器无法避免的问题，并且探测器与目标的相对运动速度越大、探测器积分时间越长，拖尾现象越严重。高帧频成像系统的另一个特点是由于探测器积分时间短，一般在1us左右，收集的光电荷较少，使得视频信号的噪声如光子噪声、散粒噪声、转移噪声、暗电流噪声等相对明显，图像的信噪比低。

直接应用到红外视频中的运动复原算法很少见于文献报道。《北京理工大学学报》2004年第10期的文章《数字图像去模糊算法的对比研究》中详细地介绍了传统的可见光图像中运动目标的复原方法，主要有逆滤波、最小均方误差率波、约束最小二乘方滤波等。这些方法的共性在于都是根据所建立的图像退化模型，进行适当的假设或简化，实现原始图像某种估计。例如逆滤波根据退化函数直接求逆，缺点在于没有考虑噪声的特征。最小均方误差滤波根据噪声的功率谱特征，理论证明如能合理估计退化函数，其复原效果非常好，但在通常条件下估算图像和噪声的功率谱还存在困难，并且计算比较复杂。约束最小二乘滤波是根据噪声的方差和均值特征来进行的一种最优复原算法。以上几种图像复原方法是用于可见光、红外图像运动目标复原的主要方法。

现有图像复原的关键技术主要有两个方面：退化函数和噪声统计特征的估算。对于运动退化现有文献一般都采用线性运动模糊模型，不同之处在于所利用的噪声统计特征不同。在使用这几种复原方法用于高帧频红外焦平面探测器成像中运动目标复原时，存在以下缺点：(1)由于高帧频探测器积分时间非常短，直接导致了红外图像原本对比度低、信噪比低的缺点更加突出，而以上几种技术在噪声情况下的复原效果不好；(2)这些算法一般是频域滤波，容易出现振铃效应，即复原后的图像存在周期性竖条纹；(3)最重要的是这些算法一般都要求图像或噪声的全局特征，运算量大，难以达到硬件实时。

三、发明内容

本发明的目的在于提供一种减轻噪声影响、适用性强、算法简单，不存在振铃效应，且易于硬件实时实现的高帧频红外图像序列中运动目标的实时复原方法。

实现本发明目的的技术解决方案为：一种高帧频红外图像序列中运动目标的实时复原方法，其步骤如下：

第一步，高帧频红外视频图像帧的输入；

第二步，确定图像帧中目标的运动方向和距离参数；

第三步，在运动方向上进行中值滤波，去除噪声和探测器盲元对复原结果的干扰；

第四步，在运动方向上进行卷积操作，恢复目标拖尾造成的目标强度损失；

第五步，根据运动参数和确定的隶属度函数确定种子像素f₀与邻域像素的隶属度{λ_i}；

第六步，根据判断准则确定种子像素的像素值；

第七步，输出经过运动复原的图像帧。

本发明高帧频红外图像序列中运动目标的实时复原方法中，中值滤波、卷积操作和确定种子像素f₀与邻域像素的隶属度{λ_i}都是在沿运动的一维方向进行的。

本发明高帧频红外图像序列中运动目标的实时复原方法中，中值滤波、卷积操作和确定种子像素f₀与邻域像素的隶属度{λ_i}都是图像的空间域实现的。

本发明高帧频红外图像序列中运动目标的实时复原方法中，对t时刻的输入图像帧f(i，j，t)在运动方向上进行中值滤波，滤波公式为：f(i，j，t)＝median{f(i，j+k，t)|k＝-3，-2，...，3}。

本发明高帧频红外图像序列中运动目标的实时复原方法中，在运动方向上，根据隶属度函数${\lambda }_i=e^{|f_i-f_0|},$计算当前种子像素与其8-邻域像素之间的隶属度{λ_i}，其中，f_i是当前像素f₀8-邻域的像素值(i＝1，..，8)。

本发明高帧频红外图像序列中运动目标的实时复原方法中，确定种子像素的取值时采用的最大值判别准则为

$f_0=\left(\begin{array}{cc}{f}_i& {\lambda }_i=\max \{{\lambda }_1,...,{\lambda }_8\}\ge 0.85\\ f_0& \max \{{\lambda }_1,...,{\lambda }_8\}<0.85\end{array}\right).$

本发明与现有技术相比，具有如下的显著优点：(1)针对高帧频红外图像噪声更加突出的问题，对输入图像序列采用中值滤波减轻了噪声的影响，去除探测器的盲元对复原结果的影响；(2)对目标的大小和运动速度没有严格的要求，适用性强；(3)对滤波后的图像，根据得到的运动距离参数进行相应的卷积操作，恢复由于拖尾造成目标强度(灰度值)的损失；(4)中值滤波、卷积操作和确定种子像素与邻域像素的隶属度是在空域进行的，由于这一过程是在空域中直接完成的，避免的现有方法需要将图像经过快速傅立叶变换到频率域，最后还要将结果从频率与逆变换到空间域的过程，而且不要求噪声的全局特征，使得算法简单，易于实时实现，并且不存在频率域操作的振铃效应。

下面结合附图对本发明作进一步详细描述。

四、附图说明

附图是本发明高帧频红外图像序列中运动目标的实时复原方法的流程图。

五、具体实施方式

结合附图，本发明高帧频红外图像序列中运动目标的实时复原方法，其步骤如下：

第一步，高帧频红外视频图像帧的输入，确定图像帧中目标的运动方向和距离参数；

第二步，在运动方向上进行中值滤波，去除噪声和探测器盲元对复原结果的干扰。对t时刻的输入图像帧f(i，j，t)在运动方向上进行中值滤波，滤波公式为：f(i，j，t)＝median{f(i，j+k，t)|k＝-3，-2，...，3}。

第三步，在运动方向上进行卷积操作，恢复目标拖尾造成的目标强度(灰度值)损失；

第四步，根据运动参数和确定的隶属度函数确定种子像素f₀与邻域像素的隶属度{λ_i}。在运动方向上，根据隶属度函数${\lambda }_i=e^{|f_i-f_0|},$计算当前种子像素与其8-邻域像素之间的隶属度{λ_i}，其中，f_i是当前像素f₀8-邻域的像素值(i＝1，..，8)。

上述的中值滤波、卷积操作和确定种子像素f₀与邻域像素的隶属度{λ_i}都是在沿运动的一维方向进行的，并且都是图像的空间域实现的。

第五步，根据判断准则确定种子像素的像素值，确定种子像素的取值时采用的最大值判别准则为

$f_0=\left(\begin{array}{cc}{f}_i& {\lambda }_i=\max \{{\lambda }_1,...,{\lambda }_8\}\ge 0.85\\ f_0& \max \{{\lambda }_1,...,{\lambda }_8\}<0.85\end{array}\right).$

第六步，输出经过运动复原的图像帧。

下面以实施例来说明本发明的高帧频红外图像序列中运动目标的实时复原方法。

一个高帧频红外成像系统，红外探测器像素320×240，围绕转台中轴以1圈/秒的速度匀速水平转动，帧频达到200Hz，探测器积分时间为1ms。

第一步：确定该系统中红外目标的运动方向与探测器的行方向一致，为水平方向。由于转台转动，造成目标相对运动距离L约为50象素；

第二步：对t时刻的输入图像帧f(i，j，t)在水平方向上进行1×7的中值滤波，滤波公式为：

f(i，j，t)＝median{f(i，j+k，t)|k＝-3，-2，...，3}

运动造成的图像退化是退化函数与图像的卷积过程，再加上噪声。中值滤波在保护边缘的同时，能有效降低图像噪声，使得图像具有恢复性。

第三步：根据第一步得到的距离参数，对图像帧在水平方向上进行卷积操作

$f^{\prime }(i,j,t)=f(i,j,t)\otimes m\left(j\right)$

其中，卷积模板$m\left(j\right)=\left(\begin{array}{cc}L& j=\mathrm{1,1}+L,...,1+\mathrm{nL},j<=2*N\\ -L& j=\mathrm{2,2}+L,...,2+\mathrm{nL},j<=2*N\\ 0& \mathrm{others}\end{array}\right),$N为图像帧一行的像素数，L为目标运动的距离(像素数)。

退化函数的两个重要参数就是积分时间内相对运动的方向和距离。该步操作实际上是退化的逆过程，通过卷积使得拖尾造成的目标强度衰减得到了初步恢复。

第四步：在水平方向上，根据如下设计的隶属度函数，计算当前种子像素与其8-邻域像素之间的隶属度。

${\lambda }_i=e^{|f_i-f_0|}$

其中，f_i是当前像素f₀8-邻域的像素值(i＝1，..，8)。

隶属度表征窗口中8-邻域像素与中心像素的差异程度，如果8个差异程度比较小，则表示通过卷积操作恢复出的恢复可信，如果有像素差异程度比较大，则需进一步处理。

第五步：根据第四步得到的隶属度，按如下的判断准则判断复原后当前像素的像素值。

$f_0=\left(\begin{array}{cc}{f}_i& {\lambda }_i=\max \{{\lambda }_1,...,{\lambda }_8\}\ge 0.85\\ f_0& \max \{{\lambda }_1,...,{\lambda }_8\}<0.85\end{array}\right)$

根据计算的隶属度的值，根据最大值准则确定当前种子像素的取值，即窗口中心象素按照隶属度最大之对应的像素的值来更新。这一部分是算法的核心，由于这一过程是在空域中直接完成的，避免的现有算法需要将图像经过快速傅立叶变换到频率域，最后还要将结果从频率与逆变换到空间域的过程，使得算法简单，易于实时实现，并且不存在频率域操作的振铃效应。

第六步：输出经过运动复原后的视频帧。