基于特征提取和权重系数参数更新的高光谱目标跟踪方法

摘要

本发明提供了一种基于特征提取和权重系数参数更新的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理；然后分别提取降维处理后得到的图像序列的四对特征，将四对特征进行融合；并将融合后的特征送入核相关滤波器，得到四个基于第一到第四个特征的弱响应图；并利用权重系数对弱响应图进行加权得到强响应图；将强响应图中最大值位置作为目标的位置；并对权重系数进行更新。本发明克服了现有技术中计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度，并且当目标出现形变和遮挡时有较好跟踪效果。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及基于特征提取和权重系数参数更新的高光谱目标跟踪方法。

背景技术

复杂背景下高光谱图像序列中的目标跟踪是高光谱图像处理技术领域重要组成部分，它在高光谱异常检测、高光谱目标检测与跟踪系统、高光谱遥感系统等许多系统中都有非常广泛的实际应用。近几年，基于改进核相关滤波的目标跟踪方法广泛应用在计算机视觉领域。核相关滤波算法利用基样本灰度特征进行跟踪，但是高光谱目标灰度特征不足以区分出复杂背景和背景中的目标。

现有的目标跟踪方法中，通过提取目标搜索区域内的光谱特征，训练光谱相关滤波器Spe-CF，根据前一帧目标位置选择目标搜索区域，进而利用训练好的光谱相关滤波器Spe-CF预估目标位置范围，规定相关响应值大于一定阈值即为目标位置范围，根据空间相关滤波器Spa-CF确定目标最终位置。该方法存在的不足之处是：该方法同时处理所有波段的高光谱视频，并利用光谱相关滤波器Spe-CF和空间相关滤波器Spa-CF对目标位置进行预估和确定时，需要预先训练滤波器，计算量较大，实时性差，并且当目标出现遮挡和形变以后，容易跟踪发生失败。

目前还存在搭建并训练深度卷积网络作为特征编码器，提高跟踪性能。然后只向前传递ROI并将整个ROI投影到ROI响应图，然后估计出目标位置。该方法存在的不足之处是：需要搭建目标样本库来训练深度卷积网络，计算量较大，并且该算法容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移。

发明内容

本发明针对现有技术中的不足，提供一种基于特征提取和权重系数参数更新的高光谱目标跟踪方法，首先利用基于多维缩放和主成分分析的联合光谱降维方法对原始高光谱图像序列进行降维处理，然后分别提取降维处理后得到的图像序列的四对特征，将得到的四对特征进行融合，然后将融合后的特征送入核相关滤波器，并首次提出实用弱响应图的权重系数对响应图进行加权得到强响应图，并对权重系数的参数进行自适应更新，实现复杂背景下高光谱图像序列中目标的有效跟踪。

为实现上述目的，本发明采用以下技术方案：基于特征提取和权重系数参数更新的高光谱目标跟踪方法，包括如下步骤：

步骤一、载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；

步骤二、对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作，得到光谱降维后选定通道的高光谱图像序列；

步骤三、从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列；T为大于等于2的整数；

步骤四、将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对；

步骤五、提取当前帧图像对的SURF特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后，作为第二到第四个特征；

步骤六、利用第一到第四个特征以及核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；

步骤七、利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数；

步骤八、利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算，得到一个强响应图，并将强响应图中最大值位置作为目标的位置；

步骤九、对第一到第四个特征的权重系数的参数进行自适应更新；重置第四个特征的权重系数；

步骤十、判断当前帧原始图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则返回到步骤三，继续载入后续帧图像进行跟踪。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤一具体通过以下步骤实现：

S101、读入高光谱图像序列第一帧图像；

S102、用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的形心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；

S103、设置初始化参数。

进一步地，步骤二通过以下步骤实现：

S201、载入高光谱图像序列的第一帧图像；

S202、按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：

D

其中，D

将D

进一步地，步骤五通过以下步骤实现：

S501、提取当前帧图像对的SURF特征融合后作为第一个特征；

S502、利用VGG-19网络对当前帧图像对提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。

进一步地，步骤六通过以下步骤实现：

S601、将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X

S602、按照下式，将X

其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x

S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω

其中，ω表示核相关滤波分类器的回归系数，F

S604、按照下式，将ω

其中，α

S605、按照下式，利用循环矩阵

S606、按照下式，计算基于第一个特征的弱响应图R

其中，z

S607、重复步骤S601至S606，计算得到基于第二到第四个特征的弱响应图R

进一步地，步骤七具体包括：根据公式

计算第i个特征的权重系数w

其中i表示特征序号，取值为1到4的整数；R

进一步地，步骤八通过以下步骤实现：

S801、按照下式，计算强响应图Q：

S802、将Q中最大值位置作为目标的位置，R

进一步地，步骤九中，权重系数的参数进行自适应更新具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新

其中，μ表示大小为0.98的更新参数。

进一步地，重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：

其中，v

本发明的有益效果是：

第一、由于本发明采用步骤二与步骤三所述的光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明提高了复杂背景下高光谱图像序列中目标跟踪的速度；

第二、由于本发明采用步骤五的特征融合的方式，以及步骤九中权重系数的参数更新的方法，有效的克服了复杂背景中杂波背景的干扰，克服了现有技术中容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移或者失败的缺点，使得本发明增强了核相关滤波分类器的稳定性，能够有效对复杂背景下高光谱图像序列中的目标实现跟踪。

附图说明

图1为本发明的高光谱目标跟踪方法流程图。

图2为本发明光谱降维后选定通道的高光谱图像序列第一帧图像示意图。

图3为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。

图4a为本发明高光谱图像序列中第二十帧图像基于第一个特征的弱响应图。

图4b为本发明高光谱图像序列中第二十帧图像基于第二个特征的弱响应图。

图4c为本发明高光谱图像序列中第二十帧图像基于第三个特征的弱响应图。

图4d为本发明高光谱图像序列中第二十帧图像基于第四个特征的弱响应图。

图5本发明高光谱图像序列中第二十帧图像的一个强响应图。

图6本发明高光谱图像序列中第二十帧图像中目标位置示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明实施例提供一种基于联合光谱降维和特征融合的高光谱目标跟踪方法，如图1所示该方法为：

步骤1：载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；

具体步骤如下：

步骤101，读入高光谱图像序列第一帧图像；

具体地，本发明实施例的高光谱图像序列具有16个通道，因此读入的第一帧图像尺寸为M×N×16，其中M×N为场景大小。

步骤102，用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，并将待跟踪目标图像区域作为第一帧图像的基样本，将待跟踪目标图像区域的型心位置作为待跟踪目标的初始位置，在待跟踪目标图像区域周围选择搜索区域，将搜索区域与待跟踪目标图像区域的差值作为背景图像区域；

具体地，搜索区域为预估目标可能出现的区域，由目标大小和目标移动速度决定，在本发明实施例中，综合考虑了目标的尺寸和目标可能移动速度，搜索区域选择为2倍于待跟踪目标区域面积的区域。

步骤103，设置初始化参数。

具体地，将基于第一到第四个特征的权重系数初始化为1，更新率初始化为0.98，阈值参数初始化为0.8。

步骤2：对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列；

具体通过以下步骤实现：

步骤201，载入高光谱图像序列的第一帧图像；

步骤202，按照下式，对高光谱图像序列的第一帧图像进行基于多维缩放的光谱降维操作得到光谱降维后选定通道的高光谱图像序列：

D

其中，D

将D

具体地，如图2所示为光谱降维后选定通道的高光谱图像序列第一帧图像示意图。高光谱图像序列经过基于多维缩放的降维操作以后，通道即固定，即在16个通道中选择一个固定的通道。

步骤3、4：从高光谱图像序列的第二帧图像开始，依次载入第T帧图像作为当前帧原始图像，对当前帧原始图像进行基于主成分分析的光谱降维操作，得到光谱降维后融合通道的高光谱图像序列。

具体通过以下步骤实现：

步骤301，依次载入高光谱图像序列中第T帧图像作为当前帧原始图像；

步骤302，对当前帧原始图像进行基于主成分分析的光谱降维操作得到光谱降维后融合通道的高光谱图像序列；

具体地，利用矩阵X计算协方差矩阵C

对协方差矩阵进行奇异值分解，得到其所有的特征值λ和特征向量v。

λv＝Cv

对得到的特征值进行降序排序，并按照下式，利用最大特征值λ

D

如图3所示，为本发明光谱降维后融合通道的高光谱图像序列第一帧图像示意图。高光谱图像序列中的除了第一帧图像的每一帧图像都包含有16个通道，高光谱图像序列中的除了第一帧图像的每一帧图像都需要进行基于主成分分析的光谱降维。

步骤303，将光谱降维后选定通道的高光谱图像序列中的第T帧图像，与光谱降维后融合通道的高光谱图像序列中的第T帧图像，组合成当前帧图像对。

步骤5：提取当前帧图像对的SURF特征融合后作为第一个特征，然后提取当前帧图像对的三个深度特征分别融合后作为第二到第四个特征；

具体通过以下步骤实现：

步骤501，提取一对当前帧图像的SURF特征融合后作为第一个特征；

步骤502，利用VGG-19网络对一对当前帧图像提取深度特征，并将一对VGG-19网络中第三卷积组的第四层融合后作为第二个特征，第四卷积组的第四层融合后作为第三个特征，第五卷积组的第四层融合后作为第四个特征。

步骤6：利用第一到第四个特征以及核相关滤波跟踪器计算得到四个基于第一到第四个特征的弱响应图；

具体通过以下步骤实现：

步骤601，将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X

S602、按照下式，将X

其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x

S603、按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω

其中，ω表示核相关滤波分类器的回归系数，F

步骤604，按照下式，将ω

其中，α

步骤605，按照下式，利用循环矩阵

步骤606，按照下式，计算基于第一个特征的弱响应图R

其中，z

步骤607，重复步骤(601)至(606)，计算得到基于第二到第四个特征的弱响应图R

具体地，如图4a至图4d所示，分别为本发明高光谱图像序列中第二十帧图像四个基于第一到第四个特征的弱响应图。

步骤7：利用四个基于第一到第四个特征的弱响应图分别计算得到第一到第四个特征的权重系数：

具体为：根据公式

步骤8：利用第一到第四个特征的权重系数对四个基于第一到第四个特征的弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为目标的位置；

具体通过以下步骤实现：

步骤801，按照下式，计算强响应图Q：

步骤802，将Q中最大值位置作为目标的位置。

具体地，如图5所示，为本发明高光谱图像序列中第二十帧图像的一个强响应图。如图6所示，为本发明高光谱图像序列中第二十帧图像中目标位置示意图。

步骤9：对第一到第四个特征的权重系数的参数进行自适应更新，具体为：按照下式，对第一到第四个特征的权重系数的参数进行自适应更新：

其中，μ表示大小为0.98的更新参数。

具体地，如果当前帧的响应图峰值高于历史帧的响应图峰值，代表当前帧的特征匹配度更高，更有利于目标跟踪，则用其替换历史帧的响应图峰值；如果当前帧的响应图峰值低于历史帧的响应图峰值，则代表当前帧的匹配度降低，这不仅由目标因素导致，也可能是由背景改变所导致的，因此需要对历史帧的响应图峰值进行更新，使其更能适应当前帧的背景情况。

步骤9中还包括：重置第四个特征的权重系数，具体为：按照下式，重置第四个特征的权重系数：

其中，v

具体地，第四个特征为深度特征中最深层次的特征，由于深度网络的特性，其具有最大的感受野，这导致在目标发生剧烈变动时，如果背景变化不大，其仍能保持一个很大的响应峰值，会在融合的时候产生很大的影响，导致跟踪失败，因此本发明中设立一个阈值参数以减弱第四个特征在低匹配度情况下的影响力，提高其他三个特征的影响力。

由于本发明使用了权重系数参数更新的方式综合考虑了当前帧和历史帧的响应图峰值，利用更新系数调整当前帧和历史帧峰值所占比，根据步骤9中的公式，对第一到第四个特征的权重系数的参数进行自适应更新，使其更能适应当前帧图像，进而提高跟踪的准确度。

本发明采用基于特征提取和权重系数参数更新的高光谱目标跟踪方法对原始高光谱图像序列进行降维处理，然后分别融合四对特征，实现高光谱目标跟踪，可用于对复杂背景下高光谱图像序列中的目标进行有效跟踪，提高了复杂背景下高光谱图像序列中目标跟踪的速度和准确度。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。