一种基于空谱特征融合的无监督高光谱视频目标跟踪方法

摘要

本发明涉及一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。本发明结合循环一致性理论方法，设计了基于深度学习的高光谱目标跟踪方法，可无监督的训练高光谱目标跟踪深度学习模型，节约了人工标注的成本。在Siamese跟踪框架的基础上了，设计了RGB分支(空间分支)与高光谱分支；使用RGB视频数据训练空间分支以及将训练好的RGB模型载入网络固定参数同时训练高光谱分支，获得融合后的更具鲁棒性及判别力的特征。最终使用将融合的特征输入到相关滤波器中(DCF)，获得跟踪结果。本发明可以解决高光谱视频数据人工标注的问题以及用于深度学习模型训练的高光谱训练样本少的问题，可以有效提升高光谱视频跟踪模型的精度和速度。

说明书

技术领域

本发明基于计算视觉技术处理领域，特别涉及一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。

背景技术

高光谱视频(高空间分辨率-高时间分辨率-高光谱分辨率)目标跟踪作为新兴的方向，旨在利用高光谱视频中给定初始帧的目标信息去预测目标在后续帧的状态。相比于RGB视频目标跟踪，高光谱视频目标跟踪，除了能够提供空间信息之外，还能提供区分不同材料的光谱信息。即使目标外形一样，只要材料不同，就能利用高光谱视频跟踪目标，这是RGB视频目标跟踪所不具备的优势。因此，高光谱视频目标跟踪在在伪装目标跟踪，小目标跟踪等领域能够发挥重要的作用。在此基础上，高光谱视频目标跟踪也吸引了越来越多研究学者的关注。

与此同时，高光谱视频目标跟踪是一项艰巨的任务。其一，目前高光谱视频目标跟踪算法都是使用传统手工特征表征目标的特征，这使得高光谱视频目标跟踪算法性能受限；其二，高光谱视频需要专用的高光谱视频相机拍摄，训练样本受限，导致目前还没有真正意义上的基于深度学习的高光谱视频目标算法。其三，有监督的深度学习算法现需要大量人工标准的样本，特别是视频标注，费时费力。由于上述几个问题存在，导致目前高光谱视频目标跟踪算法往往表现较差。

发明内容

本发明的目的在于提出一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。

本发明所提供的这种基于空谱特征融合的无监督高光谱视频目标跟踪方法，具有以下三个显著特点。一是利用循环一致性原理，在不需要任何人工标注的情况下无监督的训练整个基于深度学习的高光谱目标跟踪算法。二是设计空谱特征融合的相关滤波高光谱视频目标跟踪框架，在一定程度上解决了高光谱视频训练样本少的问题，同时融合RGB与高光谱特征可以获得更具鲁棒性与识别力的特征。三是设计通道注意力模块，仅在初始帧计算特征通道的权重，使得网络能够动态聚合出不同目标的特征通道的不同权重。

本发明提供一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，实现步骤如下：

步骤1，视频数据预处理；

步骤2，随机初始化边界框，并通过初始化边界框获取模板帧Z

步骤3，利用循环一致性原理无监督训练RGB分支，也称空间分支，最终得到优化后的空间分支模型

空间分支包括模板分支1和搜索分支1，模板分支1以包含跟踪目标的模板帧Z

模板分支1和搜索分支1的结构相同，包括卷积层-非线性激活层-卷积层-局部响应归一化层；

步骤4，利用循环一致性原理无监督训练高光谱分支，最终得到优化后的空间-高光谱模型

高光谱分支包括模板分支2与搜索分支2，模板分支2以包含跟踪目标的模板帧Z

模板分支2包括多个串联的光谱特征提取模块和一个通道注意力模块，其中前两个光谱特征提取模块包括卷积层-批归一化层-非线性激活层，第三个光谱特征提取模块包括卷积层-批归一化层-非线性激活层-卷积层，通道注意力模块包括全局平均池化层-全连接层-非线性激活层-全连接层 -Softmax，搜索分支2只包括多个串联的光谱特征提取模块，不包含通道注意力模块；

步骤5，将包含待跟踪目标的高光谱视频帧X

进一步的，步骤1的具体实现方式如下，

首先将视频数据转化为一帧帧连续的图像X

然后将没有标注的视频图像帧X

进一步的，所述步骤2的实现方式如下，

在步骤1的基础上，在没有标注的视频帧Y

进一步的，所述步骤3的具体实现方式如下，

步骤3.1，模板分支1以模板帧Z

步骤3.2，将模板帧Z

步骤3.3，将Z

步骤3.4，通过求解岭回归损失函数；

得到滤波器w，H是理想高斯响应，λ是常数；

其中，

步骤3.5，通过滤波器w与后续帧的特征F_s计算得到最终的响应R；

其中F

步骤3.6，首先向前跟踪，跟踪顺序为Z

步骤3.7，计算移动权重M

其中，H

步骤3.8，构建损失函数：

其中，n表示batch size的最大值，R

步骤3.9，反向传播loss值更新网络模型参数，loss值即为步骤3.8中的损失函数值L，将loss值进行反向传播，通过基于随机梯度下降(SGD) 算法对3.2步骤中的网络参数进行更新，最终得到优化后的空间分支模型

进一步的，所述步骤4的实现方式如下，

步骤4.1，模板分支2以模板帧Z

步骤4.2，将模板帧Z

步骤4.3，将Z

步骤4.4，通过求解岭回归损失函数：

得到滤波器w

其中，

步骤4.5，通过滤波器w

其中F

步骤4.6，首先向前跟踪，跟踪顺序为Z

步骤4.7，计算移动权重M

其中，H

步骤4.8，构建损失函数：

其中，n表示batch size的最大值，R

步骤4.9，反向传播loss值更新网络模型参数，loss即为步骤4.8中的损失函数值L

本发明方法具有以下显著效果：(1)利用周期一致性原理无监督的训练网络可以节省人工成本；(2)利用深度学习端到端的训练出融合RGB特征与高光谱特征的跟踪模型，推理速度快，相比于传统手工特征方法推理速度提升数十倍；(3)在初始帧利用通道注意力机制聚合出针对需要跟踪目标更有效的特征，增加了网络对目标判别力。

附图说明

图1是本发明实施例1的步骤4中循环一致性示意图

图2是本发明实施例1的步骤4中的高光谱分支示意图。

图3是本发明实施例1的步骤3中空间分支示意图。

图4是本发明实施例1的步骤3中跟踪结果示意图，其中图中的数字分别表示的是第4帧和第12帧，框代表跟踪目标的位置和大小，这个框会随着目标的移动和变形而移动和变化(目标变大，框就变大，目标变小，框就变小)。

图5是本发明实施例1的流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

本发明实施例提供一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，包括以下步骤：

步骤1，视频数据预处理，本步骤进一步包括：

步骤1.1，将视频数据转化为一帧帧连续的图像X

步骤1.2，将没有标注的视频图像帧X

步骤2，随机初始化边界框(BBOX)，本步骤进一步包括：

在步骤1的基础上，在没有标注的视频帧Y

步骤3，利用循环一致性原理无监督训练RGB分支(空间分支)，本步骤进一步包括：

步骤3.1，整个网络结构是以Siamese网络基础构成，总体分为模板分支与搜索分支。模板分支以模板帧Z

步骤3.2，将模板帧Z

步骤3.3，将Z

步骤3.4，通过求解岭回归损失函数：

得到滤波器w，H是理想高斯响应，λ是常数。

其中，

步骤3.5，通过滤波器w与后续帧的特征F_s可计算得到最终的响应R：

其中F

步骤3.6，首先向前跟踪，跟踪顺序为Z

步骤3.7，计算移动权重M

其中，H

步骤3.8，构建损失函数：

其中，n表示batch size的最大值，R

步骤3.9，反向传播loss值更新网络模型参数，将loss值进行反向传播，通过基于随机梯度下降(SGD)算法对3.2步骤中的网络参数进行更新，最终得到优化后的空间分支模型

步骤4，利用循环一致性原理无监督训练高光谱分支，本步骤进一步包括：

步骤4.1，整个网络结构是以Siamese网络基础构成，总体分为模板分支与搜索分支。模板分支以模板帧Z

步骤4.2，将模板帧Z

步骤4.3，将Z

步骤4.4，通过求解岭回归损失函数：

得到滤波器w

其中，

步骤4.5，通过滤波器w

其中F

步骤4.6，首先向前跟踪，跟踪顺序为Z

步骤4.7，计算移动权重M

其中，H

步骤4.8，构建损失函数：

其中，n表示batch size的最大值，R

步骤4.9，反向传播loss值更新网络模型参数，将loss值进行反向传播，对4.2步骤中的网络参数进行更新，最终得到优化后的空间-高光谱模型

步骤5，将包含待跟踪目标的高光谱视频帧X

本发明方法具有以下显著效果：(1)利用周期一致性原理无监督的训练网络可以节省人工成本；(2)利用深度学习端到端的训练出融合RGB特征与高光谱特征的跟踪模型，推理速度快，相比于传统手工特征方法推理速度提升数十倍；(3)在初始帧利用通道注意力机制聚合出针对需要跟踪目标更有效的特征，增加了网络对目标判别力。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。