一种机载光电平台中的实时目标跟踪系统及方法

摘要

本发明提供了一种机载光电平台中的实时目标跟踪系统及方法，属于智能视频处理技术领域，系统包括图像采集模块、图像解码模块、数据通信模块及目标跟踪模块。图像采集模块负责可见光图像以及红外图像数据的采集，完成采集后，红外图像数据与可见光图像数据输入图像缓存模块，数据通信模块负责与DSP芯片之间的指令信息和图像信息传递、与上位机以及后端伺服控制系统的通信，目标跟踪模块接收上位机指令、读取缓存好的红外图像数据与可见光图像数据，并输出相应处理结果，即目标方位信息，最后，将目标位置信息传递给后端伺服控制系统。本发明易于实现，能够在采集到图像后，立即在机载光电平台中进行实时目标跟踪处理，精度高、稳定性强、输出延迟低，可以代替人工实现对伺服系统的智能控制。

说明书

技术领域

本发明涉及智能视频处理领域，具体涉及的是一种机载光电平台中的实时目标跟踪系统及方法。

背景技术

目标跟踪是指给出视频某一帧图像中目标的位置，然后算法连续计算出后续帧中目标位置的任务。目标跟踪技术有广泛的应用场景。在现代机载光电平台中，目标跟踪系统具有重要的作用。传统机载光电平台不具备目标跟踪系统，由人工手动控制光电吊舱的运动，来追踪目标，对目标进行持续观察。现代机载光电平台中，智能目标跟踪系统负责连续给出选定的目标的位置信息，以即时调整光电吊舱的方位、俯仰角度，使目标始终处于视频画面中心，便于使用者观察。现有目标跟踪系统一般先将视频数据传回本地高性能计算机或服务器，然后再进行目标跟踪处理，最后将结果回传。这种处理方式视频数据传输难度大、对硬件计算能力要求高，不能满足实时目标跟踪的要求。现有的一些机载目标跟踪系统通常难以同时处理一路以上图像数据，不满足实时性要求，或在满足实时性要求的情况下，不能保证良好的目标跟踪质量。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种机载光电平台中的实时目标跟踪系统及方法，基于FPGA芯片加DSP芯片的硬件平台实现，具有体积小、功耗低等特点，直接安装在机载光电平台后端，在现场直接进行实时目标跟踪处理，能够以极低的延迟连续给出目标位置，指导后端的光机伺服控制系统随动运动。

本发明所采用的技术解决方案是：一种机载光电平台中的实时目标跟踪系统，包括图像采集模块、图像解码模块、数据通信模块和目标跟踪模组合决策视觉块。针对多核DSP芯片具有多个独立内核的结构特点，进行并行优化，实现了稳定准确的实时目标跟踪。本发明的主要创新在于目标跟踪模块中使用的组合决策目标跟踪算法，以及算法在特定处理器上的调度实现。

所述图像采集模块包括：可见光图像传感器和红外图像传感器，可见光图像传感器与红外图像传感器同光轴安装；光轴校准误差在2像素以内；红外图像数据与可见光图像数据采用SDI协议传输；红外图像传感器与可见光图像传感器分别采集红外波段与可见光波段的目标图像数据，供目标跟踪使用；

所述图像解码模块包括：两个SDI接收芯片、SRAM阵列、FPGA芯片和在FPGA芯片中运行的红外图像数据与可见光图像数据流解码算法，SDI接收芯片从图像采集模块接收到的SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的红外图像数据与可见光图像数据流解码算法从红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，所述数据流中包括有效数据、消隐数据、帧同步、行同步数据，并利用SRAM阵列进行数据缓存；

所述数据通信模块包括：串口通信芯片，在FPGA芯片中实现的数据通信程序，数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果；

所述目标跟踪模块包括：多核DSP芯片及目标跟踪算法，DSP芯片上运行的目标跟踪算法根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪工作，将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～n-1核完成目标跟踪任务，最后一个n核完成系统控制任务；所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置；单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务进行并行优化，实现了实时目标跟踪。本发明的主要创新在于目标跟踪模块中使用的组合决策目标跟踪算法，以及算法在特定处理器上的调度实现。

所述目标跟踪模块中，基于红外与可见光图像的组合决策视觉目标跟踪算法，实现步骤如下：

(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型D_v、D_ir；

(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；

(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升算法鲁棒性。

所述步骤(1)-(3)进一步实现如下：

(1)在提取样本特征时，将样本图像块分割成不重叠的小区域，分别根据梯度方向统计区域内像素点处的梯度幅值，组成一个27位的原始特征向量C，之后采用下式计算标准化算子，然后对C进行标准化处理，得到的标准化算子N(i,j)：

N(i,j)＝(||C(i,j)||²+||C(i+1,j)||²+||C(i-1,j)||²+||C(i,j+1)||²+||C(i,j-1)||²)²

其中C(i,j)为第i行j列的图像区域特征向量，采用以下公式进行标准化处理，得到最终的特征向量F(i,j)，每个图像块的特征向量共同组成目标的特征表示矩阵X；

F(i,j)＝max(α,C(i,j)/N(i,j))

其中α为一个截取项，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标；

(2)采集初始目标图像块，采用缩放、旋转、平移、翻转、仿射变换方式，生成一批目标图像正样本，记为T_p，同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的图像块，作为负样本T_n；利用多种变换得到的正样本进行训练，极大的增强了决策模型对相应变换的鲁棒性；

(3)在新一帧图像中，从目标上一帧位置周围随机采样，得到一批候选样本，均匀采样得到一批候选样本，共同组成候选目标样本，随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到；

(4)针对可见光图像和红外图像，分别构建决策模型D_v、D_ir，

其中θ_v，θ_ir为模型参数，x样本的特征。每一帧中，计算得到两个结果，分别记为R_v、R_ir：

根据损失函数确定哪一决策模型给出的结果为最优决策结果，作为输出，同时用最优决策结果去修正产生次优结果的决策模型，使产生次优结果的决策模型在后续帧中能有更好的表现；每个决策结果在第n帧中，都能够计算得到一个损失函数为提升判断的准确性，采用累积损失函数，判断最优决策结果：

其中为模型D的损失函数，这里D∈D_v,D_ir，D^*为最优决策模型，Δn为累积损失函数的时间窗长度；在目标跟踪过程中，组合两个决策模型的决策结果，选择其中最优结果作为输出，并利用最优结果，修正更新次优决策模型，纠正次优决策模型运行过程中引入的错误信息，两个决策模型相互协作、互相修正，实现稳定准确的目标跟踪。

所述DSP芯片为TI的TMS320C6678多核处理器，具有8个可并行运行的独立内核，分别记作核0-7，数据通信模块接收到上位机发出的指令后，传输至目标跟踪模块的DSP芯片，DSP芯片需要实时响应上位机的指令，开始目标跟踪后，DSP芯片需要同时完成指令响应、从视频解码模块搬运红外图像数据与可见光图像数据，以及目标跟踪工作；这些工作是可以独立进行的，本发明实现的系统特征在于：设计了两个运行在不同内核上的子任务，其中目标跟踪任务负责目标位置解算，系统控制任务通信控制任务负责指令响应、结果输出及红外图像数据与可见光图像数据的搬运，两个任务分别运行在不同的内核上，系统控制任务为目标跟踪任务提供红外图像数据与可见光图像数据和控制指令，目标跟踪任务利用红外图像数据与可见光图像数据根据控制指令解算目标位置，输出给系统控制任务，系统控制任务完成目标跟踪结果回传。运行于不同内核上的任务不会互相抢占处理资源，不会产生不必要的阻塞造成时间延迟，从而保证了目标跟踪和指令响应的实时性；核0-6运行目标跟踪任务，使用基于红外与可见光图像的组合决策视觉目标跟踪算法，完成目标位置解算，其中核0作为主核，完成DSP芯片的初始化，以及目标跟踪任务的总体运行，核7运行通信控制任务，响应系统指令，搬运红外图像数据与可见光图像数据，输出跟踪结果。

所述目标跟踪模块中DSP芯片上运行的目标跟踪任务的步骤为：

(1)系统上电后，完成DSP芯片的初始化，启动目标跟踪任务，准备进行目标位置解算；

(2)目标跟踪任务处于非跟踪状态时，任务处于空闲状态，接收到上位机发出的目标跟踪指令后，转至(3)；

(3)从来自上位机的指令信息流中提取目标初始坐标信息R₀，触发DSP芯片内部的增强内存直接访问(EDMA)数据传输机制，从来自数据通信模块的红外图像数据与可见光图像数据流中提取初始目标区域P_v、P_ir；

(4)使用初始目标区域中的红外图像数据与可见光图像数据，初始化基于红外与可见光图像的组合决策视觉目标跟踪算法，针对红外与可见光图像，分别构建决策模型D_v、D_ir；

(5)第n帧图像到来时，在上一帧的跟踪结果R_n-1周围采集候选样本，提取每个样本的特征，使用决策模型判断其是否为目标，得到两个决策器的输出结果R_v与R_ir；

(6)使用累积损失函数确定最优决策结果，作为最终输出R_n，同时在最终结果邻域内提取样本，对决策模型进行更新，提升算法鲁棒性；

(7)系统下电，目标跟踪任务结束。

所述目标跟踪模块中DSP芯片上运行的系统控制通信控制任务的步骤为：

(1)系统上电，核0完成DSP芯片初始化后，启动核7，开始运行通信控制任务；

(2)当没有指令到来时，控制任务处于空闲状态，接收到来自上位机的指令后，对指令进行解析，将有效信息传递给核0进行具体执行；开始目标跟踪后，核7从数据通信模块实时搬运来自前端图像传感器，经过图像解码模块的红外图像数据与可见光图像数据，供目标跟踪任务使用；

(3)系统下电，通信控制任务结束。

本发明一种机载光电平台中的实时目标跟踪方法，实现步骤如下：

(1)图像采集模块中的红外传感器与可见光传感器，采集同光轴的红外图像数据与可见光图像数据，通过SDI协议传输给图像解码模块；

(2)来自图像采集模块的串行红外图像数据与可见光图像数据流，首先经过SDI接收芯片，变为并行红外图像数据与可见光图像数据流，然后传入FPGA芯片；FPGA芯片中的图像解码程序使用状态机，从并行红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，存入SRAM阵列；图像解码状态机包括stIDLE、stFRAME、stLINE、stWAIT状态，状态根据垂直同步信号VS、数据有效信号DE、垂直方向计数CntV、水平方向计数CntH、图像行数Rows、图像列数Cols信号发生转移；

(3)FPGA芯片中的数据通信程序接收到目标跟踪指令后，从SRAM阵列中读取红外图像数据与可见光图像数据到片内的缓冲区，通知DSP芯片从缓冲区中取走红外图像数据与可见光图像数据，同时将最新接收到的上位机指令传递给DSP芯片；

(4)DSP芯片接收到红外图像数据与可见光图像数据、目标初始位置信息和启动跟踪指令后，分别基于红外图像和可见光图像，提取正负样本，训练决策模型，构建决策模型，新的一帧图像到来时，在上一帧图像中目标位置附近采集候选样本，提取每一个候选样本的特征，使用决策模型确定其是目标或背景，得到新一帧中目标位置。最后根据目标跟踪结果和红外图像数据与可见光图像数据对决策模型进行更新；

(5)目标跟踪结果从DSP芯片传输至数据通信模块，之后由数据通信模块传输给后端系统。

本发明的目标跟踪系统与现有技术相比的优点有：

(1)本发明采用基于红外与可见光图像的组合决策视觉目标跟踪算法，基于红外与可见光图像，构建了两个决策模型，来进行目标跟踪。通过组合决策确定最终目标跟踪结果。红外图像与可见光图像在不同场景中有各自的优势和劣势，通过组合决策，算法能够在丰富的场景中准确的跟踪目标，同时每一帧运算过程中，可以利用最优结果修正产生次优结果的决策模型，使算法在运行过程中具有良好的鲁棒性，能够稳定准确的进行目标跟踪。

(2)DSP芯片的主频和计算能力有限，本发明在实现DSP芯片上的目标跟踪程序时，根据实际目标，基于多核处理器进行了针对性优化，采用合理的方式将DSP芯片的工作分为目标跟踪任务和通信控制任务，使得两个任务不会产生冲突，造成不必要的运行时间开销。同时在运行目标跟踪任务时，将算法中能够并行处理的部分分配到多个内核中并行执行，保证了系统各项任务的实时性，实现了实时目标跟踪。

附图说明

图1为本发明的系统结构框图；

图2为视频数据解码状态机的状态转移图；

图3为DSP芯片上目标跟踪任务运行流程图；

图4为本发明实验效果图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明系统包括图像解码模块、数据通信模块和目标跟踪模块；图像采集模块包括可见光图像传感器、红外图像传感器，其中可见光图像传感器采集可见光波段的信息，其成像具有丰富的色彩、纹理及梯度信息，红外图像传感器根据热辐射成像，在光照条件较差时，仍能够清晰显示环境和物体，对可见光图像起到补足作用；安装时，可见光图像和红外图像传感器要求同光轴，光轴校准误差在2像素以内。其中可见光图像传感器每秒输出30帧1920*1080分辨率的图像数据，红外图像传感器每秒输出30帧640*512分辨率的图像数据。可见光图像和红外图像传感器的图像数据采用SDI协议传输。

图像解码模块包括SDI接收芯片、SRAM阵列和FPGA芯片中实现的红外图像数据与可见光图像数据流解码程序，SDI接收芯片将从图像采集模块接收到的高速串行SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的解码程序从红外图像数据与可见光图像数据中解码出有效数据，并利用SRAM阵列进行数据缓存。所述SDI接收芯片采用GS2971A 3G-SDI视频解码芯片。FPGA芯片采用XC7K325T，FPGA芯片中采用状态机实现了红外图像数据与可见光图像数据的解码，状态机包括stIDLE、stFRAME、stLINE、stWAIT状态，状态根据VS(垂直同步信号)、DE(数据有效信号)、CntV(垂直方向计数)、CntH(水平方向计数)、Rows(图像行数)、Cols(图像列数)信号发生转移，状态机的初始状态为stIDLE，当VS和DE为0时，进入stFRAME状态，准备解码新一帧的图像数据，当VS与DE为1时，进入stLINE状态，准备解码新一行的图像数据，当VS为1，DE为0时，进入stWAIT状态，等待下一行数据的到来，当VS和DE为0时，再次进入stFRAME状态，准备解码新一帧的图像数据，具体状态转移情况如图2。

数据通信模块包括串口通信芯片、FPGA芯片中实现的数据通信程序和DSP芯片中实现的数据通信程序，串口通信芯片完成单端信号与差分信号之前的转换，将FPGA芯片发出的单端信号转为差分信号发送，或将收到的差分信号转为单端信号传输给FPGA芯片，FPGA芯片中实现的数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据的传输、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果。所述串口通信芯片采用MAX3077E芯片。

目标跟踪模块包括多核DSP芯片及其中实现的目标跟踪程序。多核DSP芯片采用TI公司的TMS320C6678多核DSP芯片，芯片包含8个独立内核，每个内核工作频率为1GHz。目标跟踪模块根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪等工作，多核DSP芯片上同时运行着目标跟踪及系统控制两个子任务，其中目标跟踪任务负责目标位置解算，通信控制任务负责指令响应、结果输出及红外图像数据与可见光图像数据的搬运，两个任务分别运行在不同的内核上。目标跟踪程序采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对多核DSP芯片具有多个独立内核的结构特点，进行并行优化，实现了稳定准确的实时目标跟踪。

如图1所示，本发明基于红外与可见光图像的组合决策视觉目标跟踪方法步骤如下：

(1)根据接收到的红外图像和可见光图像，分别构建组合决策的每个基本跟踪器。首先根据以下公式提取目标图像的梯度特征，

Gx＝I(x+1,y)-I(x-1,y)

Gy＝I(x,y+1)-I(x,y-1)

其中Gx、Gy分别是位置(x,y)处在x方向和y方向上的梯度幅值，I表示图像。

接下来根据Gx、Gy计算每个像素点处的梯度幅值和方向，将图像分割为互不重叠的4x4的小块区域，在每个区域内分别将每个像素点处的梯度幅值按方向累加统计至不同的区间。本发明中采用方向的9区间以及18方向的区间。如采用9方向的区间时，将梯度幅值按方向统计入(0°～40°，40°～80°，320°～0°)等区间。每个图像块的9区间统计结果与18区间统计结果共同组成一个27位的原始特征向量C，之后采用下式计算标准化算子，然后对C进行标准化处理，

N(i,j)＝(||C(i,j)||²+||C(i+1,j)||²+||C(i-1,j)||²+||C(i,j+1)||²+||C(i,j-1)||²)²

其中C(i,j)为第i行j列的图像区域特征向量，N(i,j)为计算得到的标准化算子。采用以下公式进行标准化处理

F(i,j)＝max(α,C(i,j)/N(i,j))

其中α为一个截取项，用于消除特征矩阵中值过大的噪声项，使得提取到的图像特征能够更鲁棒的表示目标。F(i,j)为最终求得的特征向量，每个图像块的特征向量共同组成目标的特征表示矩阵X。

(2)根据目标图像，采用缩放、旋转、平移、翻转、仿射变换等方式，生成一批目标图像的正样本，记为T_p，每一个样本根据变换程度，分别基于值为0～1的标签，与原始目标图像越接近，样本所得的标签值越大。同时在图像的背景区域随机提取一些与目标图像重合较少或者不重合的区域，作为负样本T_n，通过与目标图像进行标准化互相关运算，得到其与目标的相似度，即为负样本的标签值。进行标准化互相时，首先将样本图像缩放至16*16像素大小。然后计算如下：

其中T代表初始目标图像样本，T_n代表任意一个负样本，⊙两个样本逐像素相乘并加和。Conf为计算得到此负样本与目标的相似度。

利用步骤1中所述的方法提取每一个样本的特征及其标签，训练决策模型，得到一组权值向量。训练过程采用随机梯度下降法。

决策模型的判别方程为：

h_θ(x)＝g(θ^Tx)

其中x为某一样本的特征矩阵展成的特征向量，θ为训练得到的权值向量，g使用如下函数，可使计算得到的取值在[0,1]的区间内，当h大于某一阈值T_conf时，样本被判断为目标，否则，样本被视为背景。

(3)在新的一帧图像，从目标上一帧位置周围随机采样，得到一批样本，均匀采样得到一批样本，共同组成候选目标样本。随机采样可以增加跟踪算法对于目标随机快速运动的鲁棒性，均匀采样可保证目标向任意方向运动后，仍能够被准确的捕捉到。随机采样采用正态分布函数，分别以目标的上下左右边界的x，y坐标值为中心，随机产生候选样本的坐标值。均匀采用以目标初始位置为中心，步长为2像素，滑窗提取候选样本。得到候选样本后，提取样本特征，根据决策模型判断其是背景还是目标。若同时有多个目标，则根据结果位置进行聚类，删去偏差较大的候选样本，将位置相似的候选样本根据可信度做加权平均，得到最终目标位置。

(4)最后，得到新的目标位置后，用(1)中所述方法得到一批正样本和负样本，提取特征，并用(2)中所述的训练方法对决策模型进行更新，以保持算法对目标外观变化的鲁棒性。

(5)针对可见光图像和红外图像，根据(1)至(4)中所述分别构建决策模型D_v、D_ir，其中下标v代表可见光，ir代表红外。

针对可见光图像和红外图像，分别构建决策模型D_v、D_ir，

其中θ_v，θ_ir为模型参数，x样本的特征。每一帧中，计算得到两个结果，分别记为R_v、R_ir：

通常情况下，两种结果的吻合度较高，偏差在3素以内(含2像素的校轴误差)。但在某些情景中，如光照条件较差、图像中背景与目标热度较均匀时，某一结果可能会出现较大的漂移误差，这时，本发明根据损失函数确定最优决策结果，作为系统输出。同时用最优结果去修正另一决策模型，使其在后续帧中能有更好的表现。每个决策结果在第n帧中，都能够计算得到一个损失函数为提升判断的准确性，本发明采用累积损失函数，判断最优决策结果：

其中为模型D的损失函数，这里D∈D_v,D_ir，其中D^*为最优决策模型，Δn为累积损失函数的时间窗长度。得到最优结果后，利用最优结果位置，采用(4)中所述方法修复更新次优决策模型，纠正其运行过程中引入的错误信息。在目标跟踪过程中，两个决策模型相互协作、互相修正，实现稳定准确的目标跟踪。

本发明的目标跟踪方法运行包括以下运行步骤，目标跟踪任务运行流程图如图3所示：

(1)系统上电后，完成DSP芯片的初始化，启动目标跟踪任务，准备进行目标位置解算。

(2)目标跟踪任务处于非跟踪状态时，任务处于空闲状态。接收到上位机发出的目标跟踪指令后，转至(3)。

(3)从来自上位机的指令信息流中提取目标初始坐标信息R₀，触发DSP芯片内部的增强内存直接访问(EDMA)数据传输机制。从来自数据通信模块的红外图像数据与可见光图像数据流中提取初始目标区域P_v、P_ir。

(4)使用初始目标区域中的红外图像数据与可见光图像数据，初始化基于红外与可见光图像的组合决策视觉目标跟踪算法。根据2中所述，针对红外与可见光图像，分别构建决策模型D_v、D_ir。其中核0进行基于可见光图像的决策模型D_v的相关运算，核1进行基于红外图像的决策模型D_ir的相关运算，核2-6为核0-1上算法的运行提供并行支持。包括初始正负样本T_p、T_n的采集、每个样本的特征提取，以及后续步骤中样本分类。

(5)第n帧图像到来时，在上一帧的跟踪结果R_n-1周围采集候选样本，提取每个样本的特征，使用决策模型判断其是否为目标。得到两个决策器的输出结果R_v与R_ir。

(6)使用累积损失函数确定最优决策结果，作为最终输出R_n。同时在最终结果邻域内提取样本，对决策模型进行更新，提升算法鲁棒性。

(7)系统下电，实时目标跟踪任务结束。

目标跟踪模块中DSP芯片上运行的通信控制任务的步骤为：

(1)系统上电，核0完成DSP芯片初始化后，启动核7，开始运行通信控制任务；

(2)当没有指令到来时，系统控制任务处于空闲状态。接收到来自上位机的指令后，对指令进行解析，将有效信息传递给核0进行具体执行。开始目标跟踪后，核7从数据通信模块实时搬运来自前端图像传感器，经过图像解码模块的红外图像数据与可见光图像数据，供目标跟踪任务使用。

(3)系统下电，通信控制任务结束。

本发明的目标跟踪系统的部分实验结果如图4所示，图4中第一行为可见光图像中的实验结果，可以看出在目标被局部遮挡时，仍能保持稳定目标跟踪。图4中第二和第三行为红外图像中的实验结果，可以看出在目标发生形变时，仍能保持稳定目标跟踪，目标被完全遮挡又重新出现时，能够重新找回目标，继续进行目标跟踪。

本发明中的目标跟踪系统，能够同时处理红外图像数据与可见光图像数据，能够很好的应对目标被局部遮挡，目标被完全遮挡，目标外形发生严重变化的场景，保持对目标的稳定跟踪。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。