带有阴影去除的分块感知哈希跟踪方法

摘要

本发明公开了一种带有阴影去除的分块感知哈希跟踪方法，先根据阴影图像在CIELAB色彩空间中各通道灰度图的分布特点确定出图像中的阴影区域，然后采用颜色恒常理论将阴影区像素点恢复至无阴影效果，接着将分块感知哈希编码值与颜色自相似性相结合，以此作为相似性度量来对相邻帧的跟踪目标子块进行匹配，最后将上述子块组合得到跟踪目标在当前帧的区域位置，实现对视频中的跟踪目标进行跟踪。本发明的优点在于根据人体部位运动范围和形变程度的不同，将人体目标分为8个子块，并在此基础上，提出了一种分块的感知哈希编码方法，解决了目前的跟踪算法在人体被部分或完全遮挡、部分旋转，以及自然场景中阴影区与非阴影区光照突变等情况下跟踪失败的问题。

说明书

技术领域

本发明涉及视频图像跟踪技术，具体是一种带有阴影去除的分块感知哈希跟踪方法。

背景技术

随着计算机技术日新月异的发展，利用计算机实现人类各种智能功能的需求逐渐成为现实。其中，通过计算机来模拟人类视觉去获取认知外界环境信息，在几十年时间，获得了飞速的发展，也因此成为计算机科学领域一个热门的研究课题。其中，视频跟踪技术是计算机视觉重要研究内容之一，也是当前计算机视觉研究中尚未根本解决的难点问题。

现有的跟踪方法主要有基于目标区域的跟踪、基于目标特征的跟踪、基于光流场的目标跟踪、基于目标模型的跟踪和基于预测的跟踪。但是，这些方法都存在各自的技术缺点：1.基于目标区域匹配的跟踪方法需要对所有区域进行跟踪目标匹配，搜索耗时大，而且在跟踪目标发生部分遮挡时跟踪效果不好；2.基于特征的跟踪方法是基于跟踪目标的某个或某些特征进行相邻帧的跟踪目标匹配，通常难以选择合适的特征表示跟踪目标，而且特征数量与算法效率难以均衡；3.基于光流场的跟踪方法是通过特征匹配来求得特征点处的流速，但由于得到的是稀疏的光流场，因而难以提取运动对象的精确形状；4.基于目标模型的跟踪方法通常采用线图模型、2D模型和3D模型表示跟踪目标，该方法可以处理遮挡，能够获得更多的行为分析所需的数据，但缺点是在监控场景中要获得所有运动目标的精确几何模型非常困难，而且运算量巨大，难以实现实时性；5.基于预测旳跟踪方法主要有卡尔曼滤波法、粒子滤波等。卡尔曼滤波器可以有效进行线性最优估计，但该方法不能处理非线性和非高斯的问题。粒子滤波方法能够应用于非线性非高斯的运动系统中，但缺点是计算量很大，实时性差。

发明内容

本发明的目的在于提供一种带有阴影去除的分块感知哈希跟踪方法，可以适用于自然场景中阴影区与非阴影区光照差异大、人体部分旋转，以及遮挡导致人体部分或完全缺失等情况的跟踪。该方法是根据阴影图像在CIELAB色彩空间中 各通道灰度图的分布特点确定出图像中的阴影区域，然后采用颜色恒常理论将阴影区像素点恢复至无阴影效果，接着将分块感知哈希编码值与颜色自相似性相结合，以此作为相似性度量来对相邻帧的跟踪目标子块进行匹配，最后将子块组合得到跟踪目标在当前帧的区域位置，实现对视频中的跟踪目标进行跟踪。

实现本发明目的的技术解决方案为：一种带有阴影去除的分块感知哈希跟踪方法，包括以下步骤：

步骤1：输入视频图像序列f(x,y,t)，第t帧图像的大小为M*N，M为图像的行数，N为图像的列数，且M、N均为自然数，(x,y)表示图像像素点的位置坐标，t表示视频序列的第t帧图像。

步骤2：将输入的视频f(x,y,t)由RGB空间转换到CIELAB空间，根据CIELAB空间中b^*通道灰度直方图的双峰性，以及a^*通道阴影减弱和灰度分布的单峰性，通过阈值分割方法得到图像中的阴影区域。

步骤3：采用颜色恒常算法分别估计出阴影区域图像n(x₁,y₁,t)和非阴影区域图像b(x₂,y₂,t)的光照颜色，计算将n(x₁,y₁,t)中像素点变换到非阴影区光照效果下的校正增益，然后通过颜色校正增益将阴影区域的图像颜色校正到无阴影的效果。

步骤4：手动选取跟踪目标，将跟踪目标按照运动形变大小划分为8个子块，8个子块从上到下、从左到右依次编号，第一排3个子块，第二排3个子块，第三排2个子块，坐标原点(0,0)设置在矩形框0.5倍宽度与起始高度的交汇处，分块结果以y＝0轴左右对称。

步骤5：假设跟踪目标在前一帧t₁无遮挡，在当前帧t₂，以前一帧t₁的跟踪目标位置为中心，找出使第5子块的汉明距离取最小值的n个候选窗口，分别计算上述候选窗口的总汉明距离，找出使总汉明距离取最小值的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，若至少有5个子块的颜色自相似性相匹配，则用该候选窗口更新t₂的跟踪目标；否则，找到使总汉明距离取值第二小的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，以此类推，直到找到符合条件的候选窗口，并用此候选窗口更新t₂的跟踪目标。

步骤6：在当前帧t₂，若更新后的跟踪目标外接矩形框变小，说明跟踪目标在t₂被部分遮挡，在下一帧t₃，根据跟踪目标在t₂被遮挡的情况以及t₃中是否找到匹配的跟踪目标选取不同的跟踪方式；若更新后的跟踪目标外接矩形框没有变小，说明跟踪目标在t₂没有被遮挡，返回步骤5。

本发明与现有技术相比，其显著优点为：1、根据人体不同部位运动范围与形变程度的不同，将人体分成8块，并对不同的块赋予不同的权值，得到加权的分块感知哈希编码，该特征与其他常用的跟踪目标特征相比，鲁棒性强、特征向量简单以及计算复杂度低；2、采用颜色恒常算法和Von Kries色系数定律将阴影区像素点恢复至无阴影效果，解决了跟踪目标在阴影区与非阴影区之间运动时，一般跟踪算法因光照突变导致跟踪目标跟丢的问题；3、将基于分块的感知哈希编码与颜色自相似性相结合来对相邻帧的跟踪目标进行匹配，可以将细节变化对全局结果的影响限制在局部，即使由于人体部分旋转，以及被部分或完全遮挡，也能有效识别出相同跟踪目标和不同跟踪目标。

附图说明

图1是本发明一种带有阴影去除的分块感知哈希跟踪方法的算法流程图。

图2是运动人体分块的结果图。

图3是当输入的视频图像中的运动目标被遮挡时，采用本发明一种带有阴影去除的分块感知哈希跟踪方法对跟踪目标进行跟踪的结果；其中图(a)为在输入视频的第194帧对目标进行跟踪后的结果图；图(b)为在输入视频的第200帧对目标进行跟踪后的结果图；图(c)为在输入视频的第206帧对目标进行跟踪后的结果图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明是一种带有阴影去除的分块感知哈希跟踪方法，其原理为：人在运动时，胳膊、腿等躯干部分活动范围大、形变剧烈，而头部、上半身(不包含胳膊)等部位只存在较小范围的转动，整体形变程度相对很小，因此可以先对人体按照运动时的活动范围和形变大小进行分块，然后使用分块的哈希编码与颜色自相似性来匹配相邻帧的跟踪目标，从而实现跟踪目标的跟踪。

结合图1和图2，一种带有阴影去除的分块感知哈希跟踪方法，包括以下步骤：

步骤1：输入视频图像序列f(x,y,t)，第t帧图像的大小为M*N，M为图像的行数，N为图像的列数，且M、N均为自然数，(x,y)表示图像像素点的位置坐标，t表示视频序列的第t帧图像。

步骤2：将输入的视频图像序列f(x,y,t)由RGB空间转换到CIELAB空间，根据CIELAB空间中b^*通道灰度直方图的双峰性，以及a^*通道阴影减弱和灰度分布的单峰性，通过阈值分割方法得到图像中的阴影区域。

步骤3：采用颜色恒常算法分别估计出阴影区域图像n(x₁,y₁,t)和非阴影区域图像b(x₂,y₂,t)的光照颜色，计算将n(x₁,y₁,t)中像素点变换到非阴影区光照效果下的校正增益，然后通过颜色校正增益将阴影区域的图像颜色校正到无阴影的效果。

步骤4：选取跟踪目标，将跟踪目标按照运动形变大小划分为8个子块，8个子块从上到下、从左到右依次编号，第一排3个子块，第二排3个子块，第三排2个子块，坐标原点(0,0)设置在矩形框0.5倍宽度与起始高度的交汇处，分块结果以y＝0轴左右对称。

步骤5：假设跟踪目标在前一帧t₁无遮挡，在当前帧t₂，以前一帧t₁的跟踪目标位置为中心，找出使第5子块的汉明距离取最小值的n个候选窗口，分别计算上述候选窗口的总汉明距离，找出使总汉明距离取最小值的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，若至少有5个子块的颜色自相似性相匹配，则用该候选窗口更新t₂的跟踪目标；否则，找到使总汉明距离取值第二小的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，以此类推，直到找到符合条件的候选窗口，并用此候选窗口更新t₂的跟踪目标。

更新t₂的跟踪目标具体步骤为：

5-1)在当前帧t₂，以t₁跟踪目标位置为中心，扫描窗口大小为width*height，其中width表示跟踪目标外接矩形框的宽度，height表示跟踪目标外接矩形框的 高度，在大小为3width*3height的区域内进行滑动扫描，计算所有扫描窗口中第5子块的哈希编码，找出使其与跟踪目标间汉明距离取最小值的n个扫描窗口，即为候选窗口，依次记为H₁，H₂，…,H_n，其中H₁为使第5子块汉明距离取最小值的候选窗口，H_n为使第5子块汉明距离取最大值的候选窗口，且满足H_n-H₁≤th3，取th3＝10；分块感知哈希编码与汉明距离的计算步骤如下：

5-1-1)对跟踪目标的8个子块赋予不同的权重w(k)，其中(k)表示第k个子块，w(k)定义如下：

$w\left(k\right)=\left(\begin{array}{cc}0.11,& k=\mathrm{1,3}\\ 0.56,& k=\mathrm{2,5}\\ 0.33,& k=\mathrm{4,6,7,8}\end{array}\right)---\left(11\right)$

5-1-2)将各个子块转换成灰度图像，并缩小至大小为32*32的正方形区域以简化DCT变换，若某个子块的长度或宽度小于32个像素，则以长度和宽度中的较小值为压缩尺寸进行压缩，然后对压缩后的正方形块进行DCT变换：

$F(0,0)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\Sigma }}\underset{y=0}{\overset{N-1}{\Sigma }}f(x,y,t),u,v=0---\left(12\right)$

$\underset{i=0}{\overset{N-1}{\Sigma }}F(u,v)=\frac{2}{N}\underset{j=0}{\overset{N-1}{\Sigma }}f(x,y,t)\cos \left[\frac{(2x+1)\mathrm{u\pi }}{2N}\right]\cos \left[\frac{(2y+1)\mathrm{v\pi }}{2N}\right],u,v=\mathrm{1,2},...,N-1---\left(13\right)$

其中，u,v均表示变换域中的频率分量，F(0,0)表示变换域中的低频成分，F(u,v)表示变换域的高频成分，N表示跟踪目标块的尺寸；经过DCT变换得到的变换系数矩阵左上角为低频系数，由于低频信息描述图像的大部分信息，因此只保留左上角8*8的矩阵。

5-1-3)对8*8的DCT矩阵进行哈希编码：

$\mathrm{Hash}(i,k)=\left(\begin{array}{c}1,G(i,k)>{\mathrm{mean}}_k\\ 0,G(i,k)\le {\mathrm{mean}}_k\end{array}\right),1\le i\le \mathrm{64,1}\le k\le 8---\left(14\right)$

其中，Hash(i,k)为第k个子块中的第i个编码，G(i,k)是第k个子块的DCT矩阵中第i个元素的值，mean_k为第k个子块的DCT矩阵的均值。

5-1-4)记跟踪目标的第k个子块的第i个编码值为Hash₀(i,k)，扫描窗口的第k个子块的第i个编码值为Hash₁(i,k)，则跟踪目标与扫描窗口的第k个子块间的汉明距离dis(k)为：

$\mathrm{dis}\left(k\right)=\underset{i=1}{\overset{64}{\Sigma }}({\mathrm{Hash}}_0(i,k)\oplus {\mathrm{Hash}}_1(i,k)),1\le k\le 8---\left(15\right)$

5-2)依次比较H₁,H₂，…,H_n的总汉明距离，找出使总汉明距离取最小值的候选窗口，上述候选窗口是t₂中跟踪目标最有可能位于的位置，记为W₁，并判断W₁与跟踪目标中具有相同编号的子块是否匹配；定义H₁，H₂，…,H_n的总汉明距离分别为D₁,D₂,…,D_n，归一化汉明距离因子NDis_m(k)，其中(k)表示第k个子块，NDis_m(k)和D₁,D₂,…,D_n的定义公式如下：

${\mathrm{NDis}}_m\left(k\right)=\frac{{\mathrm{dis}}_m\left(k\right)}{\underset{m=1}{\overset{n}{\Sigma }}{\mathrm{dis}}_m\left(k\right)},1\le m\le n---\left(16\right)$

$D_m=\underset{k=1}{\overset{8}{\Sigma }}{\mathrm{NDis}}_m\left(k\right)*w\left(k\right),1\le m\le n---\left(17\right)$

定义dis_m(k)为第m个候选窗口的第k个子块的汉明距离，则W₁与跟踪目标中具有相同编号子块的哈希编码的匹配公式为：

$\left(\begin{array}{c}\mathrm{if}{\mathrm{dis}}_m\left(k\right)<\left(\begin{array}{cc}{\mathrm{TM}}_1,& k=2\\ {\mathrm{TM}}_2,& k=\mathrm{4,6,7,8},\mathrm{then}{\mathrm{match}}_m\left(k\right)=1\\ {\mathrm{TM}}_3,& k=\mathrm{1,3}\end{array}\right)\\ \mathrm{elsemat}{\mathrm{ch}}_m\left(k\right)=0\end{array}\right)---\left(18\right)$

其中，1≤m≤n，TM₁,TM₂,TM₃均为阈值参数，TM₁的取值范围为[10,20]，TM₂的取值范围为[25,35]，TM₃的取值范围为[45,55]，match_m(k)表示该子块与跟踪目标是否匹配，match_m(k)＝1表示匹配；match_m(k)＝0表示不匹配。

5-3)找出W₁中使match(k)＝1的所有子块，计算这些子块与跟踪目标中对应子块的颜色自相似性，根据颜色自相似性判断子块对是否匹配，若至少有5个子 块对相匹配，说明W₁是t₂中跟踪目标的位置，并用使match(k)＝1的子块更新跟踪目标的位置与外接矩形框的尺寸；否则，找到D₁,D₂,…,D_n中取值第二小的候选窗口，记作W₂，计算其与跟踪目标各个对应子块的颜色自相似性，以此类推，直到找到符合条件的候选窗口，记作W_n，并用W_n中使match(k)＝1的子块更新t₂中的跟踪目标；W_n和跟踪目标中具有相同编号子块的颜色自相似性的计算步骤如下：

5-3-1)计算跟踪目标与W_n中各个子块的颜色直方图：将RGB颜色空间量化至16*16*16的量化级，通过计算子块中像素点的颜色落在每个量化区间内的数量得到颜色直方图，记跟踪目标与W_n中各个子块的颜色直方图分别为C_t1(k)和C_t2(k)，归一化的颜色直方图计算公式如下：

$C_{\mathrm{tm}}\left(k\right)=\frac{N(r,g,b)}{N_0\left(k\right)},1\le k\le 8,m=\mathrm{1,2}---\left(19\right)$

其中，N₀(k)是第k个子块的总像素数，N(r,g,b)表示子块中具有颜色(R＝r,G＝g,B＝b)的个数，m＝1表示跟踪目标的颜色直方图；m＝2表示W_n的颜色直方图。

5-3-2)采用巴氏距离判断跟踪目标与W₁中各个对应子块的颜色直方图的相似性，C_t1(k)和C_t2(k)的巴氏距离ρ(C_t1(k),C_t2(k))为：

$\rho (C_{t1}\left(k\right),C_{t2}\left(k\right))=\sqrt{1-\underset{i=1}{\overset{M}{\Sigma }}\frac{\sqrt{C_{t1}\left(k\right)·C_{t2}\left(k\right)}}{\underset{i=1}{\overset{M}{\Sigma }}{C}_{t1}\left(k\right)·\underset{i=1}{\overset{M}{\Sigma }}{C}_{t2}\left(k\right)}}---\left(20\right)$

其中，M表示颜色直方图的量化级数，此处为16，ρ(C_t1(k),C_t2(k))越小，两个子块的颜色直方图越相似；设定三个阈值参数T₁,T₂,T₃，取值范围均为[0,1]，且T₁<T₂<T₃，根据如下公式判断跟踪目标与W_n中的对应子块的颜色是否相似：

$\left(\begin{array}{c}\mathrm{if\rho }(C_{t1}\left(k\right),C_{t2}\left(k\right))<\left(\begin{array}{cc}{T}_1,& k=\mathrm{2,5}\\ T_2,& k=4,6,\mathrm{7,8},\mathrm{thens}\left(k\right)=1\\ T_3,& k=1,3\end{array}\right)\\ \mathrm{elses}\left(k\right)=0\end{array}\right)---\left(21\right)$

其中，s(k)为相似性参数，s(k)＝1表示跟踪目标与W_n中的对应子块相似；s(k)＝0表示不相似。

步骤6：在当前帧t₂，若更新后的跟踪目标外接矩形框变小，说明跟踪目标在t₂被部分遮挡，在下一帧t₃，根据跟踪目标在t₂被遮挡的情况以及t₃中是否找到匹配的跟踪目标选取不同的跟踪方式；若更新后的跟踪目标外接矩形框没有变小，说明跟踪目标在t₂没有被遮挡，返回步骤5。

根据跟踪目标在t₂被遮挡的情况以及t₃中是否找到匹配的跟踪目标选取不同的跟踪方式，跟踪方式具体分为以下六种情况：

①若跟踪目标的左半部分在t₂被遮挡，即当k＝1,4,7时，至少有两个使match(k)＝0，在t₃中进行窗口扫描时，采用第3子块、第6子块和第8子块组合成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_r,m，下标m表示当前的扫描窗口为第m个，D_r,m的计算公式如下：

$D_{r,m}=\underset{k=\mathrm{3,6,8}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(22\right)$

找到使D_r,m取值最小的扫描窗口，且该扫描窗口中的第3子块、第6子块和第8子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

②若跟踪目标的右半部分在t₂被遮挡，即当k＝3,6,8时，至少有两个使match(k)＝0，在t₃中进行窗口扫描时，采用第1子块、第4子块和第7子块组 成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_l,m，D_l,m的计算公式为：

$D_{l,m}=\underset{k=\mathrm{1,4,7}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(23\right)$

找到使D_l,m取值最小的扫描窗口，且该扫描窗口中的第1子块、第4子块和第7子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

③若跟踪目标的上半部分在t₂被遮挡，即当k＝1,2,3时，其中至少有两个使match(k)＝0，在t₃中进行窗口扫描时，采用第7子块和第8子块组成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_d,m，D_d,m的计算公式为：

$D_{d,m}=\underset{k=\mathrm{7,8}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(24\right)$

找到使D_d,m取值最小的扫描窗口，且该扫描窗口中的第7子块和第8子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

④若跟踪目标的下半部分在t₂被遮挡，即当k＝7,8时，其中至少有两个使match(k)＝0，在t₃中进行窗口扫描时，采用第1子块、第2子块和第3子块组成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_a,m，D_a,m的计算公式为：

$D_{a,m}=\underset{k=\mathrm{1,2,3}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(25\right)$

找到使D_a,m取值最小的扫描窗口，且该扫描窗口中的第1子块、第2子块和第3子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使 match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

⑤若①～④没有找到满足条件的扫描窗口，且跟踪目标在t₂的外接矩形框的某一条边距离视场边界不大于5个像素，说明跟踪目标在t₃运动出摄像机视场，在之后的视频帧中，继续以t₂中的跟踪目标为中心进行窗口扫描，若跟踪目标的某一部分在t₂被遮挡，则采用与上述子块位置对称的子块组成的总汉明距离和颜色自相似性与跟踪目标进行匹配；定义变量num表示跟踪目标消失的帧数，若num大于阈值time，说明跟踪目标永远消失；否则，返回步骤5，重新对跟踪目标进行分块感知哈希跟踪；time的取值范围为[200,220]。

⑥若①～④没有找到满足条件的扫描窗口，且跟踪目标在t₂的外接矩形框的所有边距离跟踪目标边界均大于5个像素，说明跟踪目标在t₃被完全遮挡，在下一帧t₄，用跟踪目标未被遮挡，即t₁中的外接矩形框作为扫描窗口的尺寸，在t₂的跟踪目标中心点的周围区域进行滑动扫描，计算扫描窗口与t₁的跟踪目标中各个子块的匹配度match_m(k)，若match_m(k)＝1，说明第m个扫描窗口的第k个子块与跟踪目标的第k个子块相匹配，然后找出使match_m(k)＝1的所有扫描窗口及其包含的子块，并计算上述扫描窗口的总汉明距离和颜色自相似性，得到最佳扫描窗口，用该窗口中使match(k)＝1的子块更新跟踪目标；若t₄中的所有扫描窗口子块的match_m(k)都等于0，则在下一帧t₅中继续以t₁的跟踪目标外接矩形框作为扫描窗口的尺寸，在t₂的跟踪目标中心点周围进行滑动扫描，重复上述扫描步骤，直至找到与跟踪目标相匹配的扫描窗口，并用该扫描窗口更新当前帧的跟踪目标。

实施例：

结合图1和图2，本发明一种带有阴影去除的分块感知哈希跟踪方法，包括以下步骤：

步骤1：输入视频图像序列f(x,y,t)，第t帧图像的大小为M*N，其中M为图像的行数，N为图像的列数，且M、N均为自然数，取M＝492,N＝660，(x,y)表示图像像素点的位置，t表示视频序列的第t帧图像。

步骤2：将输入的视频图像序列f(x,y,t)由RGB空间转换到CIELAB空间，根据CIELAB空间中b^*通道灰度直方图的双峰性，以及a^*通道阴影减弱和灰度分布的单峰性，通过阈值分割方法得到图像中的阴影区域，具体步骤如下：

2-1)将输入的视频图像序列的第t帧f(x,y,t)先由RGB空间转换到CIEXYZ空间，再由CIEXYZ空间转换到CIELAB空间，转换公式如下：

$\left(\begin{array}{c}X=0.490R+0.310G+0.200B\\ Y=0.177R+0.812G+0.011B\\ Z=0.000R+0.010G+0.990B\end{array}\right)---\left(1\right)$

$\left(\begin{array}{c}{L}^{*}=116{(Y/Y_0)}^{1/3}-16\\ a^{*}=500[{(X/X_0)}^{1/3}-{(Y/Y_0)}^{1/3}]\\ b^{*}=200[{(Y/Y_0)}^{1/3}-{(Z/Z_0)}^{1/3}]\end{array}\right)---\left(2\right)$

公式(2)的X₀Y₀Z₀是CIE标准照明体的三刺激值，取标准照明体C的三刺激值，分别为X₀＝98.07,Y₀＝100,Z₀＝118,22。

2-2)根据CIELAB空间中b^*通道灰度直方图的双峰性质，设定灰度图双峰间的波谷为阈值th1，th1取值范围为[5,10]，取th1＝10，将f(x,y,t)中像素灰度值小于th1的图像记为T1(x,y,t)，然后根据a^*通道阴影减弱和灰度分布单峰性，设立灰度图最左边的波谷为阈值th2，th2取值范围为[0.05,3]，取th2＝3，将f(x,y,t)中像素灰度值小于th2的图像记为T2(x,y,t)，将T1(x,y,t)和T2(x,y,t)相与得到f(x,y,t)中的阴影区域图像；与运算的结果为AND(x,y,t)，与运算的数学表达式为：

步骤3：采用颜色恒常算法分别估计阴影区域图像n(x₁,y₁,t)和非阴影区域图像b(x₂,y₂,t)的光照颜色，计算将n(x₁,y₁,t)中像素点变换到非阴影区光照效果下的颜色校正增益，然后通过颜色校正增益将阴影区域的图像颜色校正到无阴影的效果，具体步骤如下：

3-1)对n(x₁,y₁,t)和b(x₂,y₂,t)分别进行颜色恒常计算，估计出n(x₁,y₁,t)的光照颜色e₁和b(x₂,y₂,t)的光照颜色e₂：

$e_1=k{\left(\frac{\int \int {\left(n_{\sigma }(x_1,y_1,t)\right)}^p\mathrm{dxdy}}{\int \int \mathrm{dxdy}}\right)}^{1/p}=k_1{\left(\frac{\mathrm{\Sigma \Sigma }{\left(n_{\sigma }(x_1,y_1,t)\right)}^p}{\mathrm{sum}\left(n\right)}\right)}^{1/p}---\left(4\right)$

$e_2=k{\left(\frac{\int \int {\left(b_{\sigma }(x_2,y_2,t)\right)}^p\mathrm{dxdy}}{\int \int \mathrm{dxdy}}\right)}^{1/p}=k_2{\left(\frac{\mathrm{\Sigma \Sigma }{\left(b_{\sigma }(x_2,y_2,t)\right)}^p}{\mathrm{sum}\left(b\right)}\right)}^{1/p}---\left(5\right)$

公式(4)和(5)中，e₁和e₂是由RGB三个颜色通道组合成的光照颜色，sum(n)和sum(b)分别为n(x₁,y₁,t)和b(x₂,y₂,t)的像素点总数，k₁和k₂分别为n(x₁,y₁,t)和b(x₂,y₂,t)的颜色校正增益，由RGB三个颜色通道组成；颜色校正增益的计算公式如下：

$\left(\begin{array}{c}{k}_{i,R}=\frac{1}{\mathrm{Max}\left(R(x_i,y_i)\right)}\\ k_{i,G}=\frac{1}{\mathrm{Max}\left(G(x_i,y_i)\right)}\\ k_{i,B}=\frac{1}{\mathrm{Max}\left(B(x_i,y_i)\right)}\end{array}\right),i=\mathrm{1,2}---\left(6\right)$

其中，当i＝1时表示n(x₁,y₁,t)的颜色校正增益；i＝2时表示b(x₂,y₂,t)的颜色校正增益。

3-2)将n(x₁,y₁,t)变换到标准光照下的图像记作变换到标准光照下的图像记作变换公式如下：

$\hat{n}(x_1,y_{1}t,)=n(x_1,y_1,t)·{\left(e_1\right)}^{-1}---\left(7\right)$

$\hat{b}(x_2,y_{2}t,)=b(x_2,y_2,t)·{\left(e_2\right)}^{-1}---\left(8\right)$

由于标准光照是国际照明委员会规定的统一光照，因此图像和的场景光照是一样的，令n(x₁,y₁,t)变换到非阴影区光照e₂下之后的图像为按照公式(7)、(8)将n(x₁,y₁,t)和统一变换到标准光照下，则有

$n(x_1,y_1,t)·{\left(e_1\right)}^{-1}=\tilde{n}(x_1,y_1,t)·{\left(e_2\right)}^{-1}---\left(9\right)$

3-3)根据公式(9)，得到去除阴影后的图像

$\tilde{n}(x_1,y_1,t)=n(x_1,y_1,t)·{\left(e_1\right)}^{-1}·\left(e_2\right)---\left(10\right)$

步骤4：手动选取跟踪目标，将跟踪目标按照运动形变大小划分为8个子块，8个子块从上到下、从左到右依次编号，第一排3个子块，第二排3个子块，第三排2个子块，坐标原点(0,0)设置在矩形框0.5倍宽度与起始高度(位于跟踪目标的外接矩形框顶部)的交汇处，分块结果以y＝0轴左右对称。

步骤5：假设跟踪目标在前一帧t₁无遮挡，在当前帧t₂，以前一帧t₁的跟踪目标位置为中心，找出使第5子块的汉明距离取最小值的n个候选窗口，分别计算上述候选窗口的总汉明距离，找出使总汉明距离取最小值的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，若至少有5个子块的颜色自相似性相匹配，则用该候选窗口更新t₂的跟踪目标；否则，找到使总汉明距离取值第二小的候选窗口，计算其与跟踪目标各个对应子块的颜色自相似性，以此类推，直到找到符合条件的候选窗口，并用此候选窗口更新t₂的跟踪目标。具体步骤如下：

5-1)在当前帧t₂，以t₁跟踪目标位置为中心，扫描窗口大小为width*height，其中width表示跟踪目标外接矩形框的宽度，height表示跟踪目标外接矩形框的高度，取width＝17，height＝48，在大小为3width*3height的区域内进行滑动扫描，计算所有扫描窗口中第5子块的哈希编码，找出使其与跟踪目标间汉明距离取最小值的n个扫描窗口，即为候选窗口，依次记为H₁，H₂，…,H_n，其中H₁为 使第5子块汉明距离取最小值的候选窗口，H_n为使第5子块汉明距离取最大值的候选窗口，且满足H_n-H₁≤th3，取th3＝10；优先匹配第5子块的原因是跟踪目标在相邻帧间的相对运动距离较小，因此跟踪目标区域也是逐帧慢慢被遮挡或消失的，即不可能从上一帧完全可见到下一帧完全消失，由于第5子块位于跟踪目标的中心，因此假设第5子块在t₂没有被遮挡，或者只是被遮挡一小部分，不影响扫描窗口与跟踪目标中第5子块的匹配结果；分块感知哈希编码与汉明距离的计算步骤如下：

5-1-1)对跟踪目标的8个子块赋予不同的权重w(k)，其中(k)表示第k个子块，w(k)定义如下：

$w\left(k\right)=\left(\begin{array}{cc}0.11,& k=\mathrm{1,3}\\ 0.56,& k=\mathrm{2,5}\\ 0.33,& k=\mathrm{4,6,7,8}\end{array}\right)---\left(11\right)$

5-1-2)将各个子块转换成灰度图像，并缩小至大小为32*32的正方形区域以简化离散余弦变换(DCT)，若某个子块的长度或宽度小于32个像素，则以长度和宽度中的较小值为压缩尺寸进行压缩，然后对压缩后的正方形块进行DCT变换：

$F(0,0)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\Sigma }}\underset{y=0}{\overset{N-1}{\Sigma }}f(x,y,t),u,v=0---\left(12\right)$

$\underset{i=0}{\overset{N-1}{\Sigma }}F(u,v)=\frac{2}{N}\underset{j=0}{\overset{N-1}{\Sigma }}f(x,y,t)\cos \left[\frac{(2x+1)\mathrm{u\pi }}{2N}\right]\cos \left[\frac{(2y+1)\mathrm{v\pi }}{2N}\right],u,v=\mathrm{1,2},...,N-1---\left(13\right)$

其中，u,v表示变换域中的频率分量，F(0,0)表示变换域中的低频成分，F(u,v)表示变换域的高频成分，N表示跟踪目标块的尺寸；经过DCT变换得到的变换系数矩阵左上角为低频系数，由于低频信息描述图像的大部分信息，因此只保留左上角8*8的矩阵。

5-1-3)对8*8的DCT矩阵进行哈希编码：

$\mathrm{Hash}(i,k)=\left(\begin{array}{c}1,G(i,k)>{\mathrm{mean}}_k\\ 0,G(i,k)\le {\mathrm{mean}}_k\end{array}\right),1\le i\le \mathrm{64,1}\le k\le 8---\left(14\right)$

其中，Hash(i,k)为第k个子块中的第i个编码，G(i,k)是第k个子块的DCT矩阵中第i个元素的值，mean_k为第k个子块的DCT矩阵的均值。

5-1-4)记跟踪目标的第k个子块的第i个编码值为Hash₀(i,k)，扫描窗口的第k个子块的第i个编码值为Hash₁(i,k)，则跟踪目标与扫描窗口的第k个子块间的汉明距离dis(k)为：

$\mathrm{dis}\left(k\right)=\underset{i=1}{\overset{64}{\Sigma }}({\mathrm{Hash}}_0(i,k)\oplus {\mathrm{Hash}}_1(i,k)),1\le k\le 8---\left(15\right)$

5-2)依次比较H₁,H₂，…,H_n的总汉明距离，找出使总汉明距离取最小值的候选窗口，上述候选窗口是t₂中跟踪目标最有可能位于的位置，记为W₁，并判断W₁与跟踪目标中具有相同编号的子块是否匹配；定义H₁，H₂，…,H_n的总汉明距离分别为D₁,D₂,…,D_n，归一化汉明距离因子NDis_m(k)，其中(k)表示第k个子块，NDis_m(k)和D₁,D₂,…,D_n的定义公式如下：

${\mathrm{NDis}}_m\left(k\right)=\frac{{\mathrm{dis}}_m\left(k\right)}{\underset{m=1}{\overset{n}{\Sigma }}{\mathrm{dis}}_m\left(k\right)},1\le m\le n---\left(16\right)$

$D_m=\underset{k=1}{\overset{8}{\Sigma }}{\mathrm{NDis}}_m\left(k\right)*w\left(k\right),1\le m\le n---\left(17\right)$

定义dis_m(k)为第m个候选窗口的第k个子块的汉明距离，则W₁与跟踪目标中具有相同编号子块的哈希编码的匹配公式为：

$\left(\begin{array}{c}\mathrm{if}{\mathrm{dis}}_m\left(k\right)<\left(\begin{array}{cc}{\mathrm{TM}}_1,& k=2\\ {\mathrm{TM}}_2,& k=\mathrm{4,6,7,8},\mathrm{then}{\mathrm{match}}_m\left(k\right)=1\\ {\mathrm{TM}}_3,& k=\mathrm{1,3}\end{array}\right)\\ \mathrm{elsemat}{\mathrm{ch}}_m\left(k\right)=0\end{array}\right)---\left(18\right)$

其中，1≤m≤n，TM₁,TM₂,TM₃均为阈值参数，TM₁的取值范围为[10,20]，取TM₁＝15，TM₂的取值范围为[25,35]，取TM₂＝30，TM₃的取值范围为[45,55]，取TM₃＝50，match_m(k)表示该子块与跟踪目标是否匹配，match_m(k)＝1表示匹配；match_m(k)＝0表示不匹配。

5-3)找出W₁中使match(k)＝1的所有子块，计算这些子块与跟踪目标中对应子块的颜色自相似性，根据颜色自相似性判断子块对是否匹配，若至少有5个子块对相匹配，说明W₁是t₂时跟踪目标的位置，并用使match(k)＝1的子块更新跟踪目标的位置与外接矩形框的尺寸；否则，找到D₁,D₂,…,D_n中取值第二小的候选窗口，记作W₂，计算其与跟踪目标各个对应子块的颜色自相似性，以此类推，直到找到符合条件的候选窗口，记作W_n，并用W_n中使match(k)＝1的子块更新t₂中的跟踪目标；W_n和跟踪目标中具有相同编号子块的颜色自相似性的计算步骤如下：

5-3-1)计算跟踪目标与W_n中各个子块的颜色直方图：将RGB颜色空间量化至16*16*16的量化级，通过计算子块中像素点的颜色落在每个量化区间内的数量得到颜色直方图，记跟踪目标与W_n中各个子块的颜色直方图分别为C_t1(k)和C_t2(k)，归一化的颜色直方图计算公式如下：

$C_{\mathrm{tm}}\left(k\right)=\frac{N(r,g,b)}{N_0\left(k\right)},1\le k\le 8,m=\mathrm{1,2}---\left(19\right)$

其中，N₀(k)是第k个子块的总像素数，N(r,g,b)表示子块中具有颜色(R＝r,G＝g,B＝b)的个数，m＝1表示跟踪目标的颜色直方图；m＝2表示W_n的颜色直方图。

5-3-2)采用巴氏距离判断跟踪目标与W₁中各个对应子块的颜色直方图的相似性，C_t1(k)和C_t2(k)的巴氏距离为：

其中，M表示颜色直方图的量化级数，此处为16，ρ(C_t1(k),C_t2(k))越小，两个子块的颜色直方图越相似；设定三个阈值参数T₁,T₂,T₃，取值范围均为[0,1]，且T₁<T₂<T₃，取T₁＝0.15,T₂＝0.33,T₃＝0.60，根据如下公式判断跟踪目标与W_n中的对应子块是否相似：

$\left(\begin{array}{c}\mathrm{if\rho }(C_{t1}\left(k\right),C_{t2}\left(k\right))<\left(\begin{array}{cc}{T}_1,& k=\mathrm{2,5}\\ T_2,& k=4,6,\mathrm{7,8},\mathrm{thens}\left(k\right)=1\\ T_3,& k=1,3\end{array}\right)\\ \mathrm{elses}\left(k\right)=0\end{array}\right)---\left(21\right)$

其中，s(k)为相似性参数，s(k)＝1表示跟踪目标与W_n中的对应子块相似；s(k)＝0表示不相似。

步骤6：在当前帧t₂，若更新后的跟踪目标外接矩形框变小，说明跟踪目标在t₂被部分遮挡，在下一帧t₃，根据跟踪目标在t₂被遮挡的情况以及t₃中是否找到匹配的跟踪目标选取不同的跟踪方式；若更新后的跟踪目标外接矩形框没有变小，说明跟踪目标在t₂没有被遮挡，返回步骤5。根据跟踪目标在t₂被遮挡的情况以及t₃中是否找到匹配的跟踪目标选取不同的跟踪方式，跟踪方式具体分为以下六种情况：

①若跟踪目标的左半部分在t₂被遮挡，即当k＝1,4,7时，至少有两个使match(k)＝0，在t₃中第2子块、第5子块或第2子块和第5子块被遮挡，因此在t₃以t₂中的跟踪目标为中心，在其周围区域进行窗口扫描时，采用第3子块、第6子块和第8子块组合成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_r,m，下标m表示当前的扫描窗口为第m个，D_r,m的计算公式如下：

$D_{r,m}=\underset{k=\mathrm{3,6,8}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(22\right)$

找到使D_r,m取值最小的扫描窗口，且该扫描窗口中的第3子块、第6子块和第8子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

②若跟踪目标的右半部分在t₂被遮挡，即当k＝3,6,8时，至少有两个使match(k)＝0，在t₃中第2子块、第5子块或第2子块和第5子块被遮挡，因此在t₃以t₂中的跟踪目标为中心，在其周围区域进行窗口扫描时，采用第1子块、第4子块和第7子块组成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_l,m，D_l,m的计算公式为：

$D_{l,m}=\underset{k=\mathrm{1,4,7}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(23\right)$

找到使D_l,m取值最小的扫描窗口，且该扫描窗口中的第1子块、第4子块和第7子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

③若跟踪目标的上半部分在t₂被遮挡，即当k＝1,2,3时，其中至少有两个使match(k)＝0，在t₃中第4子块、第5子块或第6子块可能被遮挡，因此在t₃以t₂中的跟踪目标为中心，在其周围区域进行窗口扫描时，采用第7子块和第8子块组成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_d,m，D_d,m的计算公式为：

$D_{d,m}=\underset{k=\mathrm{7,8}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(24\right)$

找到使D_d,m取值最小的扫描窗口，且该扫描窗口中的第7子块和第8子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

④若跟踪目标的下半部分在t₂被遮挡，即当k＝7,8时，其中至少有两个使match(k)＝0，在t₃中第4子块、第5子块或第6子块可能被遮挡，因此在t₃以t₂中的跟踪目标为中心，在其周围区域进行窗口扫描时，采用第1子块、第2子块和第3子块组成的总汉明距离与跟踪目标进行匹配，记此时的总汉明距离为D_a,m，D_a,m的计算公式为：

$D_{a,m}=\underset{k=\mathrm{1,2,3}}{\Sigma }{\mathrm{NDis}}_m\left(k\right)*w\left(k\right)---\left(25\right)$

找到使D_a,m取值最小的扫描窗口，且该扫描窗口中的第1子块、第2子块和第3子块中至少要有两个使match(k)＝1，之后，计算该扫描窗口中使match(k)＝1的所有子块与跟踪目标中对应子块的颜色自相似性，按照步骤5-3)，找到符合条件的最佳候选窗口，并用此候选窗口中使match(k)＝1的子块更新t₃中的跟踪目标。

⑤若①～④没有找到满足条件的扫描窗口，且跟踪目标在t₂的外接矩形框的某一条边距离视场边界不大于5个像素，说明跟踪目标在t₃运动出摄像机视场，在之后的视频帧中，继续以t₂中的跟踪目标为中心进行窗口扫描，若跟踪目标的某一部分在t₂被遮挡，则采用与上述子块位置对称的子块组成的总汉明距离和颜色自相似性与跟踪目标进行匹配；定义变量num表示跟踪目标消失的帧数，若num大于阈值time，说明跟踪目标永远消失；否则，返回步骤5，重新对跟踪目标进行分块感知哈希跟踪；time的取值范围为[200,220]，取time＝200。

⑥若①～④没有找到满足条件的扫描窗口，且跟踪目标在t₂的外接矩形框的所有边距离跟踪目标边界均大于5个像素，说明跟踪目标在t₃被完全遮挡，在下 一帧t₄，用跟踪目标未被遮挡，即t₁中的外接矩形框作为扫描窗口的尺寸，在t₂的跟踪目标中心点的周围区域进行滑动扫描，计算扫描窗口与t₁的跟踪目标中各个子块的匹配度match_m(k)，若match_m(k)＝1，说明第m个扫描窗口的第k个子块与跟踪目标的第k个子块相匹配，然后找出使match_m(k)＝1的所有扫描窗口及其包含的子块，并计算上述扫描窗口的总汉明距离和颜色自相似性，得到最佳扫描窗口，用该窗口中使match(k)＝1的子块更新跟踪目标；若t₄中的所有扫描窗口子块的match_m(k)都等于0，则在下一帧t₅中继续以t₁的跟踪目标外接矩形框作为扫描窗口的尺寸，在t₂的跟踪目标中心点周围进行滑动扫描，重复上述扫描步骤，直至找到与跟踪目标相匹配的扫描窗口，并用该扫描窗口更新当前帧的跟踪目标。

结合图3，输入视频图像序列f(x,y,t)，从图3可知，一种带有阴影去除的分块感知哈希跟踪方法能够准确地跟踪感兴趣的跟踪目标，具有很好的跟踪效果。它是根据人体不同部位运动范围与形变程度的不同，将人体分成8块，并对不同的块赋予不同的权值，得到加权的分块感知哈希编码，具有鲁棒性强、特征向量简单和计算复杂度低的优点；另外该方法采用颜色恒常算法和Von Kries色系数定律将阴影区像素点恢复至无阴影效果，克服了跟踪目标在阴影区与非阴影区之间运动时，一般跟踪算法因光照突变难以跟踪目标的问题；同时本发明将基于分块的感知哈希编码与颜色自相似性相结合来对相邻帧的跟踪目标进行匹配，可以将细节变化对全局结果的影响限制在局部，即使人体部分旋转和遮挡，也能有效识别出相同跟踪目标和不同跟踪目标。