基于最大位平均熵的SIFT描述子二值化及相似度匹配方法

摘要

基于最大位平均熵的SIFT描述子二值化及相似度匹配方法涉及图像匹配领域。SIFT算子匹配能力较强，但是SIFT算子带来的数据量是巨大的。所以要对SIFT算子进行二值化，如果对所有算子进行统一二值化，势必也会导致存在数据冗余或者信息丢失。本发明通过对SIFT算子进行二值化，然后对各层二值化结果进行位平均熵的计算，来自适应的选择不同的二值化层数，提取出新的二值化描述子，然后用汉明距离代替欧式距离计算两个描述子之间的距离，将其跟设定阈值进行比较。本发明保留了原始特征的信息并大大减少了数据存储量，降低了计算的复杂度，可更好实现实时性的要求。并且可以取得等同于原始SIFT描述子的匹配结果，远优于统一二值化进行匹配的结果。

说明书

技术领域

本发明涉及图像匹配技术领域，具体涉及一种基于最大位平均熵的SIFT 描述子二值化方法及其相似度匹配方案。

背景技术

随着现代计算机技术的发展，人脸识别技术在安全认证、人机交流、公 安系统等方面得到了广泛的使用，并且在视频会议、档案管理、医学医疗等 方面也发挥着很大的作用。在美国911恐怖袭击事件以及网络CSDN用户信 息遭泄露事件发生之后，生物特征识别技术更加受到大家关注，而人脸生物 特征的识别一直是生物特征识别领域研究的热点，人脸识别在可控的情况下 可以获得很好的识别性能，但在实际应用中，人脸识别往往受到很多因素影 响，当人脸姿态发生变化，表情发生变化，外界光照发生变化，人脸存在遮 挡（戴围巾，墨镜）等情况时，人脸识别的性能将会下降很多，这就制约了 人脸识别在实际中的应用。因此，很多的研究学者致力于人脸识别方法的研 究，各种人脸识别方法层出不穷。

SIFT（Scale-Invariant Feature Transform）特征匹配算法是目前国内外 特征点匹配算法研究的热点与难点，它是在1999年由加拿大的David G. Lowe提出初步思想的局部特征描述子，并于2004年在原基础上进行了更深 入的发展并加以完善。SIFT描述子是一种图像的局部描述子，具有尺度、旋 转、平移的不变性，而且对光照变化、仿射变换和3维投影变换具有一定的 鲁棒性。在Mikolajczyk对包括SIFT描述子在内的十种局部描述子所做的不 变性对比实验中，SIFT及其扩展算法已被证实在同类描述子中具有最强的健 壮性。SIFT描述子匹配能力较强，对大多数图像变换具备很强的不变性，特 别适合于处理两幅图像间发生平移、旋转、仿射变换时的匹配问题，其稳定 的特征匹配能力甚至可对任意角度拍摄的图像应用。SIFT特征还具有很好的 独特性，适于在海量特征数据库中进行比较快速、准确的匹配。但是，用SIFT 来表示人脸图像的数据量是很巨大的。一般一幅人脸图像有3000个SIFT点， 每个SIFT由128个描述子构成，每个描述子由8比特表示，总的数据量为 3072000比特。Wang等人提出了二值化SIFT描述子的思想。本发明是在对 SIFT描述子进行二值化的时候，以最大位平均熵为准则来确定二值化的层 数，形成新的二值化描述子，然后用汉明距离代替欧式距离计算两个描述子 之间的距离，将其跟设定阈值进行比较，最终得到匹配结果。这样极大的减 少了数据量，降低了计算的复杂度，可以更好实现实时性的要求。并且二值 化后的描述子在进行匹配运算时可以得到原始SIFT描述子基本一致的匹配 结果，远远优于将SIFT描述子进行统一二值化进行匹配的结果。本发明提 出了一种基于最大位平均熵的SIFT描述子二值化方法及相似度匹配方案。

发明内容

本发明提供了一种基于最大位平均熵准则的SIFT描述子二值化方法及 相似度匹配方案，该方法可以利用位平均熵最大来有效的确定二值化进行的 层数，形成新的二值化描述子，然后用汉明距离代替欧式距离计算两个描述 子之间的距离，将其跟设定阈值进行比较，最终得到匹配结果。可以保留大 量原始SIFT描述子信息，在很大程度上减少数据量，降低了计算的复杂度， 可以更好实现实时性的要求。并且可以保证匹配结果和使用原始SIFT描述 子得到的匹配结果基本一致，远远优于将SIFT描述子进行统一二值化进行 匹配的结果。

对SIFT描述子进行二值化，如果仅仅进行一层二值化，那么会丢失很 多信息，保留原特征的信息量会很少。在进行多层二值化时，包含四种二值 化策略：(1)在做完第一层二值化之后，得到0和1，然后一直对0部分进行 二值化。(2)在做完第一层二值化之后，得到0和1，选择0部分进行二值化 得到0和1，然后一直对1部分进行二值化。(3)在做完第一层二值化之后， 得到0和1，选择1部分进行二值化得到0和1，然后一直对0部分进行二值 化。(4)在做完第一层二值化之后，得到0和1，然后一直对1部分进行二值 化。因为SIFT描述子中包含很多个0，对于每一层二值化结果，一直对1进 行二值化的策略信息熵总是最大的，所以采取第四种策略进行多层二值化。 熵可以用来度量信息量的大小。SIFT描述子进行二值化层数增加，信息熵会 随之增大。但是，与之相随的是数据量的大大增加。而且，如果对提取的所 有SIFT描述子进行统一层数的二值化，那么会包含下面两种情况：(1)本身 不需要二值化进行到指定层数，位平均熵已经达到最大。比如做两层二值化 后的位平均熵是最大的，则只需要保留两层的结果。如果做三层或更多层， 会增大数据冗余，冗余的数据可能会引起匹配的错误；(2)在做完指定层数的 二值化后，位平均熵还未达到最大，这样会导致二值化后的描述子不能充分 的保留原始SIFT描述子携带的信息，会导致误匹配度的增加。但是，从数 据量上来考虑，最多保留四层二值化结果。本发明提出了基于最大位平均熵 的二值化SIFT描述子方法及相似度匹配方案，通过对每一个描述子进行位 平均熵的计算，来自适应的选择不同的二值化层数，形成新的二值化描述子， 然后用汉明距离代替欧式距离计算两个描述子之间的距离，将其跟设定阈值 进行比较，最终得到匹配结果。本发明提出的算法在很大程度上保留了原始 特征的信息并大大减少了数据存储量，降低了计算的复杂度，可以更好实现 实时性的要求。并且可以取得等同于原始SIFT描述子的匹配结果，远远优 于将SIFT描述子进行统一二值化进行匹配的结果。因此，本发明具有一定 的应用价值和意义。

为了实现上述问题，本发明提出了一种基于最大位平均熵的SIFT描述 子二值化的方法及相似度匹配方案，该方法具体包括：

A、二值化阶段，对于每一幅人脸图像，首先提取SIFT特征描述子，然 后对SIFT描述子进行多层二值化，求得各个层次的信息熵，根据各层0和1 出现的概率和保留的总比特数，求得位平均熵，然后找出最大位平均熵对应 的二值化层数，保留这几层二值化结果，形成新的二值化特征描述子。

B、匹配阶段，对于任意两幅人脸图像，分别提取其新的二值化特征描 述子之后，然后用汉明距离代替欧式距离计算两个描述子之间的距离，将其 跟设定阈值进行比较，如果汉明距离小于等于设定阈值，则认为匹配成功； 否则，则认为匹配不成功。对于提取的不同层次的二值化特征描述子，需要 选择不同的阈值。

所述步骤A具体包括：

A1、对于每一幅人脸图像，首先提取SIFT特征描述子；

A2、对于每一幅人脸图像的每一个SIFT描述子进行二值化；

A3、统计0和1的个数，分别为n₁₀和n₁₁；

A4、标记为1的那些字节对应的描述子，继续进行二值化，统计此时0 和1的个数，分别为n₂₀和n₂₁，继续进行上述二值化过程，依次得到n₃₀和n₃₁， n₄₀和n₄₁

A5、分别计算做一层、二层、三层、四层二值化的信息熵；

A6、根据二值化后保留的总比特数，位平均熵可以由信息熵除以比特数 得到；

A7、求得最大位平均熵所对应的层数，保留对应层数的二值化结果，形 成新的二值化描述子。

所述步骤B具体包括：

B1、对于任意两幅人脸图像，提取其新的二值化描述子；

B2、对于每两个描述子，计算其汉明距离dis_H；

B3、提取不同层次的二值化描述子，选择的阈值T也不相同，做一层、 二层、三层和四层二值化的阈值分别为：T₁，T₂，T₃，T₄

B4、如果dis_H小于等于阈值，则认为匹配成功；否则，认为匹配不成功。 本发明与现有技术相比，具有以下明显的优势和有益效果：

（1）本发明对SIFT描述子进行二值化，是根据最大位平均熵原则来自适 应的根据每一个描述子来确定二值化层数，与进行统一二值化相比，不仅减 少了数据冗余，而且在很大程度上保留原始SIFT描述子携带的信息。

（2）本发明自适应得到新的二值化描述子，通过汉明距离来进行匹配，计 算简单快捷，复杂度降低，可以更好的满足实时性的要求。

（3）本发明通过最大位平均熵得到的二值化SIFT描述子来进行匹配，经 实验分析，匹配结果等同于原始SIFT描述子的匹配结果，远远优于将SIFT 描述子进行统一二值化进行匹配得到的结果。

附图说明：

图1是技术方案的整体流程图。

图2（a）是二值化策略1（左左）

图2（b）是二值化策略1（左右）

图2（c）是二值化策略1（右左）

图2（d）是二值化策略1（右右）

图3是相似度匹配结果比较图。

具体实施方式：

本发明技术方案的整体流程如说明书附图1所示。我们的方法大大减少 了数据存储量，降低了计算的复杂度，可以更好实现实时性的要求。并且可 以取得等同于原始SIFT描述子的匹配结果，远远优于将SIFT描述子进行统 一二值化进行匹配的结果。

A、对于每一幅人脸图像，首先提取SIFT特征描述子，然后对SIFT描 述子进行二值化，求得各个层次的信息熵，根据各层0和1出现的概率和保 留的总比特数，求得位平均熵，然后找出最大位平均熵对应的二值化层数， 保留这几层二值化结果，最终形成新的二值化描述子。具体步骤包括：

A1、对于每一幅人脸图像，首先提取SIFT特征描述子

D=(f₁,f₂,…,f₁₂₈)^T∈R¹²⁸

A2、对于每一幅人脸图像的每一个SIFT描述子进行二值化

$b_j=\left(\begin{array}{cc}1& f_j>\tilde{f}\\ 0& f_j\le \tilde{f}\end{array}\right)$(j=1,2,…,128)为向量D的中值

A3、统计0和1的个数，分别为n₁₀和n₁₁；

A4、标记为1的那些字节对应的描述子，继续进行二值化，统计此时0 和1的个数，分别为n₂₀和n₂₁，继续进行上述二值化过程，依次得到n₃₀和n₃₁， n₄₀和n₄₁

A5、计算做各层二值化后的信息熵

做一层二值化的信息熵为：

H₁=-P(n₁₀)log₂P(n₁₀)-P(n₁₁)log₂P(n₁₁)

做二层二值化的信息熵为：

$H_2=-\underset{i=1}{\overset{2}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{21}\right){\log }_{2}P\left(n_{21}\right)$

做三层二值化的信息熵为：

$H_3=-\underset{i=1}{\overset{3}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{31}\right){\log }_{2}P\left(n_{31}\right)$

做四层二值化的信息熵为：

$H_4=-\underset{i=1}{\overset{4}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{41}\right){\log }_{2}P\left(n_{41}\right)$

A6、计算经过各层二值化后保留的比特数

做一层二值化后保留的总字节数为：

N₁=n₁₀+n₁₁

做二层二值化后保留的总字节数为：

$N_2=\underset{i=1}{\overset{2}{\Sigma }}{n}_{i0}+n_{21}$

做三层二值化后保留的总字节数为：

$N_3=\underset{i=1}{\overset{3}{\Sigma }}{n}_{i0}+n_{31}$

做四层二值化后保留的总字节数为：

$N_4=\underset{i=1}{\overset{4}{\Sigma }}{n}_{i0}+n_{41}$

A7、位平均熵可以由信息熵除以位数得到

做一层二值化后的位平均熵为：

${\bar{H}}_1=H_1/N_1=[-P\left(n_{10}\right){\log }_{2}P\left(n_{10}\right)-P\left(n_{11}\right){\log }_{2}P\left(n_{11}\right)]/(n_{10}+n_{11})$

做二层二值化后的位平均熵为：

${\bar{H}}_2=H_2/N_2=-\underset{i=1}{\overset{2}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{21}\right){\log }_{2}P\left(n_{21}\right)/(\underset{i=1}{\overset{2}{\Sigma }}{n}_{i0}+n_{21})$

做三层二值化后的位平均熵为：

${\bar{H}}_3=H_3/N_3=-\underset{i=1}{\overset{3}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{31}\right){\log }_{2}P\left(n_{31}\right)/(\underset{i=1}{\overset{3}{\Sigma }}{n}_{i0}+n_{31})$

做四层二值化后的位平均熵为：

${\bar{H}}_4=H_4/N_4=-\underset{i=1}{\overset{4}{\Sigma }}P\left(n_{i0}\right){\log }_{2}P\left(n_{i0}\right)-P\left(n_{41}\right){\log }_{2}P\left(n_{41}\right)/(\underset{i=1}{\overset{4}{\Sigma }}{n}_{i0}+n_{41})$

A8、求得最大位平均熵所对应的层数，保留对应层数的二值化结果，形 成新的二值化描述子。

B、匹配阶段，对于任意两幅人脸图像，分别提取其新的二值化特征描 述子之后，然后用汉明距离代替欧式距离计算两个描述子之间的距离，将其 跟设定阈值进行比较，如果汉明距离小于等于设定阈值，则认为匹配成功； 否则，则认为匹配不成功。对于提取的不同层次的二值化特征描述子，需要 选择不同的阈值。具体步骤包括：

B1、对于任意两幅人脸图像，提取其新的二值化描述子；

B2、对于每两个描述子x=[b₁₁,b₁₂,b₁₃,…]和y=[b₂₁,b₂₂,b₂₃,…]，计算其汉 明距离

${\mathrm{dis}}_H(x,y)=x\oplus y$

B3、将得到的汉明距离和阈值进行比较，对于不同层次的二值化描述子， 选择的阈值也不相同，设定i层二值化的阈值为T_i（i=1,2,3,4,T₁=17；T₂=28； T₃=34；T₄=39）

$\mathrm{SGN}\left({\mathrm{dis}}_H\right)=\left(\begin{array}{c}1,{\mathrm{dis}}_H\le T_i\\ 0,{\mathrm{dis}}_H>T_i\end{array}\right)$

B4、如果SGN(Dis_H)=1，则认为匹配成功；否则，认为匹配不成功。

匹配结果如说明书附图3中所示，(a)是原始SIFT描述子的匹配结果， 匹配个数为1242；(b)是统一二值化后的匹配结果，产生了很多错误的匹配。 (c)是本发明方法的匹配结果，匹配个数为1161。本发明方法的匹配结果等同 于原始SIFT描述子的匹配结果，远远优于将SIFT描述子进行统一二值化进 行匹配得到的结果。