基于JPEG图像交流系数直方图的密文域图像检索方法

摘要

本发明公开了一种基于JPEG图像交流系数直方图的密文域图像检索方法。本方法包括图像内容所有者加密过程、授权用户查询图像过程和检索服务提供者检索密文图像过程，图1是本发明的总流程框图。图像内容所有者加密JPEG图像的DCT系数位流，并对位流重构生成密文文件，随后提交给检索服务提供者；授权用户提交待查询密文图像进行检索，并解密和恢复返回的密文图像；检索服务提供者通过逐一计算待查询图像与密文图像数据库里所有图像的交流系数直方图间距离，返回与待查询图像直方图最相近的图像给授权用户。该方法在保护图像数据隐私的同时，实现了密文图像检索；且降低了计算、通信开销和文件存储空间，同时兼顾密文图像的颜色信息安全。

说明书

技术领域

本发明涉及一种基于JPEG图像交流系数直方图的密文域图像检索方法，利用数字信号处理和加密技术调整JPEG图像位流结构以便在密文域中进行图像检索。

背景技术

随着云计算时代的到来，用户可以随时随地把本地错综复杂的数据管理系统（比如：电子邮件、个人医疗记录、金融交易等管理系统）外包给云端的服务提供商进行存储和管理，但对于数据存储在哪里、如何处理，用户是不知情的，由此引发用户对数据隐私的担忧，势必要求先对数据加密后再提交给服务提供商进行相关处理，以防隐私数据被泄露。以上这种既要保护数据隐私又要保证数据正常处理的需求对于基于明文的传统信息检索服务来说是一个重大的挑战。在密文信息检索系统中，加密后的文本数据或多媒体数据构成密文文件数据库存储于服务器，检索用户向服务器提交密文关键字、密文特征或密文数据，服务器返回符合检索要求的密文文件。密文检索可以在不泄露明文信息的条件下借助外部存储资源和计算资源实现文件的存储与检索，是安全云存储的重要基础。目前在密文域信息检索这相对新兴的研究领域中已涌现出大量的成果，主要有两部分的工作：密文域的关键字文档检索和密文域的图像检索。密文域的信息检索大部分工作集中在前者，而关于密文域的图像检索技术研究报道相对比较少。

现有的密文域的图像检索方法主要有三种，第一种密文图像检索的方法是：利用文本检索技术的词袋模型表示图像特征描述，联合保序加密和最小哈希函数实现安全索引，既保护词汇特征向量隐私又支持检索结果排序；第二种密文图像检索的方法是：对原始图像特征进行随机化处理如：位层随机化、随机投影或随机一元编码的处理，使得距离相近的特征在随机化处理后依然距离较近，并利用此性质实现不泄露内容条件下的图像检索；第三种密文图像检索的方法是：利用图像加密前后离散余弦变换相同频率的系数直方图不变性以便实现密文域的图像检索。可参阅如下文献：

[1] W. Lu, A. Swaminathan, A. L. Varna, and M. Wu, Enabling search over encrypted multimedia databases, In Proceedings of SPIE, vol. 7254, Conf. on Media Forensics and Security, January 2009.

[2] W. Lu, A. L. Varna, A. Swaminathan, and M. Wu, Secure image retrieval through feature protection, IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2009, 1533-1536, 2009.

[3] X. Zhang, H. Cheng, Histogram-based Retrieval for Encrypted JPEG Images, Signal and Information Processing (ChinaSIP), 2014 IEEE China Summit & International Conference on. IEEE, 2014.

然而，上述第一、二种方法中，图像特征提取、特征加密、图像加密要各自分开进行处理，且加密后的特征和图像同时要存储在服务器，这样会增加计算复杂度以及通信和存储开销；上述第三种方法中，虽然图像特征不需要额外提取和加密，但JPEG图像相同频率系数值置乱加密打乱了原有图像的JPEG压缩编码的连续性，造成JPEG图像文件增大和颜色信息泄露。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供了一种基于JPEG图像交流系数直方图的密文域图像检索方法，该方法基于JPEG图像压缩编码的位流结构，结合流密码异或加密方法和置乱加密方法，获得密文JPEG图像。利用JPEG图像加密前后的交流系数直方图不变性，实现密文图像检索，在不增加密文图像文件大小同时兼顾密文图像的颜色信息安全。

为了达到上述目的，本发明的构思是：本发明分为三部分，一是图像内容所有者加密过程；二是授权用户查询图像过程；三是检索服务提供者检索密文图像过程：

本发明采用的图像格式是JPEG格式，JPEG是联合图像专家组(Joint Picture Expert Group)的英文缩写，是一种静态图像的压缩编码标准。由于JPEG图像高压缩比，使其在多媒体和万维网上得到广泛使用，因此在JPEG格式的图像上进行检索有着重要的实际意义和应用价值。

根据上述发明构思，本发明采用下述技术方案：

一种基于JPEG图像交流系数直方图的密文域图像检索方法，其特征在于具体实现步骤如下：

(1)、图像内容所有者加密过程。读取明文图像数据库任一图像的JPEG编码位流，获取其离散余弦变换后的直流系数位流和交流系数位流两部分，接着采用流密码异或加密方法和置乱加密方法分别对直流系数位流和交流系数位流进行加密，并对加密后的位流进行重新组合生成加密后的JPEG图像，最后把全部图像加密后的密文图像数据库提交给检索服务提供者；

(2)、授权用户查询图像过程。首先用户在查询明文图像前需要获得图像内容所有者授权，成为授权用户，接着把要查询的图像提交给图像内容所有者进行相应的加密，待获得相应的密文图像后，就可以直接在图像检索服务器上去检索匹配图像，最后对返回的密文结果解密获得与查询图像相近的明文图像；

(3)、检索服务提供者检索密文图像过程。检索服务提供者存储和管理图像内容所有者提交的密文图像数据库，并提供密文图像检索服务。检索服务提供者从授权用户提交的密文查询图像文件位流中提取交流系数位流，通过JPEG解码和数学统计手段获得密文查询图像对应交流系数直方图，接着把密文查询图像交流系数直方图与密文数据库里所有图像的已知交流系数直方图进行逐一对应比较，最后返回与待查询图像直方图最相近的图像给授权用户。

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：该方法利用JPEG图像压缩编码的位流结构，采用了JPEG图像交流系数直方图不变性的特定加密技术，不仅实现了密文图像检索，保护了查询图像和图像数据库的数据隐私，而且图像特征不需事先提取和加密这些额外步骤，在不增加文件大小，降低计算复杂度和通信开销同时兼顾密文图像的颜色信息安全。

附图说明

图1是本发明的基于JPEG图像交流系数直方图的密文域图像检索方法的流程框图；

图2是步骤(1-1)中所述的明文图像数据库中部分图像样例（来自Corel标准测试图像数据库，尺寸大小256×384或384×256，包含十类图像，如非洲人、海滩、建筑、公共汽车、恐龙、大象、花、马、山、食物，共1000副图像）；

图3 是步骤(1-1)中所述的JPEG图像Y、U、V三个分量的采样格式：YUV411；

图4 是步骤(1-1)中所述的图像数据库中待加密的明文图像                                               ；

图5 是步骤(1-2)中所述的JPEG图像DC系数和AC系数的编码结构；

图6 是步骤(1-2)中所述的VLI码表；

图7 是步骤(1-4)中所述的密文图像；

图8 是步骤(2-1)中所述的用户需查询的图像；

图9 是步骤(2-1)中所述的密文图像；

图10 是实施例中的明文图像；

图11 是实施例中图10对应的密文图像。

具体实施方式

以下结合附图对本发明的优选实施例作详细说明。

实施例一：

参见图1，本基于JPEG图像交流系数直方图的密文域图像检索方法，其具体实现步骤如下：

(1)、图像内容所有者加密过程：读取明文图像数据库任一图像的JPEG编码位流，获取其离散余弦变换后的直流系数位流和交流系数位流两部分，接着采用流密码异或加密方法和置乱加密方法分别对直流系数位流和交流系数位流进行加密，并对加密后的位流进行重新组合生成加密后的JPEG图像，最后把全部图像加密后的密文图像数据库提交给检索服务提供者；

(2)、授权用户查询图像过程：首先用户在查询明文图像前需要获得图像内容所有者授权，成为授权用户，接着把要查询的图像提交给图像内容所有者进行相应的加密，待获得相应的密文图像后，就可以直接在图像检索服务器上去检索匹配图像，最后对返回的密文结果解密获得与查询图像相近的明文图像；

(3)、检索服务提供者检索密文图像过程：检索服务提供者存储和管理图像内容所有者提交的密文图像数据库，并提供密文图像检索服务；检索服务提供者从授权用户提交的密文查询图像文件位流中提取交流系数位流，通过JPEG解码和数学统计手段获得密文查询图像对应交流系数直方图，接着把密文查询图像交流系数直方图与密文数据库里所有图像的已知交流系数直方图进行逐一对应比较，最后返回与待查询图像直方图最相近的图像给授权用户。

实施例二：

本实施例与实施例一基本相同，是结合附图描述了一个实例。特别之处如下：

所述步骤(1)图像内容所有者加密过程的具体操作步骤如下：

(1-1)、读取明文图像数据库里任一JPEG图像文件，获取图像所对应的二进制位流序列，采用的明文图像数据库是Corel标准图像数据库,其部分图像如图2所示；根据JPEG压缩标准，一副未经任何处理的RGB彩色图在压缩编码前先要变换成其他色彩空间，JPEG图像采用的是YUV色彩空间，且YUV的采样格式为YUV411，如图3所示，即Y、U、V三个分量的数据取样比例：4个Y对应1个U和1个V；然后，把Y、U、V三个分量分别进行分割成不重叠的8 X 8的小块，对每个小块进行DCT变换，产生64个系数：1个DC系数和63个AC系数，并对DC系数和AC系数用不同的量化表进行量化；对量化后的DC系数进行差分脉冲调制编码和熵编码，而量化后的AC系数则采用RLC编码和熵编码；最后结合JPEG规定标记按一定的格式把图像头部信息和熵编码后所产生的位流按字节大小写入文件中；

注：RGB代表三种颜色：R表示红色，G表示绿色，B表示蓝色；Y表示亮度分量，U和V均表示色差分量，DCT变换表示离散余弦变换，DC系数表示直流系数，AC系数表示交流系数，RLC表示游程压缩编码；

假设读取的明文图像如图4所示，获得的JPEG编码位流序列主要包含两部分的信息：文件头信息和图像压缩数据，其中文件头信息主要包含文件大小、量化表、哈夫曼编码表等JPEG编解码所需的辅助信息，而图像压缩数据即为图像原始数据被压缩编码后数据，其表示成：

                          (1)

其中，表示图像的第块（YUV的采样格式为4:1:1，对于Y分量第块则由4个8 X 8块构成，U和V分量是由1个8 X 8块构成）经过熵编码压缩后的数据结构，()表示16 X 16块在图像中横坐标的位置，表示图像的高，()表示16 X 16块在图像中纵坐标的位置，表示图像的宽，表示第块Y分量熵编码后的二进制位流，块大小8 X 8，，表示块排列顺序的位置，分别表示U和V分量熵编码后的二进制位流；

(1-2)、根据的数据结构，提取图像的第块Y的DC系数位流和AC系数位流；设图像的第块Y分量的DC位流为，其表示成：

                          (2)

其中，表示图像第块中第块Y分量熵编码后DC系数位流，，表示块排列顺序的位置；

设图像的第块Y分量的AC位流为，其表示成：

                           (3)

其中，()表示图像第块中第块Y分量熵编码后AC系数位流，表示块排列顺序的位置；

由式子(2)(3)可知，()由和构成，其表示成：

                                   (4)

当固定时，实际上是一个8 X 8大小块所对应的64个DCT系数熵编码后的位流，其中包含了1个DC系数和63个AC系数，DC系数和AC系数编码结构相同，均有两部分构成：Huffman码流和VLI码流，如图5所示；

其中，Huffman码表示哈夫曼编码，是一种无损变长压缩编码方法，VLI是可变长整数编码；

当时，位流结构表达式为：

                                            (5)

其中，表示图像的第块分量中DC系数Huffman码流，表示图像的第块分量中DC系数VLI码流，利用图像头文件信息中的Y分量DC系数Huffman码表，图像内容所有者可读取出位流，接着对位流进行解码，获得该DC系数在VLI码表中组号，其数值大小等于实际存储二进制值位流长度，读取出位流，参考图6，获得DC系数在熵编码前的数值；

当时，位流结构表达式为：

                  (6)

其中，表示中AC系数第个编码单元对应的Huffman码流，表示在游程编码中连续出现零的个数，表示连续零后第一个非零数值在VLI码表中所对应组号，表示中AC系数第个编码单元中所对应的VLI码流，表示中AC系数游程编码单元的个数，；利用图像头文件信息中的Y分量AC系数Huffman码表，图像内容所有者可读取出位流，接着对位流进行解码，获得该AC系数在VLI码表中组号(其值等于位流长度，参考图6)，读取出位流；

以此类推，进一步读取出，即可获得图像的第块Y分量的DC位流和AC位流；

(1-3)、按照(1-2)步骤，图像内容所有者从图像可读取出第块所对应的U、V分量的二进制位流，与读取Y分量的位流不同的是U、V分量所用的Huffman码表与Y分量的Huffman码表不同；

(1-4)、基于(1-2)和(1-3)步骤，图像内容所有者可获取整副图像中Y、U、V分量的DC位流和AC位流；针对图像的DC位流和AC位流，采取不同的加密方法，即可获得密文图像，如图7所示，具体如下：

图像内容所有者将整副图像中Y、U、V分量的DC位流组合成一个新的位流序列，其表达式如下:

                             (7)

其中，，，分别表示图像中Y、U、V分量的DC位流序列，()表示位流第位置的二进制值；

设图像对应的位流长度为，图像内容所有者采用流密码异或加密的方法对进行加密，即根据加密私钥产生一串长度为的伪随机二进制位流与进行异或操作，生成长度为的加密后的位流，异或操作满足下式：

                                                     (8)

即，得到密文位流；

对于图像中Y、U、V分量的AC位流采取不同的加密技术即置乱加密方法，根据公式(6)块位流结构提取出图像中所有8 X 8块Y、U、V分量的AC系数块位流，并分别将块位流连接组合成新的位流序列，设为，，，表达式分别如下：

         (9)

   (10)

   (11)

其中，表示图像Y分量第块，块大小8 X 8，第1个AC系数编码单元所对应的码流段，参考(1-2)步骤，表示第1个AC系数编码单元Huffman编码后位流部分，表示表示第1个AC系数编码单元VLI编码后位流部分， ()表示8 X 8块在Y分量中横坐标的位置，()表示8 X 8块在Y分量中纵坐标的位置；

表示图像U分量第块（块大小8 X 8）第1个AC系数编码单元所对应的码流段，参考(1-2)步骤，表示第1个AC系数编码单元Huffman编码后位流部分，表示表示第1个AC系数编码单元VLI编码后位流部分，()表示8 X 8块在U分量中横坐标的位置，()表示8 X 8块在U分量中纵坐标的位置；公式(11)中的符号含义跟公式(10)类似；

另，图像所对应的Y、U、V分量的大小分别为，；

以()码流段作为一个整体单元，图像内容所有者使用加密私钥对中所包含的码流段进行置乱加密，即打乱码流段在位流中的位置，记加密后Y分量AC位流为；对U、V分量AC位流、采取相同的加密方法进行加密，获得密文位流为、，所用密钥分别为，；

(1-5)、按照JPEG的格式标准，将图像的头部信息和加密后的Y、U、V分量位流进行重新连接组合，即可获得图像所对应的加密图像的位流序列，其表达式为：

                              (12)

其中，表示图像的头部信息，未参与加密处理，其位流在加密前后保持不变。表示长度信息，包含位流、、、的长度以及JPEG编码过程中填充位的位数，值以二进制位流的形式存在；

另，JPEG格式中标记以十六进制的FF开头，后面跟一个非零的字节，在(1-1)步骤中读取JPEG文件时，FF后面的字节若是0，则删除值为0的这个字节，在此操作上所获得加密图像位流比原始图像的位流长度在一定程度上减少，保证了加密后的文件大小不增加，甚至对大部分的图像来说文件大小反而减少；

(1-6）、图像数据库里的其他图像加密处理均与图像的加密操作一样，从而获得加密后的密文图像数据库，最后把密文图像数据库提交给检索服务提供者进行存储和管理。

所述步骤(2)授权用户查询图像过程的具体操作步骤如下：

(2-1)、根据双方约定协议，需要查询服务的用户获得图像内容提供者授权，成为授权用户；

(2-2)、用户将需要查询的图像提交给图像内容服务者进行加密处理，图像内容所有者采用步骤(1-1)、(1-2)、(1-3)、(1-4)、(1-5)将用户提交的明文图像加密成密文图像，最后把密文图像和相应的加密密钥，，，返回给用户；

(2-3)、用户将密文图像提交给检索服务提供者进行检索，并告之需返回最相近图像的数目，同时等待检索结果；

(2-4)、用户解密检索服务提供者返回的密文图像，若返回的密文图像为(对应的明文图像为，参见图4)，用户读取密文图像，根据步骤(1-5)获得图像的头部信息和压缩数据信息，参考公式(12)。根据JPEG标记获得图像头部信息，且不做额外处理。从位流中获得图像中、、、位流的长度，根据各自位流长度分割出、、、四段位流。参考公式(8)，利用已知密钥产生伪随机二进制位流与进行异或操作解密出，对于，利用密钥置乱中码流段的位置，恢复码流段的原始位置，即解密出位流。以此类推，利用密钥，解密出、位流。依据步骤(1-4)分解、、、，获得图像中Y、U、V分量8 X 8块对应的DC和AC位流，利用公式(1)组合出图像熵编码的压缩数据，结合图像头部信息即获得图像的位流，其表达式为：

                                                            (13)

另，根据JPEG编码标准，图像位流按字节写入文件，若出现字节值为FF，且不是JPEG规定标记，则需在FF字节后面补上一个值为0的字节，即补上步骤(1-5)中被删除掉值为0的字节，从而解密出密文图像的原始图像，若返回多副密文图像，均按照步骤(2-4)进行解密操作恢复出对应的原始明文图像；

所述步骤(3)检索服务提供者检索密文图像过程的具体操作步骤如下：

(3-1)、检索服务提供者读取授权用户所提交的待查询密文图像(对应的明文图像为)，获取密文图像里中、、三段位流，获取过程参考步骤(2-4)，结合Huffman码表和VLI码表，提取密文图像的Y、U、V三个分量的所有AC系数，并利用数学统计手段求出图像的Y、U、V三个分量AC系数对应的直方图，，；

另，采用同样的方法求密文数据库里所有图像对应的AC系数直方图；

(3-2)、逐一计算密文图像与密文图像数据库里所有图像间的直方图距离，该距离是两幅图像相似性的度量方法，距离越小图像间相似度越高，反之则相似度越低。本发明采用精度比欧氏距离更高的相对距离，即城市区块距离，其表达式如下：

                                           (14)

其中，为待查询图像，为图像数据库中任一图像，为查询图像中Y分量AC系数为的频率，为查询图像中Y分量AC系数为的频率。一副JPEG图像由Y、U、V三个分量构成，利用公式(14)可分别求得U、V两个分量AC系数直方图的距离、，累加三个分量距离作为度量图像和图像相似度的最终距离，表达式如下：

                             (15)

其中，分别，、的权重，采取穷举的方法定出，，在公式(15)中最优的权重；

利用公式(14)(15)逐一求出密文图像与密文图像数据库里所有图像间直方图距离(包含Y、U、V分量)；                  

(3-3）、对(3-2)步骤所求的密文图像与密文图像数据库里所有图像间的直方图距离进行从小到大排序，序号靠前的优先返回，具体返回多少副图像数据库里的密文图像由授权用户事先告诉检索服务提供者。

为了验证本发明的效果，采用本发明的基于JPEG图像交流系数直方图的密文域图像检索方法，密文图像(图9和图11)和相应的明文图像(图8和图10)在颜色信息上毫无关联，在不泄露图像内容的同时兼顾图像的视觉安全。在图像位流加密重组过程，0值字节(前一个字节值为FF)的删除保证了密文的文件大小不增加(甚至减少)。此外，图像特征提取和加密步骤无需事先独立操作，也大大减少计算复杂度，降低通信开销和存储空间。