一种基于多特征相关反馈的三维模型检索方法

摘要

一种基于多特征相关反馈的三维模型检索方法，该方法包括：服务器端对三维模型数据库中的每个三维模型进行处理，获取三维模型的彩色视图阵列；再获取三维模型特征，合并所有三维模型特征生成特征数据库；计算客户端提供的二维草图的特征，并和特征数据库中特征进行匹配，计算该二维草图与每个三维模型的距离，对所有三维模型按照距离值排序并输出，生成检索结果；由客户端对每次检索结果进行“相关”及“不相关”的标注，将标注后的三维模型信息返回服务器端，服务器端对该信息进行学习，采取多SVM融合方法对所述三维模型库进行分类，根据分类结果对所有三维模型进行排序并输出，作为检索结果；重复步骤，最终输出用户满意的三维模型检索结果。

说明书

技术领域

本发明属于多媒体信息检索领域，特别是一种基于相关反馈学习的三维复杂模型检索方法。

背景技术

三维模型检索是基于内容的多媒体信息检索领域的热点问题，具有广泛的应用前景，国内外很多机构正致力于这一方向的研究。随着计算机图形学的快速发展及光场理论的进一步应用，更加复杂、逼真的三维模型出现在互联网上，由于复杂模型具有与实际物体更加接近的信息，如更加细致的纹理，更加丰富的高层语义以及绚丽的色彩信息，故发展一种有效快速的高逼真度三维模型检索方法是必要的。现行的三维模型检索机制，总体来说分为2大类：以三维模型为中心的方法及以三维模型视图为中心的方法。以三维模型为中心的方法在复杂模型检索领域很难应用，这主要因为：由于复杂模型几何元素的海量数据，使得计算机处理速度变慢，难以满足实时模型检索的要求。故针对复杂模型检索，应用基于三维模型视图的检索方法相对可行，其中主要原因之一为：无论三维模型几何造型的复杂度如何，其各个不同角度的视图信息占用较少的字节数，这对于大规模三维模型数据库检索系统是必要的。

目前国外公开的文献中，台湾大学咨询工程系的研究小组在相关国际会议上的论文：[1]D.Y.Chen，X.P.Tian，Y.T.Shen.On Visual Similarity Based 3D Model Retrieval.ComputerGraphics Forum 2003，22(3)：223-232.首次提出了通过大规模视图方式进行三维模型检索的方法；文献：[2]T.F.Ansary，M.Daoudi，and J.P.Vandeborre et al.A Bayesian 3-D Search EngineUsing Adaptive Views Clustering.IEEE Transaction on multimedia，2007，9(1)：78-88.提出了通过自适应聚类方法从视图阵列中选择典型视图的方法；文献：[3]Leifman George，MeirRon，Tal Ayellet.Semantic-oriented 3D shape retrieval using relevance feedback.VisualComputer，2005，21(8)：865-875.提出了相关反馈检索三维模型的方法。

但上述文献的解决思路有几点不足：

(1)文献[1][2][3]在关于三维模型特征表达方面，仅仅考虑轮廓描述符信息，未考虑模型的纹理特征信息及颜色特征信息，这对于复杂模型检索是不充分的，即丢失了相当的有用信息；

(2)文献[1]没有考虑应用学习方法对三维模型视图信息进行处理，该文献中使用20幅视图表达一个三维模型，这种表达方式称为“光场描述符(lightfield descriptor，LD)”，为了增加LD对于三维模型旋转、平移不变性，该文献使用10个LD表示一个三维模型，即应用200幅视图表示一个三维模型，其表达形式冗余度高，为大规模三维模型数据库的检索增加了难度。

(3)文献[2]使用自适应聚类方法从三维模型视图阵列中选择贝叶斯信息度量值较高的视图，这些通过自适应方法挑选出来的视图被称为：“典型视图(characters views，CV)”，这种方法对于几何造型简单的三维模型可以大大地减少了在检索过程中视图的计算数量，但由于其“典型视图”的数量随着三维模型几何造型复杂度的提高而增多，对于复杂三维模型的检索而言，这种方法的计算量依然很大，不利于实时复杂三维模型检索。

(4)文献[3]应用反馈学习进行模型检索的过程中，仅仅使用单分类器进行学习分类，对于复杂三维模型而言，没有考虑多分类器特征融合的方式进一步提高检索精度，而这对于复杂三维模型的检索是有必要的。

下面对与本发明中相关的已有技术进行简单介绍：

(1)系统聚类分析：聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法，本发明提到的系统聚类方法是其中的一种，其主要原理是应用紧邻法将属性相似的向量分类成多个集合，是一种无监督的分类方法。系统聚类的步骤一般是首先根据一批数据或指标找出能度量这些数据或指标之间相似程度的统计量；然后以统计量作为划分类型的依据，把一些相似程度大的站点(或样品)首先聚合为一类，而把另一些相似程度较小的站点(或样品)聚合为另一类，直到所有的站点(或样品)都聚合完毕，最后根据各类之间的亲疏关系，逐步画成一张完整的分类系统图，又称谱系图。其相似程度由距离或者相似系数定义。进行类别合并的准则是使得类间差异最大，而类内差异最小。

(2)主元素分析(Principal component analysis，缩写PCA)：它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元素分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。本发明采用的改进连续PCA方法是在原有PCA基础上，提出的一种快速方法，不仅提高了主元分析中的计算速度，同时提高了计算精度。

(3)多支持向量机融合：支持向量机(SVM)是近年来在统计学习理论的基础上发展起来的一种新的模式识别方法，SVM的主要可以概括为两点：(1)它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射方法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性方法对样本的非线性特征进行线性分析成为可能；(2)它基于结构风险最小化理论之上，在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。多SVM数据融合方法是在单一SVM机制基础上发展起来的，通过多个SVM串联或并联形式，并结合贝叶斯融合方法进行分类。本发明具体采用文献[4](刘明，袁保宗，苗振江，唐晓芳.“基于模糊规则的多分类器融合”.电子与信息学报.29(7)：1707-1712.)提出的基于模糊规则的多分类器融合方法融合分类结果。

(4)贝叶斯网络信息度量：信息是个很抽象的概念，1948年，香农提出了″信息熵″(shāng)的概念，解决了对信息的量化度量问题。贝叶斯网络信息度量信息度量的一种方法，该技术的基本思想是将贝叶斯理论和信息论中信息量和相对熵([5]Cettolo，Mauro，Vescovi，Michele；Rizzi，Romeo.Evaluation of BIC-based algorithms for audiosegmentation.Computer Speech and Language，2005，19(2)：147-170)的概念结合起来，引入到信息系统中，用“比特”(bit)这个概念来度量信息量的大小。

(5)贝叶斯网络：数学图论中的一种模型，表现形式为有向无环图，是不确定性事件的有效表达形式。([6]Heng，Xing-Chen，Qin，Zheng；Tian，Lei；Shao，Li-Ping.Learningbayesian network structures with discrete particle swarm optimization algorithm.FOCI2007，2007，p47-52)

(6)线性组合方法：将多目标优化问题转化为单目标优化问题的一种方法，假设有A和B两个优化目标，组合两个优化目标：J＝k₁A+k₂B，将A和B两个优化目标的优化转化为目标J的优化，。k₁k₂为常系数，且和值为1。

发明内容

本发明的目的是为克服现有三维模型检索方法对于复杂高逼真度三维模型检索的不足，提出一种基于多特征相关反馈的三维模型检索方法，本方法保证了信息获取的完整性及可靠性，并大大减少了颜色及轮廓特征的数量，保证了实时检索的速度；在增强了纹理特征的鲁棒性的同时，提高了复杂三维模型检索精度。

本发明的技术解决方案为：一种基于多特征相关反馈的三维模型检索方法，其特征在于：

(1)服务器端对三维模型数据库中的每个三维模型进行处理，获取三维模型的彩色视图阵列；

(2)服务器端将每个三维模型的彩色视图阵列进行处理，获取三维模型特征，合并所有三维模型特征生成特征数据库；

(3)服务器端计算客户端提供的二维草图的特征；

(4)将该二维草图特征和特征数据库中特征进行匹配，计算该二维草图与每个三维模型的距离，将数据库中所有三维模型按照距离值排序并输出，生成第1次检索结果并返回客户端；

(5)由客户端对检索结果进行“相关”及“不相关”的标注，将标注后的三维模型信息返回服务器端，服务器端对该信息进行学习，采取多SVM融合方法对所述三维模型库进行分类，根据分类结果对所有三维模型进行排序并输出，作为检索结果；

(6)重复步骤(5)，最终输出用户满意的三维模型检索结果。

本发明的特点及效果：

本发明通过两个关键技术提高复杂三维模型检索精度，一是通过贝叶斯网络学习方法将模型图像纹理特征阵列信息学习成为单一纹理特征网络，这种方式完整的体现了视图纹理阵列信息，与三维模型的“典型视图”轮廓描述符及颜色特征结合，提高了检索精度，并在反馈学习阶段提高了支持向量机分类器组的学习效率；二是通过多特征反馈学习融合方法将多个特征融合处理，完善了简单几何造型三维模型检索中对于高层语义处理不足的问题，进一步提高了基于内容的三维模型检索精度。

本发明与现有技术相比的优点在于：

(1)针对以往技术中应用视图表达三维模型鲁棒性差的问题，采用大规模多彩色视图阵列表达三维模型，保证了信息获取的完整性及可靠性。

(2)采用系统聚类及贝叶斯信息度量方法获取典型视图，在最大限度保留有用信息的前提下，大大减少了颜色及轮廓特征的数量，保证了实时检索的速度。

(3)采用贝叶斯网络学习方法将大量视图纹理特征归结为一个贝叶斯网络，大大的减少了纹理特征表达的字节数，保证了纹理信息描述的完整性，并更加深入的挖掘了纹理阵列的内涵信息，增强了纹理特征的鲁棒性。

(4)在描述目标对象的特征时，采用多特征表达的方法，不丢失信息。

(5)应用颜色特征与轮廓描述符组合进行检索，比以往仅依据轮廓描述符进行检索提高了检索的针对性；应用多SVM融合方法进行反馈学习，更进一步增强了检索的准确度。本发明对于复杂高逼真度三维模型的检索更为有效，尤其对于不同轮廓、颜色但具有相同高层语义三维模型检索。

附图说明

图1为本发明方法总体流程图；

图2为本发明方法的步骤(1)和步骤(2)的具体流程框图；

图3为本发明的步骤(2)中应用聚类方法对纹理矩阵降维(25)的具体流程框图；

图4为本发明的步骤(3)、(4)和步骤(5)(6)的具体流程框图；

具体实施方式

本发明为一种基于多特征相关反馈的三维模型检索方法，结合附图及具体实施，详细说明如下。

本发明提出的一种基于多特征相关反馈的三维模型检索方法，其总体流程如图1所示，该方法包括以下步骤：

(1)服务器端对三维模型数据库中的每个三维模型进行处理，获取三维模型的彩色视图阵列；

(2)服务器端将每个三维模型的彩色视图阵列进行处理，获取三维模型特征，合并所有三维模型特征生成特征数据库；

(3)服务器端计算客户端提供的二维草图的特征；

(4)将该二维草图特征和特征数据库中特征进行匹配，计算该二维草图与每个三维模型的距离，将数据库中所有三维模型按照距离值排序并输出，生成第1次检索结果并返回客户端；

(5)由客户端对检索结果进行“相关”及“不相关”的标注，将标注后的三维模型信息返回服务器端，服务器端对该信息进行学习，采取多SVM融合方法对所述三维模型库进行分类，根据分类结果对所有三维模型进行排序并输出，作为检索结果；

(6)重复步骤(5)，最终输出用户满意的三维模型检索结果。

上述各步骤具体实施方式分别详细说明如下：

上述步骤(1)中获取三维模型的彩色视图阵列，具体流程如图2所示，包括以下步骤：

(11)设三维模型数据库包含P个三维模型(P为正整数，为三维模型数据库所有三维模型的数目)，对每个三维模型进行坐标标准化处理：首先计算三维模型的质心，将质心平移到光场的坐标原点(平移标准化)；然后采用改进的PCA方法来确定三维模型的三个主轴，绕光场坐标原点旋转三维模型，使三维模型的主坐标轴与光场的主坐标轴重合；

(12)沿球面(球的半径R取值可为三维模型最小包围球半径的2-4倍，具体实施例可为：2.5倍)均匀布置W(W为正整数，取值范围可为：60-500个，可根据三维模型的结构复杂程度进行调整，具体实施例可为：320个)个摄像头，并使得每个摄像头视轴线指向光场坐标原点；

(13)从光场Z主轴正方向所对应的摄像头开始，对三维模型每个视角进行拍照，获得W幅彩色视图的视图阵列。

上述步骤(2)中生成特征数据库，具体流程如图2所示，包括以下步骤：

(21)通过图像分割算法得到每幅彩色视图的轮廓，计算该轮廓的傅立叶描述符，得到每幅彩色视图的轮廓描述符；

(22)应用系统聚类方法将W个彩色视图的轮廓描述符进行无监督聚类，获得K(K为正整数，取值范围可为：7-10个，具体实施例可为：7个)个分类；

(23)针对于K个分类中的每个分类，将分类中的每幅彩色视图的轮廓描述符应用贝叶斯信息度量准则(Bayesian Information metric Criterion，BIC)进行度量，从每一分类中挑选出BIC值最大的轮廓描述符，此轮廓描述符对应的彩色视图为该三维模型的“典型视图”之一，最终一个三维模型对应得到K个“典型视图”；

(24)计算K个“典型视图”的颜色特征(已有技术)：使用H_CD表示K个“典型视图”的颜色特征集合，使用C表示颜色特征，用H_SD表示K个“典型视图”的轮廓描述符集合，用FD表示轮廓描述符，则有：

H_CD＝{C₁，C₂，...C_K}，H_SD＝{FD₁，FD₂，...FD_K}

(25)计算W幅彩色视图的纹理特征(已有技术)，得到纹理特征的矩阵E，应用聚类方法对纹理矩阵降维(具体聚类降维算法流程见图3所示)，将纹理特征矩阵E降为g(取值范围可为：7-10维)维矩阵T；

(26)应用结构最大期望方法(Structural Expectation Maximum，SEM)依据g维矩阵T进行贝叶斯网络学习，生成包含参数θ及结构S的贝叶斯网络，即为纹理特征网络H_TD，表示为：H_TD＝{S，θ}；

(27)将所有三维模型的H_CD、H_SD和H_TD组合成三维模型特征数据库；表示为：

H_D(i)＝{H_CD(i)，H_SD(i)，H_TD(i)}，i＝1，...，P

式中用H_D表示一个三维模型对应的所有特征的组合，P为三维模型个数。

上述步骤(25)应用聚类方法对纹理矩阵降维，将纹理特征矩阵E降为g维矩阵T，具体流程如图3所示，包括以下步骤：

(251)计算彩色视图阵列的纹理特征(已有技术)，获得纹理特征矩阵E，特征矩阵E维数用V表示(V的取值范围：64-200；纹理特征包括多种类型，具体实施例为：104维小波纹理)；

(252)对矩阵E进行预处理，首先对E的转制矩阵E^T进行系统聚类，将E^T分成g个小组矩阵e_i：E^T＝(e₁，...，e_i，...e_g)(用e_i表示任意一个小组矩阵，g取值范围可为：7-10个，具体实施例可为：7维)；

(253)依据E的维数V选择降维方法(如PCA或流型的方法，具体实施例为：PCA方法)，对每个小组矩阵e_i，计算矩阵的转制矩阵，后通过降维方法(如PCA或流型的方法，具体实施例：PCA方法)将小组矩阵e_i处理成1维序列信号t_i；

(254)将g个小组的1维序列信号t_i组合，生成g维序列信号T：T＝[t₁，...，t_i，...t_g]；

上述步骤(3)中服务器端计算客户端提供的二维草图的特征，如图4所示，具体包括以下步骤：

(31)采取二值形态滤波中的Bridge操作和Clean操作来尽量保证二维草图的连通性，Bridge操作将二维草图中接近但不连通的区域连接起来，Clean操作可以将二维草图中孤立的亮点去除；

(32)如果二维草图中区域连通，则首先跟踪二维草图的外轮廓，依次计算外轮廓边缘每个象素到区域中心的距离，再对该距离进行傅立叶变换，最后对傅立叶变换后得到一组复数系数进行标准化，作为二维草图的轮廓描述符(具体实施例：应用傅立叶描述符作为二维草图的轮廓描述符，则二维草图的轮廓描述符表示为FD_Q)；

(33)计算该二维草图的颜色特征(具体实施例：应用HSV空间256维颜色直方图作为颜色特征，则二维草图的颜色特征表示为C_Q)，最终由FD_Q和C_Q组成二维草图的特征；

上述步骤(4)中生成第1次检索结果，具体流程如图4所示，包括以下步骤：

(41)采用该二维草图与每个三维模型K个“典型视图”的轮廓描述符(具体实施例可采用：傅立叶描述符，”典型视图”的轮廓描述符用FD₁，...，FD_K表示)及颜色特征(具体实施例可采用：HSV空间256维颜色直方图，”典型视图”的颜色特征用C₁，...，C_K表示)的距离最小值为该二维草图与每个三维模型的距离为d(sketch，model)，该距离的计算公式如下：

d(sketch，model)＝min(d(sketch，view₁)，...，d(sketch，view_K))

＝k₁×min{d(C_Q，C₁)，d(C_Q，C₂)，...d(C_Q，C_K)}

+(1-k₁)×min{d(FD_Q，FD₁)，d(FD_Q，C₂)，...d(FD_Q，C_K)}

其中d(sketch，view₁)，...，d(sketch，view_K)分别表示该二维草图与每个三维模型的K个“典型视图”(用view₁，...view_K表示)间的距离，k₁为加权系数(针对不同的数据库依据专家经验可动态调整k₁，取值范围可在0到1之间，具体实施例可为：0.5)；

(42)采用快速排序方法将数据库中所有三维模型按照距离d(sketch，model)值由低值向高值依次排序，输出前f个(f为正整数，取值范围可为：20-100个，具体实施例可为：20个)三维模型作为第1次检索结果到客户端。

上述步骤(5)具体流程如图4所示，通过学习标注信息，获得检索结果，包括以下步骤：

(51)客户端对检索结果进行标注，标注Z(Z为正整数，取值范围可为：1-100，具体实施例可为：3)个“相关”三维模型，返回信息，服务器对“相关”三维模型置标签为1，其余f-Z(f-Z为正整数，取值范围可为：1-100，具体实施例可为：17)个三维模型视为“不相关”模型，置标签为-1；

(52)构造与第i个三维模型特征集合H_D(i)＝(H_CD(i)，H_SD(i)，H_TD(i))(H_D(i)包含的特征个数为H_CD(i)，H_SD(i)，H_TD(i)的特征个数之和，H_CD(i)包含K个颜色特征，H_SD(i)包含K个轮廓描述符，H_TD(i)包含1个纹理特征网络)相对应个数的支持向量机，为2K+1个(K取值范围可为：7-10个)；

(53)应用2K+1个支持向量机对客户端的标注信息进行学习，得到2K+1个分类向量，分别应用每个分类向量对三维模型数据库再次分类，得到2K+1个分类结果；

(54)通过多SVM融合方法融合2K+1个分类结果，得到最终分类结果；

(55)将最终分类结果按照距离分类面远近由小向大进行排序并输出，作为检索结果。