基于可变边界支撑向量机的重要信息获取方法

摘要

本发明公开了一种基于可变边界支持向量机的重要信息获取方法，主要克服现有技术中忽视对式样本重要度差异性信息的不足。其实施步骤为：针对待评价信息对象，通过smart搜索引擎，搜集需求信息，并将这些信息进行预处理，得到原始训练集；在原始训练集上，构造新的训练集，引入可变边界因子，这个因子为原始训练集中两两样本的样本标识之差的绝对值；输入新训练集，将这个因子作为支持向量机每个约束中的边界，对信息评价模型进行训练，得到信息评价函数；输入待评价信息的样本特征矢量，根据这些特征矢量的函数值大小，就可以获得重要信息。本发明具有获取重要信息的平均准确率高的优点，可用于信息重要度评级，产品质量评价。

说明书

技术领域

本发明属于信息的获取技术领域，特别是一种重要信息获取方法，该方法可应用于信息重要度评级，及产品质量的评价。

背景技术

目前，随着科技的发展，互联网提供了海量信息资源，所以是否能够得到我们想要的重要信息，变得越来越重要。在信息获取的方法中，信息检索及搜索引擎的应用是一个重要的途径。在搜索引擎中，核心是如何按人们的需求来提供信息，及对所获得的信息如何进行评级。

在信息获取方法中，首先要确定信息需求，即给定我们感兴趣的查询，其次，针对查询对信息进行收集，然后对信息进行评价，信息评价系统是信息的获取至关重要的一步，是对每个返回样本进行评级，给它们相应的评价分数，这些分数反映了各个样本所含信息的重要度信息评价系统的优劣，决定着我们最后能否获取想要的信息。该信息评价系统是通过机器学习的方法，在训练样本集训练得到的。

在信息评级过程中，对式比较是比较常用的方法。在返回的信息文本样本中，通过对两两样本的对比，来确定信息的重要程度，是有监督的方法。两个样本组成一个样本对，把这对样本看成一个对式样本，并给定标签，这就可以用有监督分类的方法来解决这类问题。

1998年，谷歌的创始人布林与谢奇提出了Pagerank的方法，用于网页信息的评级。但只是对单一特征进行处理，不能够全部反映信息的重要度。在信息评级中，支持向量机是一个重要评价方法，可处理多种特征，更能反映信息的全部内容。2000年，Herbrich提出将支持向量机理论应用于有序回归，首次提出排序支撑向量机，从对式样本的训练中，得到信息评价系统，来用于评价信息的重要性。2002年，Joachims从另一个角度推出通过对式样本训练得到支持向量机评价模型，应用于信息评分。虽然二者的采样模型有所不同，但都是用分类的方法来研究信息的评级，即通过对式样本的分类训练，得到信息评价模型。

以上两种支持向量机信息评价方法，虽然可处理多维的特征，但在训练过程中，都没有考虑信息重要程度之间的差异性。因为当训练集的重要程度判断多于两种时，对式样本的所含信息，是有差异的。假设训练集的样本重要度标签有Y＝{1，2，3，4，5}，重要度值为5的样本重要度值为1的样本，组成的对式样本和重要度值为3的样本与重要度值为2的样本组成的对式样本，其标签都是1，被同等的对待了。而上述的支持向量机信息评价方法中，其支撑向量机优化过程中约束条件的边界都是不变的，因此不能体现对式样本的信息差异性，这样就损失了很重要的信息，使信息评级的结果不准确。

发明内容

本发明的目的在于克服上述方法中的不足，提供一种基于可变边界的支撑向量机信息获取方法，将对式样本之间的差异性信息引入支撑向量机的优化中，使样本的训练更为有效，保证对重要信息的获取，提高信息评级结果的准确性。

为实现上述目的，本发明包括如下：

搜集需求信息步骤；针对待评价信息对象，通过smart搜索引擎，按照查询需求，将需收集的信息提取成一个文本集合；

信息预处理步骤：利用文本集合的词频和逆向文件频率的t维原始特征t＞44，对文本集合进行特征提取，将这些提取的特征转换为45维数值特征向量，对这些特征向量进行降维，得到样本集(x_i，y_i)，i＝1.......n，x₁，…x_n是二维样本特征矢量，y_i为样本重要度标识，n为样本数；

信息评价模型的训练步骤：

将上步得到的样本集中的r个样本作为原始训练集r＜n，在原始训练集((x₁，y₁)，…，(x_r，y_r))中，由任意两个二维样本特征矢量形成对式样本(x_i⁽¹⁾，x_i⁽²⁾)，若第一样本特征矢量x_i⁽¹⁾的重要度标识大于第二样本特征矢量x_i⁽²⁾的重要度标识，则将对式样本(x_i⁽¹⁾，x_i⁽²⁾)标识为z_i＝1，反之z_i＝-1，构造出新的训练集：{(x_i⁽¹⁾，x_i⁽²⁾)，z_i，d_i}，i＝1，2，…m，m＝O(n²)，m为新训练集样本数，$d_i=|y_i^{\left(1\right)}-y_i^{\left(2\right)}|,$为可变边界因子，体现了对式样本信息重要度的差异；

利用可变边界的支撑向量机信息评价方法，对新的训练集进行训练，得到信息评价函数f(x)＝w·x，w为训练得到的权值参数，x为输入的二维样本特征矢量；

重要信息的获取步骤：在信息评价函数f(x)＝w·x中输入待评价信息的样本特征矢量，按照这些特征矢量的函数值大小，进行降序排列，将排在前面的样本，作为要获取的重要信息。

本发明由于在信息评价模型的训练步骤中引入可变边界因子，将对式样本之间的差异性信息引入支撑向量机的优化中，能够体现每个对式样本的重要程度差异，使样本的训练更为有效，提高了信息评级结果的准确性，从而保证了获取重要信息的平均准确率。

附图说明

图1是本发明的实现流程图；

图2是本发明的信息评价模型的训练过程流程图；

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，针对待评价信息对象，通过smart搜索引擎，按照查询需求，将需收集的信息提取成一个文本集合；

步骤2，利用文本集合的词频和逆向文件频率的t维原始特征t＞44，对文本集合进行特征提取，将这些提取的特征转换为45维数值特征向量，对这些特征向量进行降维，得到样本集(x_i，y_i)，i＝1.......n，n为样本数，x₁，…x_n是二维样本特征矢量，y_i为样本重要度标识，y_i∈{2，1，0}，‘2’代表该样本所含信息是最重要，‘1’代表部分重要，‘0’代表完全不重要；

步骤3，构造新的训练集。

将步骤2得到的样本集中的r个样本作为原始训练集r＜n，在原始训练集((x₁，y₁)，…，(x_r，y_r))中，由任意两个二维样本特征矢量形成对式样本(x_i⁽¹⁾，x_i⁽²⁾)，若第一样本特征矢量x_i⁽¹⁾的重要度标识大于第二样本特征矢量x_i⁽²⁾的重要度标识，则将对式样本(x_i⁽¹⁾，x_i⁽²⁾)标识为z_i＝1，反之z_i＝-1，构造出新的训练集：{(x_i⁽¹⁾，x_i⁽²⁾)，z_i，d_i}，i＝1，2，…m，m＝O(n²)，m为新训练集样本数，$d_i=|y_i^{\left(1\right)}-y_i^{\left(2\right)}|,$为可变边界因子，体现了对式样本信息重要度的差异。

步骤4，信息评价模型的训练。

参照图2，利用可变边界的支撑向量机信息评价方法，对新的训练集进行如下训练：

(4a)输入训练样本集{(x_i⁽¹⁾，x_i⁽²⁾)，z_i，d_i}，i＝1，2，…m；

(4b)根据支撑向量机理论，通过下式计算输入训练集的权值参数w：

$w=\underset{i=1}{\overset{m}{\Sigma }}{d}_i{z}_i{\alpha }_i(x_i^{\left(1\right)}-x_i^{\left(2\right)}),$

式中，z_i为第i个样本的标识，d_i为可变边界因子，

α_i为未知的拉格朗日因子，0≤α_i≤C，该拉格朗日因子通过如下二次规划公式求解：

$\underset{i=1}{\overset{m}{\Sigma }}{d}_i{\alpha }_i-\frac{1}{2}\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{\alpha }_i{\alpha }_j{z}_i{z}_j<x_i^{\left(1\right)}-x_i^{\left(2\right)},x_j^{\left(1\right)}-x_j^{\left(2\right)}>$

x_i⁽¹⁾为第i个对式样本的第一样本特征矢量，x_i⁽²⁾为第i个对式样本的第一样本特征矢量，x_j⁽¹⁾为第j个对式样本的第一样本特征矢量，x_j⁽²⁾为第j个对式样本的第一样本特征矢量，z_j为第j个样本的标识。

步骤5，将输入训练集的权值参数w和待评价信息的样本特征矢量x，输入到信息评价函数f(x)＝w·x中，按照这些特征矢量的函数值大小，对待评价样本进行降序排列，这些样本就形成一个有序列表，将排在列表前面的样本，作为要获取的重要信息。

本发明的效果可以通过以下仿真实验进一步说明：

本发明对OHSUMED数据集进行实验，并将本发明与现有的ranksvm方法比较。

OHSUMED数据集来源于美国医疗信息数据库MEDLINE。它包含了106组医疗类信息样本，每组样本数量不等，样本有45维原始特征，其样本重要度标识y∈{2，1，0}，‘2’代表该样本所含信息是最重要，‘1’代表部分重要，‘0’代表完全不重要。

每组样本应用PCA方法对原始45维特征进行降维，得到样本集(x_i，y_i)，x₁，…x_n是二维样本特征矢量，i＝1.......n，n为每组样本的样本数。

PCA(principal component analysis)，即主成分分析，是一种寻找均方意义下最能够代表原始数据的投影方法。PCA通过提取云团散布最大方向的方法，达到了对特征空间进行降维的目的。

我们采用了最普遍的评价标准：平均准确率(Mean Average Precision)，简称为MAP它衡量获取重要信息的平均准确率。

MAP只能评价两种标识的数据集。因此在计算MAP值时，我们将数据集中原来标识‘2’和标识‘1’的样本都标识为‘1’，其余的样本不变。第i组实验中，平均准确率计算公式如下：

${\mathrm{AP}}_i=\frac{\underset{j=1}{\overset{N}{\Sigma }}(P\left(j\right)*\mathrm{pos}\left(j\right))}{h},$$P\left(j\right)=\frac{h_j}{j}$

在输出的有序列表中，当第j个位置的样本的标识为‘1’时，pos(i)＝1；反之，pos(i)＝0。

h表示有序列表中样本标识为‘1’的样本个数，h_j表示在有序列表的前j个样本中标识为‘1’的样本个数，N表示有序列表的样本个数。

1、仿真条件与内容

实验选取OHSUMED数据集106组数据中的8组样本，进行8组实验，实验的运行环境都是Matlab7.0.1。8组数据分别为OHSUMED数据集中的第1组，第5组，第6组，第7组，第9组，第10组，第11组，第13组数据。第1组样本数为130，第5组样本数为56，第6组样本数为153，第7组样本数为54，第9组样本数为139，第10组样本数为34，第11组样本数为95，第13组样本数为95。在每组实验中，把每组样本分为不相交的4份，每份有n/4个样本。每组样本进行4次实验，每次实验时，三份样本作为训练集，一份样本作为测试集。

2、仿真实验结果

每组样本进行4次实验，记录每次实验得到的平均准确率，4次的平均准确率取平均。实验结果如表1所示，C表示支撑向量机的折中系数，实验中从{1，10，100，1000}选择。

表1.平均准确率比较

查询第1组 第5组 第6组 第7组 第9组 第10组 第11组 第13组C10 100 1000 1 1000 1000 1000 100ranksvm0.4453 0.6277 0.7457 0.1823 0.5180 0.3092 0.4592 0.4330本发明0.4458 0.6324 0.7498 0.1948 0.5226 0.5379 0.4686 0.4458

从表1的仿真结果可以看出，在8组数据的仿真中，本发明方法获取重要信息的平均准确率都要高于现有ranksvm方法。