一种基于行为特征与内容特征融合的水军识别方法及系统

摘要

本发明涉及一种基于行为特征与内容特征融合的水军识别方法及系统，其方法为，采集包括用户行为特征和内容特征的原始数据；利用马尔可夫链蒙特卡罗随机模型进行行为特征维度和内容特征维度的融合，组成用户特征向量；利用用户特征向量进行DBN模型训练，得到DBN模型；对DBN模型进行检测，判断检测结果是否达到预定标准，如果是则结束；否则根据检测结果生成相应的调节命令，分别调节特征融合阶段和DBN模型训练阶段的相关参数；在DBN训练过程中根据识别准确率不断优化行为特征与内容特征的比例分配，具体特征的选取，以及对DBN模型训练过程中迭代次数的调整，达到较优的训练效果，最终提高识别准确率和识别方法的自适应性。

说明书

技术领域

本发明涉及网络安全领域，尤其涉及一种基于行为特征与内容特征融合 的水军识别方法及系统。

背景技术

网络空间（Cyber Space）已成为继陆、海、空、天四维空间之外的人 类活动第五维空间，网络空间的安全会直接影响国家安全和社会发展。近年 来，网络安全形势日益严峻,其中很大一部分威胁来源于随时随地影响网络 社会秩序的“网络水军”（Hidden Paid Posters/Internet Water Army）。- “网络水军”泛指为牟利而在网络上发布倾向性评论的专职或兼职团体，他 们通过绑架舆论和干扰民意以达到某种商业或其他目的，从蒙牛陷害门，陆 川电影《王的盛宴》影评事件，到秦火火造谣事件，都折射出“网络水军” 的恶劣影响。政府从法律制定和执法力度层面都加大了对网络水军的打击力 度，IT业界和学术界也对网络水军的识别技术进行了深入的研究。

现有的水军识别多采用机器学习的方法，分析已知分类用户的Profile 信息、历史行为、发帖内容等，从中训练出水军用户的识别模型，进而对未 知用户信息进行分类，判定哪些用户最可能是“网络水军”。当前常用于分 类问题的机器学习算法包括贝叶斯网络、支持向量机（SVM）、KNN、神经网 络等。本专利属于基于神经网络DBN（Deep Belief Network，深度信任网络） 的水军识别方法。

然而在DBN训练过程中，主要面临两个方面的问题：第一，水军特征主 要分为行为特征和内容特征，而且每类特征的选择并没有统一的准则。一般 认为，综合考虑行为特征和内容特征的训练模型，应该对水军的刻画有着更 好的效果。但如何进行融合，具体选择那些行为特征和选择那些内容特征加 入到训练模型，目前缺乏有效的选择准则和融合方法。第二，DBN模型训练 前需要确定输入特征的维度，且训练过程中不能改变具体选取的特征。然而， 随着水军的变化，特征也是变化的，因此人工指定特征维度进行学习，是无 法有效刻画特征变化和实现识别方法的动态适配。因此，如何摒弃人工特征 的选择，用不断反馈调节的方式在特征选择上进行调节和优化，决定使用哪 些维度，而放弃哪些维度，需要研究有效地非人工选择的自动特征融合选取。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于行为 特征和内容特征融合的水军识别方法及系统。

本发明解决上述技术问题的技术方案如下：一种基于行为特征与内容特 征融合的水军识别方法，包括如下步骤：

步骤1：原始数据采集模块采集包括用户行为特征和内容特征的原始数 据，并对每个维度的原始数据进行量化表示；

步骤2：特征融合模块利用马尔可夫链蒙特卡罗随机模型进行用户行为 特征维度和内容特征维度的融合，组成用户特征向量；

步骤3：DBN模型训练模块利用用户特征向量进行DBN模型训练，得到 DBN模型；

步骤4：协同反馈模块对DBN模型进行检测，判断检测结果是否达到预 定标准，如果是则执行步骤6；否则根据检测结果生成相应的调节命令，分 别发送给特征融合模块和DBN模型训练模块；

步骤5：特征融合模块和DBN模型训练模块根据调节命令调节自身相关 参数，进一步进行特征融合的DBN模型训练，返回步骤4；

步骤6：结束执行过程。

本发明的有益效果是：本发明利用了马尔可夫链蒙特卡罗随机模型作为 用户特征维度的随机选择模型，并引入反馈调节机制，在DBN训练过程中根 据识别准确率不断优化行为特征与内容特征的比例分配，具体行为特征和内 容特征的选取，以及对DBN模型训练过程中迭代次数的调整，达到较优的训 练效果，最终提高识别准确率和识别方法的自适应性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤2中的具体实现为：

步骤2.1：设定用户特征总维度为K；

步骤2.2：根据用户特征总维度数K，利用直接抽样法确定用户特征总 维度中行为特征维度与内容特征维度的融合比例；

步骤2.3：根据行为特征维度与内容特征维度的融合比例，利用MCMC 的Gibbs采样模拟联合正态分布的采样过程，分别确定具体选取的行为特征 和内容特征，组成用户特征向量。

进一步，步骤3的具体实现为：

步骤3.1：DBN模型训练模块根据用户特征向量利用逐层无监督贪婪学 习法进行DBN模型的预训练；

步骤3.2：按照BP神经网络的训练方式进行DBN模型的误差反向传播训 练，经过预定迭代次数L的模型训练后，得到DBN模型。

进一步，步骤4的具体实现为：

步骤4.1：协同反馈模块检测DBN模型是否收敛，如果是则执行步骤4.2； 否则执行步骤4.3；

步骤4.2：检测DBN模型是否达到预定的识别准确率阈值，如果是则执 行步骤4.4；否则执行步骤4.3；

步骤4.3：向特征融合模块发送调节行为特征维度和内容特征维度的融 合情况的命令，向DBN模型训练模块发送增加模型训练的迭代次数阈值的 命令；

步骤4.4：结束执行过程。

进一步，步骤2.2的具体实现为：

步骤2.2.1：生成一个[0,1]之间的随机数作为参数p,参数p代表行为 特征维度在用户特征总维度中所占比例；

步骤2.2.2：初始化用于记录迭代次数的计数器的初始值k=0;

步骤2.2.3：生成一个[0,1]之间的随机数q，并与参数p进行比较，

当q<p时，选取一个内容特征维度，内容特征维度数加1，

当q>p时，选取一个行为特征维度，行为特征维度数加1；

步骤2.2.4：k值增加1,判断是否k>=K，其中K代表用户特征总维度 数，如果是则统计待选入用户特征向量的行为特征和内容特征的个数，分别 记录为A和B，结束采样过程；否则返回步骤2.2.3。

进一步，步骤2.3中确定具体选取哪些行为特征的实现过程为：

步骤2.3.1A：设定转移次数阈值为T，初始化转移次数t=0；

步骤2.3.2A：统计采集的原始数据中行为特征的个数，记录为M，生成 M个[0,1]之间的随机数作为初始状态x(0)＝[x₁(0),x₂(0),…x_i(0)...x_M(0)]；

步骤2.3.3A：转移次数t每增加1，对每个变量x_i(t),i∈{1,2..., M}，按以下由联合概率分布得到的条件概率分布公式进行如下计算：

P(x_i(t+1)|x₁(t+1),x₂(t+1),…x_i-1(0),x_i+1(t)...x_M(t))

其中，联合概率分布的均值为X；

步骤2.3.4A：判断是否t<T,如果是则返回步骤2.3.3，否则得到 P(T)＝[P(x₁(T)),P(x₂(T)),…P(x_i(T)),...P(x_M(T))]；

步骤2.3.5A：根据步骤2.2.4中计算的待选入用户特征向量的行为特征 个数A，选取前A个对应概率Px_i(T)最大的行为特征作为选入用户特征向量 的行为特征。

进一步，步骤2.3中确定具体选取哪些内容特征的实现过程为：

步骤2.3.1B：设定转移次数阈值为T，初始化转移次数t=0；

步骤2.3.2B：统计采集的原始数据中内容特征的个数，记录为N，生成 N个[0,1]之间的随机数作为初始状态y(0)＝[y₁(0),y₂(0),…y_j(0)...y_N(0)]；

步骤2.3.3B：转移次数t每增加1，对每个变量,j∈{1,2...,N}， 按以下条件概率对其采样：

P(y_i(t+1)|y₁(t+1),y₂(t+1),…y_j-1(0),y_j+1(t)...y_N(t))

步骤2.3.4B：判断是否t<T,如果是则返回步骤2.3.3，否则得到 P(T)＝[P(y₁(T)),P(y₂(T)),…P(y_j(T)),...P(y_N(T))]；

步骤2.3.5B：根据步骤2.2.4中计算的待选入用户特征向量的内容特征 个数B，选取前B个对应概率Py_j(T)最大的内容特征作为选入用户特征向量 的内容特征。

进一步，步骤5的具体实现为：特征融合模块根据调节命令采用固定因 变量的方法调节与行为特征维度和内容特征维度比例分配相关的参数P，以 及与具体行为特征和内容特征选取相关的联合正态分布的均值X；DBN训练 模块根据调节命令增加模型训练的迭代次数阈值L。

本发明解决上述技术问题的技术方案如下：一种基于行为特征与内容特 征融合的水军识别方法的系统，包括原始数据采集模块、特征融合模块、DBN 模型训练模块和协同反馈模块；

所述原始数据采集模块，其用于采集包括用户行为特征和内容特征的原 始数据，并对每个维度的原始数据进行量化表示；

所述特征融合模块，其用于利用马尔可夫链蒙特卡罗随机模型进行用户 行为特征维度和内容特征维度的融合，组成用户特征向量，还用于根据调节 命令调节自身相关参数，进一步进行特征融合；

所述DBN模型训练模块，其用于利用用户特征向量进行DBN模型训练， 还用于根据调节命令调节自身相关参数，进一步进行DBN模型训练；

所述协同反馈模块，其用于对DBN模型进行检测，判断检测结果是否达 到预定标准，如果是则结束执行过程；否则根据检测结果生成相应的调节命 令，分别发送给特征融合模块和DBN模型训练模块。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述特征融合模块包括维度比例分配单元和具体特征选取单 元；

所述维度比例分配单元，其用于根据用户特征总维度数K，利用直接抽 样法确定用户特征总维度中行为特征维度与内容特征维度的融合比例；

所述具体特征选取单元，其用于根据行为特征维度与内容特征维度的融 合比例，利用MCMC的Gibbs采样模拟联合正态分布的采样过程，确定具体 选取的行为特征和内容特征，组成用户特征向量。

附图说明

图1为本发明所述一种基于行为特征与内容特征融合的水军识别方法流 程图；

图2为本发明所述步骤4的具体实现流程图；

图3为本发明所述步骤2.2的具体实现流程图；

图4为本发明所述步骤2.3的具体实现流程图；

图5为本发明所述一种基于行为特征与内容特征融合的水军识别系统框 图；

图6为本发明所述特征融合模块结构示意图。

附图中，各标号所代表的部件列表如下：

1、原始数据采集模块，2、特征融合模块，3、DBN模型训练模块，4协 同反馈模块，201、维度比例分配单元，202、具体特征选取单元。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本 发明，并非用于限定本发明的范围。

如图1所示，一种基于行为特征与内容特征融合的水军识别方法，包括 如下步骤：

步骤1：原始数据采集模块采集包括用户行为特征和内容特征的原始数 据，并对每个维度的原始数据进行量化表示；

步骤2：特征融合模块利用马尔可夫链蒙特卡罗随机模型进行用户行为 特征维度和内容特征维度的融合，组成用户特征向量；

步骤3：DBN模型训练模块利用用户特征向量进行DBN模型训练，得到 DBN模型；

步骤4：协同反馈模块对DBN模型进行检测，判断检测结果是否达到预 定标准，如果是则执行步骤6；否则根据检测结果生成相应的调节命令，分 别发送给特征融合模块和DBN模型训练模块；

步骤5：特征融合模块和DBN模型训练模块根据调节命令调节自身相关 参数，进一步进行特征融合的DBN模型训练，返回步骤4；

步骤6：结束执行过程。

其中，步骤2中的具体实现为：

步骤2.1：设定用户特征总维度为K；

步骤2.2：根据用户特征总维度数K，利用直接抽样法确定用户特征总 维度中行为特征维度与内容特征维度的融合比例；

步骤2.3：根据行为特征维度与内容特征维度的融合比例，利用MCMC 的Gibbs采样模拟联合正态分布的采样过程，分别确定具体选取的行为特征 和内容特征，组成用户特征向量。

其中，步骤3的具体实现为：

步骤3.1：DBN模型训练模块根据用户特征向量利用逐层无监督贪婪学 习法进行DBN模型的预训练；

步骤3.2：按照BP神经网络的训练方式进行DBN模型的误差反向传播训 练，经过预定迭代次数L的RBM运算后，得到DBN模型。

如图2所示，步骤4的具体实现为：

步骤4.1：协同反馈模块检测DBN模型是否收敛，如果是则执行步骤4.2； 否则执行步骤4.3；

步骤4.2：检测DBN模型是否达到预定的识别准确率阈值，如果是则执 行步骤4.4；否则执行步骤4.3；

步骤4.3：向特征融合模块发送调节行为特征维度和内容特征维度的融 合情况的命令，向DBN模型训练模块发送增加模型训练的迭代次数的命令；

步骤4.4：结束执行过程。

步骤5的具体实现为：特征融合模块根据调节命令采用固定因变量的方 法进行行为特征维度和内容特征维度融合比例的调整，以及具体行为特征和 内容特征选取的调整；DBN训练模块根据调节命令增加模型训练的迭代次数。

如图3所示，步骤2.2的具体实现为：

步骤2.2.1：生成一个[0,1]之间的随机数作为参数p,参数p代表行为 特征维度在用户特征总维度中所占比例；

步骤2.2.2：初始化用于记录迭代次数的计数器的初始值k=0;

步骤2.2.3：生成一个[0,1]之间的随机数q，并与参数p进行比较，

当q<p时，选取一个内容特征维度，内容特征维度数加1，

当q>p时，选取一个行为特征维度，行为特征维度数加1；

步骤2.2.4：k值增加1,判断是否k>=K，其中K代表用户特征总维度 数，如果是则统计待选入用户特征向量的行为特征和内容特征的个数，分别 记录为A和B，结束采样过程；否则返回步骤2.2.3。

假设设定的用户特征总维度数K=8，随机生成的参数p=0.4,经过8次上 述过程的迭代得到待入选的行为特征的个数A=3，内容特征的个数B=5，则 在后续的具体特征选取过程中要选取3个行为特征和5个内容特征。

如图4所示，步骤2.3中确定具体选取哪些行为特征的实现过程为：

步骤2.3.1A：设定转移次数阈值为T，初始化转移次数t=0；

步骤2.3.2A：统计采集的原始数据中行为特征的个数，记录为M，生成 M个[0,1]之间的随机数作为初始状态x(0)＝[x₁(0),x₂(0),…x_i(0)...x_M(0)]；

步骤2.3.3A：转移次数t每增加1，对每个变量x_i(t),i∈{1,2..., M}，按以下由联合概率分布得到的条件概率分布公式进行如下计算：

P(x_i(t+1)|x₁(t+1),x₂(t+1),…x_i-1(0),x_i+1(t)...x_M(t))

其中，联合概率分布的均值为X；

步骤2.3.4A：判断是否t<T,如果是则返回步骤2.3.3，否则得到 P(T)＝[P(x₁(T)),P(x₂(T)),…P(x_i(T)),...P(x_M(T))]；

步骤2.3.5A：根据步骤2.2.4中计算的待选入用户特征向量的行为特征 个数A，选取前A个对应概率Px_i(T)最大的行为特征作为选入用户特征向量 的行为特征。

步骤2.3中确定具体选取哪些内容特征的实现过程参见上述实现过程。

比如，如果上步中采集的原始数据中行为特征维度共5个，步骤2.2.4 中计算出的待加入用户特征向量的行为特征维度为2两个，则首先要随机 生成[0,1]只之间的5个数，本实施例中x₀(0)=[0.2,0.3,0.4,0.5,0.6]；t=0 时,根据Px_i(t+1)＝[x₁(t+1),x₂(t+1),…x_i-1(0),x_i+1(t)...x_M(t)]依次得到Px₁(1)、Px₂(1)、 Px₃(1)、Px₄(1)、Px₅(1)，假设计算得到Px_i(1)=[0.5,0.6,0.2,0.8,0.1]。依次 循环，直到达到预定转移次数，本实施例中T=50，计算得到Px_i(50)，假设计 算得到Px_i(50)=[0.6,0.2,0.5,0.8,0.9]，则选取对应最大概率的两个行为特 征加入用户特征向量。

步骤5的具体实现为：特征融合模块根据调节命令采用固定因变量的方 法调节与行为特征维度和内容特征维度比例分配相关的参数P，以及与具体 行为特征和内容特征选取相关的联合正态分布的均值X；DBN训练模块根据 调节命令增加模型训练的迭代次数阈值L。

其中，对于特征融合模块2内相关参数的调整，本专利利用固定因变量 的方法，对行为特征与内容特征比例分配，以及具体特征选取这两个过程进 行调节，即，调节过程中，先固定一个变量，比如，固定变量p，调节变量 X，找到X的某个值X’使得DBN模型收敛性及判别准确率较好，再固定变量 X，调节p，进一步优化DBN模型的性能，直到模型达到设定的判别准确率阈 值。

对于DBN训练模块3中相关参数的调整，采用增加模型训练的迭代次数 阈值L的方式进行。

如图5所示，一种实现基于行为特征与内容特征融合的水军识别方法的 系统，包括原始数据采集模块1、特征融合模块2、DBN模型训练模块3和协 同反馈模块4；

所述原始数据采集模块1，其用于采集包括用户行为特征和内容特征的 原始数据，并对每个维度的原始数据进行量化表示；

所述特征融合模块2，其用于利用马尔可夫链蒙特卡罗随机模型进行用 户行为特征维度和内容特征维度的融合，组成用户特征向量，还用于根据调 节命令调节自身相关参数，进一步进行特征融合；

所述DBN模型训练模块3，其用于利用用户特征向量进行DBN模型训练， 还用于根据调节命令调节自身相关参数，进一步进行DBN模型训练；

所述协同反馈模块4，其用于对DBN模型进行检测，判断检测结果是否 达到预定标准，如果是则结束执行过程；否则根据检测结果生成相应的调节 命令，分别发送给特征融合模块和DBN模型训练模块。

如图6所示，所述特征融合模块2包括维度比例分配单元201和具体特 征选取单元202；

所述维度比例分配单元201，其用于根据用户特征总维度数K，利用直 接抽样法确定用户特征总维度中行为特征维度与内容特征维度的融合比例；

所述具体特征选取单元202，其用于根据行为特征维度与内容特征维度 的融合比例，利用MCMC的Gibbs采样模拟联合正态分布的采样过程，确定 具体选取的行为特征和内容特征，组成用户特征向量。

下面进一步介绍系统中的各个模块。

1原始数据采集模块

现有的用户描述信息从对象上分为两类：行为特征信息和内容特征信 息。前者主要通过建模对主体相关的注册、社交、转发与评论等操作进行刻 画，常用的行为特征信息包括用户注册时间、历次登陆时间、用户名、密码、 登陆IP、浏览历史记录、发帖历史记录、回帖历史记录、论坛好友记录、粉 丝记录、关注用户记录等；后者更强调从发帖内容本身入手，刻画语言特征 统计，常用的发贴内容信息包括发帖内容本身、发帖内容中的关键词、发帖 内容的自相似性、发帖内容长度等。本专利分别提取用户的行为特征和内容 特征信息，并据此提出用户信息多维度描述框架。本实施例中，用户行为特 征多维度描述框架框架结构如表1所示，用户内容特征多维度描述框架框架 结构如表2所示。

表1

表2

通过用户信息多维度描述框架，可以将用户的行为特征和内容特征信息 转化为数字形式，从而实现用户信息的量化表示。

2特征融合模块

所述特征融合模块为基于MCMC(Markov chain Monte Carlo,马尔可夫 链蒙泰卡罗方法)实现的，该特征融合模块基于马尔可夫链蒙特卡罗随机模 型在行为和内容特征中选取适当维度刻画用户信息。

近年来，随着随机化模型的流行，使用蒙特卡罗方法（Monte Carlo  Method）辅助机器学习过程的研究越来越多，MCMC就是其中最典型的应用。 MCMC的基本思想是利用马尔可夫链对样本集合进行随机采样，即产生指定分 布下的样本。算法依据是从系统任意状态（或随机变量的任意取值）出发， 模拟马尔可夫过程，不断进行状态转移，根据马尔可夫链的性质，在经过足 够的转移次数之后，所处的状态即符合目标分布，这时，该状态就可以作为 一个采集到的样本，即产生了指定分布上的采样。

MCMC算法的关键是设计合理的状态转移过程，即合理的采样算法。

Gibbs采样（Gibbs Sampling）是最简单、应用最广泛的MCMC采样方法， 它应用在系统具有多个变量，并且对于变量间的条件分布我们能够直接采样 的情况下。Gibbs采样中状态转移总是能够实行，具备很快的收敛速度。

本专利中，用MCMC过程Gibbs采样分别对用户行为特征维度和用户内 容特征维度进行采样，可确定刻画用户信息的合理的用户特征维度。

具体包括一些维度比例分配和具体特征选取。

1）行为特征维度与内容特征维度比例分配

本专利中用户特征维度由用户行为特征维度和内容特征维度组成，显然 的，应该存在一种最佳的分配比例（比如用户特征向量中，行为特征维度所 占比例为p，内容特征向量所在比例为1-p,即该比例分配符合基于概率p的 伯努利分布），使得基于行为特征向量和内容特征向量构成的用户特征向量 能在有限维度内最佳描述用户特性。因此，本专利使用直接抽样法对用户特 征维度中行为特征维度与内容特征维度比例分配进行随机采样。

由于该采样应尽量模拟参数为p的伯努利分布，而在训练初始时期，该 参数p是未知的，因此本专利先随机生成一个[0,1]之间的数值作为参数p， 之后可以根据协同反馈模块中的协同调节机制对该参数进行调整。

直接抽样法是一个常用方法，对连续性和离散型的随机变量均有效。假 定用户行为特征维度所占比例服从参数为p的伯努利分布，本装置采用直接 抽样法确定用户行为特征维度和内容特征维度比例分配。即确定用户特征向 量中行为特征维度和内容特征维度各自包括几个维度。

2）基于MCMC的具体行为特征和内容特征的选取

显然的，众多用户行为特征维度/内容特征维度中，每个维度用户信息 对最后识别结果的影响程度不同（比如用户好友数比用户每次登出时间具有 更高的判别效力），各维度的影响程度联合分布基本上可假设为呈正态分布， 即x-N_n(X,B)，其中，B表示联合正态分布的协方差阵，X表示联合正态 分布的均值。本专利通过MCMC的Gibbs采样模拟联合正态分布的采样过程， 从而选取用户行为特征维度组成用户特征向量，参与后续异常分析。

在正态分布中，只要确定均值X、协方差阵B三个参数，就可以唯一确 定一个正态分布，而协方差阵B只是影响正态分布变量取值的离散程度，对 分布的整体趋势影响不大。因此，本专利先随机选取X、B两个参数，进而 通过MCMC选取用户行为特征维度组成用户特征向量进行后续DBN模型训练， 并用DBN模型的识别准确率反馈调节参数X。

本专利使用Gibbs采样算法模拟符合联合正态分布的随机游走，从而完 成对用户行为特征各维度的采样过程。对于任一行为特征x_i（内容特征y_j）， 我们计算联合正态分布的条件概率， Px_i(t+1)＝[x₁(t+1),x₂(t+1),…x_i-1(0),x_i+1(t)...x_M(t)]。根据试验验证，Gibbs采样的 状态转移次数设定为50即可达到对联合正态分布的均衡采样，因此本专利 设定Gibbs采样的转移次数为50。

经过上述采样过程，可以得到一组符合指定联合正态分布规律的采样 值，该采样值表征了用户行为特征每个维度是否被加入用户特征向量的评价 值。参考上步得到的用户行为特征维度占用户特征向量维度比例以及随机采 样得到的评价值排序，可以确定选取哪些用户行为特征维度作为用户特征维 度。类似于上述行为特征维度选取过程，可以对用户内容特征维度进行同样 的选取，从而得到应该加入用户特征维度的用户内容特征维度。至此，就完 成了用户特征维度的选取过程，该特征维度是根据Gibbs随机采样方法融合 原有用户行为特征维度和内容特征维度得来的。

3基于DNB模型的网络水军识别

DBN（Deep Belief Network,深度信念网络）模型是深度神经网络的一 种，是由多层随机变量节点组成的概率生成模型。基本DBN模型由两层RBM （Restricted Boltzmann Machines,受限玻尔兹曼机）和一层BP神经网 络(Back Propagation Neural Network)组成，DBN模型的训练过程分为两个 阶段：预训练阶段和微调阶段。

预训练阶段采用逐层无监督贪婪学习的方法来训练模型中的两层RBM， 预训练之后，就可以将整个网络等价为BP神经网络，可以按照正常BP神经 网络的训练方式对该网络进行误差反向传播训练，经过预定迭代次数L的模 型训练后，得到DBN模型，这个过程被称作微调。

4基于工作流的协同反馈机制

在模型训练过程中，各个模块参数设置的不同可能会给后续模块的输出 带来影响，进而影响最后得到DBN模型的判别准确率。比如，特征向量维度 比例分配阶段，如果比例分配不合适，可能造成用户特征向量中，有用维度 所占比例过低，会导致RMB训练过程不收敛；具体特征选取阶段，如果联合 正态分布参数设置不合适，尤其是联合正态分布的均值X设置不合适，会导 致选取的维度对最终判定没有贡献，使得后续RMB训练过程不收敛；RBM训 练过程中最大迭代次数L的选择如果过低，会使得RBM网络训练不成熟，进 而导致DBN模型陷入局部最优，不能达到预期的判别准确率。

本专利中的多层协同模块根据上述参数之间的关联关系，借鉴了工作流 的思想，定义了最终得到DBN模型向特征融合模块和DBN模型训练模块的反 馈流程，从而根据DBN模型的收敛性和判别准确率反向调整特征融合模块中 的代表行为特征所占比例的参数p和联合正态分布均值X，以及DBN模型训 练模块中的在微调阶段的最大迭代次数L，改善最终得到DBN模型的性能。

本专利结合了其中的串联模型、选择模型和循环模型，定义了基于工作 流的多层协同机制。根据之前的描述，可以确定工作流中包括的3个串联模 型，分别是：用户原始数据采集模块完成数据采集后，进入特征融合模块、 特征融合模块完成后特征融合后，进入DBN模型训练模块、DBN模型训练模 块完成模型训练之后，进入协同反馈模块，协同反馈模块设置2个判断条件， 分别是：DBN模型是否收敛、DBN模型是否达到判别准确率阈值。其中，若 第一个判断条件成立，则继续判断第二个条件是否成立，若两个判断条件均 成立，则流程结束，只要其中一个条件不成立则需要执行的是“增加模型训 练迭代次数阈值L、调节用户特征向量维度”。

在上述工作流中，“调节用户特征向量维度”过程包含对“用户行为特 征与内容特征维度比例分配”和“用户行为特征与内容特征维度选取”两个 过程的调整。其中，对“用户行为特征与内容特征维度比例分配”过程，主 要调节的是直接抽样法中的代表行为特征在用户特征向量中所占比例的伯 努利分布参数p；“用户行为特征与内容特征维度选取”过程中主要调节的是 联合正态分布的均值X。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。