一种基于期望传播的多任务稀疏重构和聚类方法

摘要

本发明公开了一种基于期望传播的多任务稀疏重构和聚类方法，1)通过引入“spikeand slab”和“Dirichlet Process”先验概率分布，构造一种具有多任务稀疏结构聚类的贝叶斯生成模型；(2)使用期望传播技术，将上述模型参数后验分布求解问题转换所选指数类分布的参数优化问题；(3)初始模型近似概率分布，(4)对每个q1j、q2j、q3j，分别计算其cavity分布，以更新对应参数，模型参数收敛至最优值时停止，本发明可以显著降低信号重构误差，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

说明书

技术领域

本发明属于信号处理压缩感知领域，具体涉及一种多任务稀疏重构和聚类方法。

背景技术

20世纪以来，稀疏性在信号重建和压缩感知领域掀起巨大的浪潮，吸引了无数的科研人员和工程师相继投入研究。在信号稀疏的条件下，压缩感知技术就可以通过较少的测量，以很高的精度重建原始信号。特别是处于现今的信息大爆炸时代，稀疏信号重构能够压缩数据，去除冗余信息，这使得它在雷达成像，射电天文学，字典学习，图片降噪，图片分类等领域得到广泛的应用。

稀疏重构的方法就是使用远少于原始测量数据条件下重建信号。针对这一问题，研究人员相继提出了各种压缩感知重构方法。比如基于贪婪策略的匹配追踪算法，基于优化的LASSO方法等。贝叶斯压缩感知方法作为稀疏重构方法中的一种，由于其优异的重构性能越来越多引起了研究者的关注。

研究人员发现，自然界中的不同原始信号往往具有大量的重复性信息，如果利用好这些重复性信息可以进一步提高信号的压缩比，即以更少的观测量，以更高的精度重建原始信号。这种重复性一方面体现在单一信号中，连续位置的信号值往往具有延续性，为了利用这一信息，人们提出了组稀疏的概念，著名的重构方法有组对称匹配追踪法，组LASSO法等。另外一方面，不同信号的对应位置的信号也具有延续性，基于这一点，科研人员提出了多任务稀疏重构方法，包括MT-CS方法，DP-MTCS方法。

目前存在多种技术给信号施加约束，以限制信号重构的稀疏性，“spike andslab”先验概率分布就是其中之一，它是一种典型的混合概率分布。“spike and slab”在概率论角度很好地描述了信号的稀疏性特性，被誉为保证稀疏性的“黄金”先验。

目前以存在的多任务稀疏重建方法中，大多默认多个信号的稀疏结构相似，因此利用全部信号的信息延续性提高重建精度。然而在实际问题中是不现实的，很多情况下，多个信号往往具有几种不同的稀疏结构，这时仍然利用全部信号信息分享重构信号不仅无法提高重建精度，还会导致性能的急剧下降。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于期望传播的多任务稀疏重构和聚类方法，利用同类任务具有信息共享的策略，在利用“spike and slab”先验概率模型实现多任务稀疏重构的同时，进一步引入“Dirichlet”过程自主学习多任务间的聚类。本发明可以显著降低信号重构误差，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于期望传播的多任务稀疏重构和聚类方法，包括以下步骤：

步骤1，引入“spike and slab”和Dirichlet过程先验概率分布，构造具有多任务稀疏结构聚类的贝叶斯生成模型：

y

f

v

其中，y

步骤2，使用期望传播方法(Expectation Propagation)将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类(Exponential Family)分布的参数优化问题。

步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法：

步骤2.1，关于模型参数后验概率分布满足如下关系：

其中，r＝{σ

根据贝叶斯准则，求得隐变量H的后验分布为：

其中，Z为边缘概率分布p(Y)，

步骤2.2，将式(1)分解为3项：

其中，f

步骤2.3，从属于Exponential Family概率分布中选择互相共轭的分布，以确定近似分布的形式，其具体表达式如下：

q

其中，q

步骤3，初始模型近似概率分布，q

步骤4，对每个q

步骤5，对每个q

步骤6，对每个q

步骤7，更新联合近似参数m

步骤8，收敛条件为满足时候，重复步骤，4-7，否则，停止重复，模型参数收敛至最优值。

步骤9对应m

优选的：步骤3中所述初始化模型近似概率分布q

m

∑

μ

a

其中，a＝K，b＝1。

优选的：步骤4中所述对每个q

其中

m

∑

优选的：步骤5中对每个q

步骤5.1，计算cavity分布：

积分得到边缘分布：

p(x

步骤5.2，计算归一化常数：

步骤5.3，最小化KL(q

优选的：步骤6中对每个q

步骤6.1，计算cavity分布参数：

步骤6.2，计算归一化常数：

步骤6.3，矩量匹配

优选的：步骤8中收敛条件为参数前后更新误差不小于1e-5。

本发明相比现有技术，具有以下有益效果：

1)本方法通过引入“spike and slab”和“Dirichlet Process”先验分布，构造了一种基于多任务稀疏结构聚类的贝叶斯生成模型，充分挖掘了信号间潜在的稀疏结构相似信息。与传统方法如多任务稀疏重建，本方法引入的“spike and slab”和“DirichletProcess”先验分布假设使得重构信号更加接近原信号的真实分布和真实聚类信息，从而获得更好的重构性能。

2)本方法基于期望传播算法，不同于传统方法，本算法使用迭代的方法，在每一步都优化一个子式的分布，使得近似分布更加接近真实后验分布，大大减少了计算量，加快了运行速度。得益于这些优点，本方法可以有效改善信号的稀疏重构均方误差，减少重构原信号所需的观测数与运行速度，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

附图说明

图1为本发明方法的流程图；

图2为实施例1中用本发明方法重构出的稀疏信号与原信号的对比图；

图3为实施例1中本发明方法给出的不同信号聚类类别情况；

图4为实施例2中本发明方法与现有方法在不同观测值下重构误差的对比。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

实施例1：

一种基于期望传播的多任务稀疏重构和聚类方法，如图1所示，包括以下步骤：

步骤1，引入“spike and slab”和Dirichlet Process先验概率分布，构造具有多任务稀疏结构聚类的贝叶斯生成模型：

y

f

v

其中，y

本实施例中，选用70×128维的观测矩阵，128×1维的稀疏向量，稀疏向量共分为5类，每类10个样例，每个稀疏向量均包含20个非0值。每个类中，不同样例仅有两个非零元素的位置不同。而不同类中，任意两个样例的20个非零元素出现的位置均不相同。模型超参数设置选择为：τ

步骤2，使用期望传播(Expectation Propagation)方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布(Exponential Family)的参数优化问题。

步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法：

步骤2.1，关于模型参数后验概率分布满足如下关系：

其中，r＝{σ

根据贝叶斯准则，求得隐变量H的后验分布为：

其中，Z为边缘概率分布p(Y)，

步骤2.2，将式(1)分解为3项：

其中，f

步骤2.3，从属于指数类(Exponential Family)概率分布中选择互相共轭的分布，以确定近似分布的形式，其具体表达式如下：

q

其中，q

步骤3，初始模型近似概率分布，q

m

∑

μ

a

其中，a＝K，b＝1。。

步骤4，对每个q

其中

m

∑

步骤5，对每个q

步骤5.1，计算cavity分布：

积分得到边缘分布：

p(x

步骤5.2，计算归一化常数：

步骤5.3，最小化KL(q

步骤6，对每个q

步骤6.1，计算cavity分布参数：

步骤6.2，计算归一化常数：

步骤6.3，矩量匹配

步骤7，更新联合近似参数m

步骤8，收敛条件为满足时候，重复步骤，4-7，否则，停止重复，模型参数收敛至最优值。收敛条件为参数前后更新误差不小于1e-5。

步骤9对应m

图2给出了本实例中其中一个原信号与其重构信号的对比图，其中实线表示原信号，虚线表示重构信号。从图中可以看到，实线与虚线高度重合，说明本发明公开的信号重构方法可以有效的对具有稀疏结构聚类特性的信号重构。

图3给出了本实施例中所示信号重构方法给出的不同稀疏结构的信号的分类情况，可以看出，具有相似0和非0位置的信号均被本发明的方法成功聚类，这是其他多任务稀疏重建方法所不具备的能力。

本实例主要对比了本发明公开的一种基于期望传播的多任务稀疏重构和聚类方法与现有其它组稀疏信号重构方法在不同观测数量下的均方误差，除信噪比恒为20dB且观测数量不断变化外，其余参数设置均与实施例1相同。如图4所示，横轴表示观测数量，纵轴表示均方误差，各条折线所对应的信号重构方法名称如图中所示。本方法在利用不同类别稀疏信号类间信息延续特性，从而大幅提高信号的重建精度。从图中可以看出，本发明公开的方法的均方误差显著低于其余方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。