首页> 中国专利> 基于自动编码器网络的压缩感知测量矩阵优化方法和系统

基于自动编码器网络的压缩感知测量矩阵优化方法和系统

摘要

本发明涉及一种基于自动编码器网络的压缩感知测量矩阵优化方法和系统,包括:获取原始图像作为训练数据,通过分割裁剪处理将训练数据分割多个图像块;根据预设的采样率和自动编码器网络对图像块进行采样,生成初步重建图;根据深度残差网络计算初步重建图和原始图像间的残差值;将残差值与初步重建图相融合,生成重建结果,并根据重建图和图像块建立损失函数,通过损失函数对自动编码器网络中的参数矩阵进行训练,最后将训练完成的自动编码器网络参数作为压缩感知测量矩阵。本发明通过自动编码器对数据维度的变换,模拟实现了图像从采集到重建的过程,其中采集过程的参数即为测量矩阵,并且得到的测量矩阵具有很好的重建质量。

著录项

  • 公开/公告号CN107784676A

    专利类型发明专利

  • 公开/公告日2018-03-09

    原文格式PDF

  • 申请/专利权人 中国科学院计算技术研究所;

    申请/专利号CN201710911885.4

  • 申请日2017-09-29

  • 分类号

  • 代理机构北京律诚同业知识产权代理有限公司;

  • 代理人祁建国

  • 地址 100080 北京市海淀区中关村科学院南路6号

  • 入库时间 2023-06-19 04:42:50

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-06-05

    授权

    授权

  • 2018-04-03

    实质审查的生效 IPC(主分类):G06T11/00 申请日:20170929

    实质审查的生效

  • 2018-03-09

    公开

    公开

说明书

技术领域

本发明涉及压缩感知采样所用的测量矩阵设计领域,特别涉及一种基于自动编码器网络的压缩感知测量矩阵优化方法和系统。

背景技术

压缩感知理论作为当前较为新颖的一种采样理论,能从相较于传统采样理论少得多的采样数据中重建恢复得到原始信号,降低了传统信号的采集难度。

根据压缩感知理论:y=Φx,在压缩感知的采样过程中,需要将信号在测量矩阵Φ上进行随机投影从而得到测量值y,而为了使得测量值中尽可能包含原始信号足够多的信息,就需要测量矩阵满足一定的条件,也就是测量矩阵的构造问题,目前研究表明测量矩阵需要满足两个性质:有限等距性(RIP)和非相干性(Incoherence)。

目前常用的测量矩阵分为三大类:一类是高斯随机矩阵、二值矩阵,还有一类是局部傅里叶矩阵、局部哈达玛(Hardama)测量矩阵等,最后一类是诸如球测量矩阵、循环矩阵等。

除了传统的这三类矩阵之外,目前基于深度学习方法也有人提出新的构造测量矩阵的方法,2015年Mousavi提出使用自动编码器来学习压缩感知的采样及重建过程,这一框架既可以单独应用于图像的重建,也可以将采样阶段囊括进来,实现图像端到端的重建。

在常用的测量矩阵中,高斯随机矩阵与任意稀疏信号几乎都不相干,所用测量次数是最少的,但是其缺陷在于需要的存储空间太大,同时计算也较为复杂;局部傅里叶矩阵从N×N的傅里叶矩阵中随机选择M行,然后对各列进行单位正则化,复杂度低,但是由于其通常只与时域稀疏的信号不相干,所以限制了它的应用,还有托普利兹矩阵和结构化矩阵都存在计算复杂度高,存储量大的问题,重建不确定性高。因此新提出的的结构还不够成熟,所重建得到的图像质量还不够高,有待改进。

发明内容

本发明的目的是解决上述现有测量矩阵的单一和效率低的问题,提出一种基于自动编码器网络的测量矩阵构造方法。具体地说,本发明公开了一种基于自动编码器网络的压缩感知测量矩阵优化方法,其中包括:

步骤1、获取原始图像作为训练数据,通过分割裁剪处理将该训练数据分割多个图像块,并将该图像块转为一维向量输入至自动编码器网络;

步骤2、根据预设的采样率和该自动编码器网络对该图像块进行采样,生成初步重建图;

步骤3、根据深度残差网络计算该初步重建图和该原始图像间的残差值;

步骤4、将该残差值与该初步重建图相融合,生成重建结果,并根据该重建图和该图像块建立损失函数,通过该损失函数对该自动编码器网络中的参数矩阵进行训练,最后将训练完成的自动编码器网络参数作为压缩感知测量矩阵。

该基于自动编码器网络的压缩感知测量矩阵优化方法,其中该自动编码器网络包括多个全连接层。

该基于自动编码器网络的压缩感知测量矩阵优化方法,其中该损失函数采用均方误差算法来衡量该重建图和该图像块的平均误差。

该基于自动编码器网络的压缩感知测量矩阵优化方法,其中该采样率为该原始图像的1%、4%、10%或25%。

该基于自动编码器网络的压缩感知测量矩阵优化方法,其中该深度残差网络包括多个残差层。

本发明还提出了一种基于自动编码器网络的压缩感知测量矩阵优化系统,其中包括:

训练数据分割模块,用于获取原始图像作为训练数据,通过分割裁剪处理将该训练数据分割多个图像块,并将该图像块转为一维向量输入至自动编码器网络,根据预设的采样率和该自动编码器网络对该图像块进行采样,生成初步重建图;

残差计算模块,用于根据深度残差网络计算该初步重建图和该原始图像间的残差值,将该残差值与该初步重建图相融合,生成重建结果,并根据该重建图和该图像块建立损失函数,通过该损失函数对该自动编码器网络中的参数矩阵进行训练,最后将训练完成的自动编码器网络参数作为压缩感知测量矩阵。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该自动编码器网络包括多个全连接层。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该损失函数采用均方误差算法来衡量该重建图和该图像块的平均误差。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该采样率为该原始图像的1%、4%、10%或25%。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该深度残差网络包括多个残差层。

由此本发明具有的优势包括:

1、本发明利用了自动编码器对于恒等函数学习的特点,且可以变换输入到输出的维度,这一特色契合压缩感知重建中数据的变换特点,通过自动编码器对数据维度的变换,模拟实现了图像从采集到重建的过程,其中采集过程的参数即为测量矩阵;

2、在压缩感知装置对场景进行采样的过程中,运用通过自动编码器获得的该测量矩阵,有利于后期的重建图像质量的提升;

3、深度残差重建网络对图像质量的有效提升,具体来说,在自动编码器网络得到初步的重建结果之后,用深度残差网络缩小与目标值之间的差距,提升整体重建质量,结合自动编码器网络的重建结果,优化后得到图像质量较高,同时训练所得的测量矩阵在不同重建算法下对于重建质量都相比原先随机矩阵更高。

附图说明

图1为不同采样率下SDA和残差网络优化后的重建结果对比示意图;

图2为采样率1%下测量矩阵的重建结果示意图;

图3为采样率4%下各测量矩阵的重建结果示意图;

图4为采样率10%下各测量矩阵的重建结果示意图;

图5为采样率25%下各测量矩阵的重建结果示意图;

图6为本发明测量矩阵训练网络结构示意图;

图7为本发明测量矩阵训练流程示意图;

图8A、图8B、图8C、图8D均为各测量矩阵的重建结果对比示意图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。

本发明针对压缩感知采样过程所用的测量矩阵做了新的设计,用自动编码器网络训练,其中训练的数据所涉及的图片可来自任意图库,本实施例仅使用来自Kulkarni K,Lohit S,Turaga P,et al.ReconNet:Non-Iterative Reconstruction of Images fromCompressively Sensed Measurements[J].2016:449-458中所用的91幅图,目的是为了和现有技术做出对比,以展示本发明的技术效果。

整体的网络训练分为2步:

1)自动编码器网络实现采样和初步重建,从图1可看出仅自动编码器网络(SDA)的重建结果就已经很可观,其中图1至图5中所涉及的数据单位均为dB;

2)在1)的基础上接深度残差网络进行图像质量的提升和优化,得到的结果如图1所示,本发明发现对于测试图像,经过,优化后图像质量得到进一步提升,其中图1中MR代表采样率,SDA-p表示只训练自动编码器(SDA)子网络的结果,也就是图6中虚线框的网络。SDA-R3表示SDA后跟3层残差网络的结果,也就是图6的全部网络;

在训练完成之后得到测量矩阵,在传统压缩感知重建算法TVAL3和NLR-CS下分别就随机高斯测量矩阵和本发明训练所得的测量矩阵下进行测量然后用各自的重建算法进行恢复,得到的结果如图2、图3、图4和图5所示可知,训练所得的测量矩阵全面超过了随机高斯矩阵在相同重建算法下的结果。

本发明的网络设计如图6所示,其中patch代表步骤1中图像块的一维向量;自动编码器网络包括多个全连接层,其中图6示出有两层全连接,图中的格子是数据量的示意图,例如patch是33*33=1089个数据,经过一层全连接以后压缩采样,如果采样率是10%,那么剩余109个数据,第二次全连接又恢复到1089个数据,所以第一层全连接模拟了压缩感知测量矩阵φ的作用,深度残差网络包括多个残差层。具体的训练过程分为自动编码器预训练和深度残差网络训练两部分,下面具体介绍流程:

具体的实施流程如图7所示:

步骤1、获取原始图像作为训练数据,通过分割裁剪处理将该训练数据分割多个图像块,并将该图像块转为一维向量输入至自动编码器网络。对训练数据即图像,先进行分割裁剪,将图片分割为33×33大小的图像块xi,同时将其转为一维向量输入到自动编码器网络(SDA)中;

步骤2、根据预设的采样率和该自动编码器网络对该图像块进行采样,生成初步重建图。自动编码器网络实现数据采样和初步重建(预训练)。SDA结构为“1089-1089×MR-1089”,即通过SDA结构中第一层全连接将1089压缩成1089*MR,根据采样率(MR)不同来设置,先得到y后得到

y=F(w1x+b1)

y表示测量值,F表示第一层全连接网络,w1和b1都是网络参数,x表示原始图像数据1089,w2和b2表示第二层全连接参数,Γ表示第二层全连接网络,代表初步重建图。

步骤3、根据深度残差网络计算该初步重建图和该原始图像间的残差值。在步骤2的基础上进行如图6所示的整个网络的训练,用残差网络缩小输出与目标值之间的残差值,残差值以表示,残差网络以表示,其中Fr代表残差网络,代表初步重建图,wr代表残差网络的参数;

步骤4、融合。将该残差值与该初步重建图相融合,生成重建结果,并根据该重建图和该图像块建立损失函数,通过该损失函数对该自动编码器网络中的参数矩阵进行训练,最后将训练完成的自动编码器网络参数作为压缩感知测量矩阵。具体包括将经过SDA得到的重建结果与残差值融合,得到最终的重建结果

最终的损失函数采用均方误差算法来衡量该重建图和该图像块的平均误差,形式为:

其中N代表训练集大小,在本实施例中即为86656,也就是所有图像块的平均误差。需要注意的是,损失函数是用于计算输出结果与目标xi之间差别的函数,并不是与输入图像结合,例如公式里的

第五步:完成上述的训练后,提取参数矩阵w1即为所求的测量矩阵。具体到本实施例,10%采样率1089-109-1089的采样重建,从1089到109是w1作用的,然而从109到1089是w2作用的,那么w1实际上是模拟压缩感知压缩的过程,所以w1是测量矩阵;

第六步:将测量矩阵用于其他不同的重建算法中测试,得到的结果如图8A、图8B、图8C和图8D所示,其中‘原’指的都是高斯随机矩阵,也就是没有训练得到的矩阵,‘r3’是本发明训练得到的矩阵,每一列表示相同的采样率。两种评价指标,一种是图像的主观感受r3的图像质量更高,另一种是客观的评价,r3的PSNR值更高。

以下为与上述方法实施例对应的系统实施例,本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效,为了减少重复,这里不再赘述。相应地,本实施系统中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于自动编码器网络的压缩感知测量矩阵优化系统,其中包括:

训练数据分割模块,用于获取原始图像作为训练数据,通过分割裁剪处理将该训练数据分割多个图像块,并将该图像块转为一维向量输入至自动编码器网络,根据预设的采样率和该自动编码器网络对该图像块进行采样,生成初步重建图;

残差计算模块,用于根据深度残差网络计算该初步重建图和该原始图像间的残差值,将该残差值与该初步重建图相融合,生成重建结果,并根据该重建图和该图像块建立损失函数,通过该损失函数对该自动编码器网络中的参数矩阵进行训练,最后将训练完成的自动编码器网络参数作为压缩感知测量矩阵。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该自动编码器网络包括多个全连接层。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该损失函数采用均方误差算法来衡量该重建图和该图像块的平均误差。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该采样率为该原始图像的1%、4%、10%或25%。

该基于自动编码器网络的压缩感知测量矩阵优化系统,其中该深度残差网络包括多个残差层。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号