压缩感知系统中字典和感知矩阵优化设计

摘要

压缩感知(Compressed Sensing，CS)是一种新兴的信号采样压缩理论，是数学、电子工程学、计算机科学和物理学等学术领域的交叉学科。CS的名称源自于信号采样和压缩步骤可合二为一同步进行的设想。这个设想是可实现的，因为自然界中许多信号都是稀疏或者可被稀疏表示的，即使观测到的是相对少得多的测量值，稀疏性仍为求解对应欠定问题提供了可能，而且这种可能性不仅仅是理论上的，在实践中，已经存在许多高效的算法达到准确重构原信号的目标。CS理论框架包括三大要素:(1)原始信号稀疏表示;(2)降维投影方法;(3)高效重构算法。本文针对这三大要素中的前两个展开具体研究。原始信号稀疏表示涉及到的是字典学习问题，通过训练信号学习一个字典使其能稀疏表示一类信号;降维投影方法关系到测量值中是否保留了原始信号的关键信息，也影响重构算法的求解精度。本文的主题就是研究字典及投影（感知）矩阵的优化设计。
　　归纳本文的主要研究工作为以下五个方面:
　　1.构造不相干框架和等角紧框架。CS是一种全新的理论体系，它的发展依赖于许多传统研究，其中相当重要的就是框架理论。这方面的成果包括:
　　利用交替优化方法构造不相干框架，在一个广泛使用的凸型结构约束空间里推导出了对应框架的解析解形式，这样的算法相对于传统方法，收敛更快、精度更高，所构造框架原子相干性更小;
　　定义了一个新的谱约束空间来保障框架紧致性，采用交替投影方法构造等角紧框架，针对构造过程中产生的矩阵逼近问题，推导出了其解析解，新方法构造的等角紧框架不仅原子间互相干性较小，而且很好地保持了紧致性。
　　2.不相干字典学习。重点研究了相干性约束下的字典学习方法。通过使字典Gram矩阵逼近适当尺寸的单位矩阵（最简单的等角紧框架Gram矩阵）来约束字典原子相干性，并求其解析解形式。注意到该解形式的不唯一性，利用其中的自由度来减小信号稀疏表示误差，该多变量优化模型采用交替最小化方法求解，对于每个自由度，均推导出了其解析解。这样的模型和求解算法，既保障重构算法的准确实施，又可以有效减小信号稀疏表示误差。
　　3.鲁棒型感知矩阵优化设计。为提高信号重构精度，提出了两种感知矩阵设计方法:
　　提出了一种加权模型，将不相干框架Gram矩阵和已知字典Gram矩阵的线性组合作为目标Gram矩阵来设计感知矩阵，并给出了一种迭代算法求解该问题。在更新感知矩阵表达式时，推导了其解析解形式。这样设计的感知矩阵既可适用于稀疏信号，对于表示误差较大的情形也有较强的鲁棒性;
　　将稀疏表示误差在测量域的投影值加入到优化模型。此外，不同于上述工作，新模型将等角紧框架作为逼近目标，既保证不相干性，又具备紧致性。针对这样的模型，提出了一种迭代算法求解感知矩阵。所得到的感知矩阵不仅使得对应等效字典具备良好的不相干特性和紧致性，而且直接优化测量域表示误差，鲁棒性非常高。
　　4.字典和感知矩阵联合优化设计。将感知矩阵嵌入字典学习过程，既在设计感知矩阵时考虑字典的作用，又将感知矩阵对字典的反作用体现出来。提出了一种交替优化方案求解该联合优化模型，主要包括两方面内容:(1)已知字典，利用前文讨论的鲁棒型感知矩阵设计方法更新感知矩阵;(2)固定感知矩阵，更新字典，推导出耦合了感知矩阵的字典的解析解形式。这样联合优化设计的CS系统性能得到极大提高。
　　5.CS理论的应用。研究了CS理论的两种应用场景:
　　研究基于感知矩阵优化的压缩信号检测问题。证明了Neyman-Pearson检测器对应最佳感知矩阵仅由其右奇异向量组成的标准正交矩阵决定，推导出该标准正交矩阵与信号检出率间的关系。为了提高检出率，优化设计该标准正交矩阵，使得对应等效字典Gram矩阵逼近一个等角紧框架Gram矩阵。如此得到的感知矩阵可有效提高信号的检出率;
　　研究分布式压缩系统中稀疏参数向量估计问题。在分布式压缩模型中，参数估计是在压缩域中进行的，采用自适应递归最小二乘算法求解局部估计值取得很好的效果。此外，线下设计不相干感知矩阵应用于该系统，既简化计算，又有效提高了性能。通过无线传感网络的应用实验证实，无论收敛速度还是估计精度，新方法均得到令人满意的结果。

目录

声明

摘要

符号定义和说明

插图

表格

1．1 问题背景及研究意义

1．2 压缩感知研究历史及现状

1．3 论文的主要研究工作

1．4 论文的组织结构

第二章 压缩感知基础知识

2．1 向量空间和范数

2．2 基和框架

2．3 信号稀疏模型

2．3．1 稀疏性和非线性逼近

2．3．2 稀疏模型的应用

2．4 压缩感知数学模型

2．5 等效字典

2．5．1 spark约束

2．5．2 零空间特性

2．5．3 约束等距特性

2．5．4 互相干性

2．5．5 四种性质的关联

2．6 字典学习

2．6．1 综合字典学习

2．6．2 分析字典学习

2．7 感知矩阵设计

2．8 本章小结

第三章 构造不相干框架和等角紧框架

3．1 框架基本知识

3．2 构造不相干框架

3．2．1 相关工作

3．2．2 本文工作

3．2．3 仿真结果

3．3 构造等角紧框架

3．3．1 相关工作

3．3．2 本文工作

3．3．3 仿真结果

3．4 本章小结

第四章 不相干字典学习

4．1 传统字典学习模型

4．2 相关字典学习方法

4．2．1 K-SVD

4．2．2 BaPl

4．2．3 SDB

4．3 相干性约束字典学习

4．3．1 问题形成

4．3．2 相干性约束字典学习算法

4．4 实验仿真结果

4．4．1 算法收敛性能

4．4．2 字典性能比较

4．5 本章小结

第五章 鲁棒型感知矩阵设计

5．1 传统感知矩阵设计方法

5．1．1 Elad方法

5．1．2 DCS方法

5．2 基于加权Gram矩阵鲁棒型感知矩阵设计

5．2．1 问题形成

5．2．2 WGMRSM设计算法

5．2．3 实验仿真结果

5．3 基于ETF和SRE鲁棒型感知矩阵设计

5．3．1 问题形成

5．3．2 ESRSM设计算法

5．3．3 实验仿真结果

5．4 本章小结

第六章 字典和感知矩阵联合优化设计

6．1 问题形成

6．2 AOSMD算法

6．2．1 Coupled-KSVD

6．2．2 本文算法

6．3 实验仿真结果

6．3．1 耦合字典学习性能

6．3．2 联合优化设计系统性能

6．4 本章小结

第七章 压缩感知应用

7．1 基于感知矩阵优化的压缩信号检测

7．1．1 问题形成

7．1．2 感知矩阵优化设计

7．1．3 实验结果

7．2 基于感知矩阵优化的分布式压缩估计

7．2．1 模型描述

7．2．2 感知矩阵优化设计

7．2．3 实验结果

7．3 本章小结

8．1 总结

8．2 展望

参考文献

附录

致谢

攻读博士学位期间发表的论文及参与的项目