基于结构化概率模型学习的异构数据压缩编码

摘要

数据采集、网络服务和存储技术的发展逐渐产生大量具有复杂结构的异构数据。具有多种统计特性、复杂分布的异构数据压缩的关键在于捕捉其中复杂的结构依赖性。基于结构化概率模型学习利用概率图模型来表示异构数据的复杂结构，并进行模型推断和学习，以及由推理算法优化学习过程。通过优化学习，结构化概率模型能够根据异构数据的复杂结构，对预测问题进行同步的集合预测，能够产生少于逐个进行预测的信息量，所以它们更适合用于异构结构压缩中。本文首先根据异构数据的结构特点建立广义上下文模型，并在此基础上，将基于结构化概率模型学习应用于异构数据压缩中，如基因测序序列压缩、图像无损编码以及视频帧内编码等。
　　首先，本文拓展了采用已预测子序列后缀的经典上下文，通过组合重排和多方向扩展，生成多个方向上已预测符号的任意组合作为上下文，并构建模型。对于具有多方向上已预测符号有限价组合的组合排列的上下文结构，广义上下文模型引入和建立模型树来表示和选取它们的结构，并使用归一化最大似然函数来估计最优上下文模型组合的结构和参数，及进一步对广义上下文模型类进行上下文筛选来排除冗余模型，最终获得最小描述长度准则下最优模型组合。基于所选最优模型组合，能够推导出用于预测的加权估计概率。广义上下文模型的模型冗余被证明为与数据大小无关。
　　广义上下文模型充分考虑符号间依赖性，得出它们的预测概率，因此其实质上为结构化概率模型。将它应用在Calgary全集中异构数据以及可执行程序中时，基于最大似然估计预测的压缩性有所提升。因此可以预期基于结构化概率模型学习应用于异构数据压缩中会有更好的压缩性能。于是我们将基于结构化概率模型学习应用于三种异构数据：基因、图像和视频中。
　　本文提出了一种基于结构化概率模型学习的基因测序序列压缩方案，通过分层预测结构来优化目标和参考序列的差值以用于小波编码。该方案为目标序列中的每个核苷酸片段找出最匹配的参考片段，通过为包括匹配位移和大小的各种边信息配置寻找具有最小编码代价的片段来获得。这样获得的差值序列适合于进行小波编码，因为其中符号主要为零。同时马尔可夫链被用来表示各片段边信息间依赖性，并在此约束下进行边信息预测。置信传播过程被用来获得这些预测，通过在马尔可夫链各结点间传播最可能预测来结构化地预测各结点对应边信息的边际概率，并随时进行更新。这种基于结构化概率模型学习的基因测序序列压缩方案能够通过目标和参考序列的差值有效利用它们间相关性，并同时利用边信息间的依赖性来预测概率分布减少额外编码开销，因此相对于参照算法能够明显提升编码性能。
　　本文提出了一种基于结构化概率模型学习的图像无损编码方案，能够同时利用基于二维上下文的空间统计相关性进行最优预测，以及通过数据驱动的结构依赖性约束预测误差使之与码字估计真实分布一致。使用最大边际马尔可夫网络，通过局部结构一致性的联合约束来结构化地组合支持向量机，由此对整个相关区域进行最大边际估计。通过训练不同上下文环境下的模型参数，使得训练中各像素真实值与其它可能值之间的区别边际最大，从而得到基于上下文的最优预测。在可分解损失函数下随着充分采样，预测误差能够渐近逼近训练误差。自然测试图像无损编码的结果也验证了其性能。
　　本文提出了一种基于结构化概率模型学习的视频帧内编码方案。基于结构化概率模型学习的预测与高性能视频编码进行集成，作为可选模式进行率失真优化，从而对整个亮度块同时预测得到最优率失真性能。并且使用最大边际马尔可夫网络约束整个亮度块基于最大边际估计的预测，使之符合二维离散余弦变换的真实概率分布，所以拉普拉斯损失函数被用来衡量训练与预测中的损失。由于有损编码中残差通常符合拉普拉斯分布，在求解最优预测的过程，期望传播算法被用来以函数族逼近该真实分布。同时使用期望传播来进行信息传递与推断能够保证预测的全局最优性，从而避免了置信传播可能使迭代过程停止在局部最优点的问题。由于损失函数可分解，所以充分采样下预测误差渐近等价训练误差。实验结果证实本方案相较于高性能视频编码标准具有更好的率失真性能和重建图像视觉质量。

目录

封面

声明

答辩决议书

中文摘要

英文摘要

目录

缩略语

第一章 绪论

1.1 研究背景

1.2 主要研究内容和文章结构

1.3 主要创新点

第二章 广义上下文模型：一种通用编码的结构化概率模型1

2.1 前言

2.2 上下文模型及其选择概述

2.3 问题陈述和变量定义

2.4 广义上下文建模

2.5 模型选择

2.6 模型冗余

2.7 基于广义上下文建模的异构数据压缩

2.8 小结

第三章 基于结构化概率模型学习的基因压缩1

3.1 前言

3.2 基因压缩技术概述

3.3 基于结构化概率模型学习的基因压缩编码框架

3.4 采用置信传播的边信息预测

3.5 基于结构化概率模型学习的基因压缩算法实现

3.6 实验结果

3.7 小结

第四章 基于结构化概率模型学习的图像无损编码1

4.1 前言

4.2 图像无损编码技术概述

4.3 基于结构化概率模型学习的图像无损编码框架

4.4 结构化概率模型

4.5 结构化概率模型求解

4.6 基于结构化概率模型学习的图像无损编码算法实现

4.7 实验结果

4.8 小结

第五章 基于结构化概率模型学习的视频帧内编码1

5.1 前言

5.2 视频帧内编码技术概述

5.3 基于结构化概率模型学习的视频帧内编码框架

5.4 结构化概率模型

5.5 结构化概率模型求解

5.6 基于结构化概率模型学习的帧内预测算法实现

5.7 实验结果

5.8 小结

第六章 总结和展望

6.1 全文总结

6.2 未来工作展望

附录A 命题2.1证明

附录B 命题4.2证明

附录C 推论4.3证明

附录D 命题5.2证明

参考文献

致谢

攻读学位期间发表的学术论文目录