基于视觉感知的H.264感兴趣区域编码研究

摘要

视频编码技术是有效传输和存储视频信息的关键技术之一，是现代信息技术中不可或缺的重要组成部分。H.264/AVC(以下简称H.264)是ITU和ISO/IEC联合制定的最新视频编码标准。从视频编码技术的发展历程来看，如何在复杂度和时延受限的条件下，获得最优化的率失真性能，是视频编码设计的核心问题。研究人员先前主要从减少空间域冗余、时间域冗余和统计冗余三个方面来改善视频编码的率失真性能，而目前采用视觉处理、基于区域的视频编码技术是该领域的热点研究方向之一。视觉神经科学研究已经证明，人类视觉系统(Human Visual System，HVS)对视频场景的感知是有选择性的，不同的区域或者对象具有不同的视觉重要性。然而，传统的视频编码算法，在压缩视频图像时，并没有考虑HVS对视频场景感知的多样性。因此，对如何利用视觉感知原理来改善H.264视频编码算法的编码效果和计算效率这个问题进行深入研究，具有重要的理论意义和应用价值。本文正是在这种研究背景下，展开了基于视觉感知的H.264感兴趣区域编码算法的研究。 第1章绪论部分首先阐述了选题的意义，然后对国内外研究现状进行了综述并作了相应的总结，最后介绍了本课题的主要研究内容和论文结构。 第2章针对全局运动估计计算复杂度过高的问题，提出了一种基于运动矢量对消和差分原理的快速全局运动估计算法。该算法分为两个步骤，首先基于不同象限运动矢量对之间存在的对称抵消特性，估计出平移运动参数分量，然后使用运动矢量对的差分原理，并且结合一种置信判断的策略，估计出变换运动参数分量。全局运动参数的快速有效估计，为后续三章的研究工作奠定了基础。 第3章提出了一种基于H.264编码域的移动区域检测算法，以运动矢量和像素差值的绝对值的和(Sum of Absolute Difference，SAD)等H.264编码辅助信息作为输入特征量，通过三个算法步骤实现对移动区域的检测。首先，通过全局运动估计及补偿处理和空间域-时间域两步运动矢量滤波方法，实现对运动显著区域的快速检测；然后通过对零运动矢量处的SAD建立χ2分布，采用基于F假设检验的变化检测方法，来快速检测包含小幅运动的移动区域；最后利用上述两步的检测结果计算出最终的移动区域分布图。移动区域的快速有效检测，为下一章运动感知子模型的研究奠定了基础。 第4章提出了一种新颖的视觉感知模型，采用时间域和空间域的特征融合方式，计算视频场景的视觉感知图，有效模拟出HVS对视频场景的感知结果。该视觉感知模型由运动感知子模型、纹理感知子模型和空间位置感知子模型三部分构成。首先基于运动速度、运动方向、运动一致性和生物运动等视觉特征，对HVS的运动感知进行了建模，有效模拟HVS对移动区域的感知；接着基于HVS的视觉敏感度和视觉掩盖效应感知机制，对HVS的纹理感知进行了建模，有效模拟HVS对纹理复杂度的感知；然后基于HVS的中央凹和眼动控制感知机制，对HVS的空间位置感知进行了建模，实现了全局运动类型自适应的空间位置感知权重调整。 第5章提出了一种基于视觉感知的H.264感兴趣区域编码算法，以视觉感知模型和H.264感兴趣区域编码器之间的信息共享为基础，首先采用已提出的视觉感知模型计算视觉感知图，然后进行基于视觉感知图的比特资源分配和计算资源分配，实现了H.264编码效果的改善，及计算效率的提高。在比特资源分配算法中，首先根据HVS对高频信号失真不敏感的感知机制，研究并提出了一种自适应频率系数压制技术；然后分别从理论以及实验两方面分析了视频编码中比特资源的分布特性；最后基于视觉感知图和一种有效的整体编码控制策略，实现了编码效果的改善。在计算资源分配算法中，在对H.264最优编码模式与视频场景内容特征的内在关联进行实验分析的基础上，根据视觉感知图和全局运动类型，研究并提出了一种高效的H.264快速模式分析算法，实现了计算效率的提高。 第6章总结了本论文的研究成果和创新点，并提出了进一步研究的方向和任务。

目录

文摘

英文文摘

声明

致谢

1 绪论

1.1 选题的意义

1.2 国内外研究现状

1.2.1 视觉感知原理及其在视频处理领域的应用

1.2.2 视觉感知分析和感兴趣区域编码

1.2.3 移动区域检测和全局运动估计

1.3 主要研究内容和论文结构

1.3.1 主要研究内容

1.3.2 论文结构

2 全局运动估计快速算法研究

2.1 全局运动模型

2.2 运动矢量组优化选择

2.3 基于运动矢量对消和差分原理的快速全局运动估计

2.3.1 平移参数T的估计

2.3.2 变换参数A的估计

2.4 实验结果和分析

2.5 本章小结

3 基于H.264编码域的移动区域检测算法研究

3.1 基于H.264编码域的移动区域检测算法

3.2 移动区域分布图1检测

3.2.1 空间域运动矢量滤波

3.2.2 时间域运动矢量滤波

3.2.3 运动矢量滤波效果

3.3 移动区域分布图2检测

3.3.1 SAD (0，0)的X2概率分布建立

3.3.2 基于F假设检验的变化检测

3.4 移动区域分布图计算

3.5 实验结果与分析

3.5.1 移动区域分布图检测结果

3.5.2 变化检测效果比较

3.5.3 计算复杂度比较

3.6 本章小结

4 时空特征融合的视觉感知分析研究

4.1 基于时空特征融合的视觉感知模型

4.1.1 动感知子模型

4.1.2 纹理感知子模型

4.1.3 空间位置感知子模型

4.1.4 感知图的时空特征融合

4.2 实验结果和分析

4.2.1 视觉感知图计算结果

4.2.2 视觉注意度分析

4.2.3 视觉注意焦点提取结果比较

4.3 本章小结

5 基于视觉感知的H.264感兴趣区域编码研究

5.1 基于视觉感知的H.264感兴趣区域编码算法

5.2 基于视觉感知图的比特资源分配

5.2.1 自适应频率系数压制

5.2.2 视觉感知图修正

5.2.3 比特资源分配特性分析

5.2.4 面向比特资源分配的编码控制策略

5.3 基于视觉感知图的计算资源分配

5.3.1 H.264最优编码模式与视频图像内容特征

5.3.2 计算资源分配方案

5.4 实验结果和分析

5.5 本章小结

6 结论和展望

6.1 结论

6.2 展望

参考文献

攻读博士学位期间的主要研究成果