LZO实时无损压缩的硬件设计

摘要

在互联网基础上的物联网和云计算技术，使人们的生活更加智能化。然而，这些技术在发展的过程中却面临着海量数据的传输和存储等亟待解决的问题。因而，寻求一种合适的方案解决海量数据的传输和存储问题成为互联网技术和云计算技术持续发展的一项重要任务。经过调查和研究发现，目前解决此类问题的一种有效且可靠的技术方案是对海量数据进行压缩处理。然而，无论是互联网技术或云计算技术，它们对数据处理的实时性要求都特别高，寻找一种合适的压缩算法，在保证压缩率适中的情况下满足实时压缩效果则显得尤为重要。
　　LZO(Lempel-Ziv-Oberhumer)是一种被称为实时数据无损压缩的算法，该算法的平均压缩速率约为55MB/sec（2.6GHz主频），平均压缩率约为50％。虽然LZO压缩算法取得了适中的压缩率和实时的压缩速率的优点，但是在面对互联网和云计算海量数据处理时，如果采用软件压缩海量数据，LZO压缩算法的执行过程会占用大量的CPU资源，另外，由于软件串行执行的特点使得该算法的实时性不能充分发挥。为此，本论文提出一种全新的硬件结构，利用硬件的并行性等特点使LZO压缩算法特性得以发挥，同时释放了算法执行过程中占用的CPU资源。通过进一步对LZO压缩算法进行研究，针对性的提出基于该硬件结构的加速方案，使得LZO压缩算法压缩速率和压缩率均有所提升。采用Altera公司的SOPC Builder工具将LZO压缩算法模块与Altera公司的相关IP(Intellectual Property)模块搭建成SOPC（System On Programmable Chip, Altera公司提出的一种概念），同时在IDE(IntegratedDevelopment Environment)平台上编写C语言，最终在Altera EP2C35 FPGA(Field Programmable GateArray) DE2开发板上对LZO压缩算法模块及SOPC进行测试和验证。
　　本论文针对性的提出一种全新的LZO压缩算法硬件结构，并在该结构的基础上提出多种加速方案，使得LZO压缩算法压缩速率相比软件提升4.81倍，压缩率相比软件提升1.37％，同时LZO压缩算法模块FPGA综合频率约为134MHz，全部达到设计指标。本论文所做的一些工作为LZO压缩算法应用于互联网技术和云计算技术中处理海量数据的传输和存储提供参考及可能。

目录

声明

摘要

第一章 绪论

1．1 课题背景与意义

1．2 国内外研究现状

1．3 研究内容与设计指标

1．3．1 研究内容

1．3．2 设计指标

1．4 论文组织

第二章 相关技术分析

2．1 Nios Ⅱ嵌入式软核

2．2 SOPC技术

2．2．1 SOPC硬件结构

2．2．2 SOPC开发流程

2．3 Avalon总线规范

2．3．1 基本传输模式

2．3．2 流传输模式

2．4 用户自定义逻辑设计

2．5 DMA传输

2．6 本章小结

第三章 LZO压缩算法研究与性能分析

3．1 LZO算法

3．2 文件格式

3．3 LZO压缩算法研究

3．3．1 LZO压缩算法基本原理

3．3．2 两次Hash处理

3．3．3 LZO编码格式

3．3．4 LZO压缩算法工作过程

3．4 LZO压缩算法性能分析

3．5 本章小结

第四章 LZO压缩算法硬件设计与加速

4．1 LZO压缩算法的SOPC设计

4．2 LZO压缩算法模块的硬件设计

4．2．1 输入与输出缓存模块的设计

4．2．2 高速缓存模块的硬件设计

4．2．3 LZSS模块的硬件设计

4．2．4 字典模块的硬件设计

4．2．5 LZO编码模块的硬件设计

4．2．6 Avalon总线接口的硬件设计

4．3 LZO压缩算法硬件设计中的加速方法及优化

4．3．1 分离双端口RAM

4．3．2 多字节比对

4．3．3 块标记

4．3．4 RAM标记

4．3．5 字典分离

4．3．6 其它优化

4．4 本章小结

第五章 系统集成与仿真测试

5．1 硬件系统集成

5．2 硬件资源消耗

5．2．1 LZO压缩算法模块的硬件资源消耗

5．2．2 LZO压缩系统模块的硬件资源消耗

5．3 功能仿真

5．3．1 LZO压缩算法模块的仿真

5．3．2 LZO压缩系统模块的仿真

5．4 板级测试

5．4．1 测试方法

5．4．2 软件流程

5．4．3 测试结果及对比

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士学位期间发表的论文和专利

附录