基于HADOOP的海量录音文件存储系统的设计与实现

摘要

随着通信服务行业的快速发展，各企业的业务种类与服务类别也变得多样化，用户与企业客服人员的互动数量也快速增长。许多公司的客服压力也越来越大，
　　公司为保证服务人员正常工作，以及防止恶意骚扰电话，同时为了保证客服人员按照客户的要求办理业务，通常会对客服通话进行录音保存。这些录音文件数量巨大，而且还处于快速动态增长中。但是它们对于公司后期数据分析，用于提升员工服务品质管理等非常重要，通常会长期保存。传统的存储方式处理这些数据效率低，工作量大，而且成本高。如何安全有效且低成本的存储这些数据是当前迫切需要解决的一个问题。
　　本文主要研究了如何利用多种存储设备，构建分布式存储系统，用以解决海量录音文件存储问题。本文分析了国内云储技术发展的现状，通过调研分布式文件系统技术，再结合海量录音文件的存储需求，设计并实现了基于HADOOP的海量录音文件存储系统。该系统是以HDFS为存储基础开发的一个海量录音文件存储系统，系统由客户端、消息队列以及服务存储端组成。客户端主要提供友好的用户交互界面，消息队列是客户端与服务端的纽带，服务端实现了分布式存储并响应客户端的各种请求。该系统是典型的生产消费者模式，客户端发送请求到消息队列，服务端处理从消息队列获取的请求并响应客户端。该系统服务端是可动态扩展的，新增服务端程序时，服务程序只要监听到指定的消息队列，就可以接收并处理客户端的请求。以下介绍从需求到系统实现的步骤：
　　第一，通过分析企业的海量录音文件存储的现状，针对传统录音文件存储方式的不足，本文进行分布式存储技术调研，提出了基于HADOOP的海量录音文件系统的需求；
　　第二，结合海量录音文件存储的现状及需求，对海量录音文件存储系统进行了详细设计，主要包含用户权限鉴定设计、录音文件的上传下载设计、录音文件管理功能设计和录音文件分享设计等；
　　第三，本文对分布式文件系统的环境搭建做了详细介绍，并实现了海量录音文件存储系统，包括用户权限鉴定功能实现、录音文件的上传下载功能实现、录音文件管理功能实现和录音文件的分享功能实现等。考虑到可移植性及安全性，系统用Java语言开发。本系统分为客户端、服务端、数据库和分布式存储系统。本系统界面简单整洁，方便用户的使用；
　　第四，对系统的安全性、文件传输效率以及系统的功能做了测试，在录音文件存储方式上，本系统和传统系统相比，具有更好的安全性能、数据传输效率也有很大的提升、数据的存储成本也更低。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 HADOOP简介

1.4 论文的研究内容

1.5 论文结构和安排

第二章 海量录音文件存储系统需求分析

2.1 概述

2.2 功能需求

2.3 性能需求

2.4 安全需求

2.5 可行性分析

2.6 本章小结

第三章 海量录音文件存储系统的设计

3.1 系统设计概述

3.2 系统架构

3.3 系统客户端设计

3.4 系统服务端设计

3.5数据库设计

3.6 小结

第四章 海量录音文件存储系统的实现

4.1 分布式环境实现

4.2 系统客户端的实现

4.3 系统服务端的实现

4.4 本章小节

第五章 海量录音文件存储系统的测试

5.1 测试环境

5.2 测试结果

5.3 数据安全性测试

5.4 测试总结

第六章 结论与展望

6.1 结论

6.2 展望

致谢

参考文献