网络监控视频云存储系统的设计与实现

摘要

本论文是根据公司“全球眼”监控视频平台的子项目“网络监控视频云存储系统”进行编写。需要结合网络技术、集群技术和分布式文件系统，将大量存储设备，通过应用软件集成，使其在网络中协同工作，并共同对外提供视频业务访问和数据存储的功能。该项目需要与原有“全球眼”监控视频平台的视频存储流程完全整合，实现高效、安全的监控视频存储。 网络监控视频云存储系统由“云存储管理系统”、“存储分发节点”和“分布式存储”三个部分组成，最终通过统一服务接口向各个视频业务应用平台提供云存储服务。云存储管理系统实现各类型数据的管理，包括接入平台管理、视频点位管理、存储分发服务节点管理和存储容量管理和日志管理等功能，另外还实现存储分发服务的任务调度，保障各个环节完美配合运行；存储分发节点作为具体的工作节点，实现与前端摄像头或视频媒体服务连接，根据视频点位的存储策略完成视频流的存储，用户需要读取历史视频录像时，存储分发节点又提供视频文件下载功能。分布式文件系统采用成熟的FastDFS文件系统，通过标准接口为云存储管理系统提供视频文件存储服务，多个存储分发节点通过调用接口实现视频文件的分布式存储的目的。 网络监控视频云存储系统根据各类型业务数据的特性，采用了Mysql、MongoDB、Redis数据库，Mysql数据库存储管理数据、MongoDB存储日志数据、Redis存储状态数据。存储分发节点通过Zookeeper建立与云存储管理系统主机之间的连接，随时报告各个节点的状态和任务状况，云存储管理系统根据各个节点的运行情况，采用互载均衡算法，为任务动态分配到存储分发节点来完成工作。出现存储分发节点异常时，云存储管理系统主机回收任务重新分配到其它正常的工作节点，实现了单点故障转移。为实现系统高可用，在数据库和云存储管理系统都采用集群部署方案，以保障系统7*24小时不停止运行。

目录

声明

第一章 绪 论

1.1 课题的背景

1.2 国内外研究动态

1.3 课题的主要意义

1.4 课题完成的最终目标

1.5 本文的组织结构

第二章 相关技术分析

2.1 网络视频监控系统“全球眼”

2.2 分布式文件系统FastDFS

2.3 分布式服务框架Zookeeper

2.4 非关系型数据库MongoDB

2.5 数据库集群的优势

2.6 服务器集群的优势

2.7 本章小结

第三章 网络监控视频云存储系统的需求分析

3.1 视频存储现状

3.2 系统建设要求

3.3 系统结构分析

3.4 系统角色分析

3.5 系统功能分析

3.6 系统用例设计

3.7 本章小结

第四章 网络监控视频云存储系统的系统设计

4.1.1 系统架构设计

4.1.2 系统模块设计

4.2 平台架构设计

4.2.1 应用层

4.2.2 支撑服务层

4.2.3 数据存储层

4.2.4 基础层

4.2.5 开发工具选型

4.3.1 持久化数据模型

4.3.2 内存数据模型

4.4 关键流程设计

4.4.1 接入视频平台注册流程

4.4.2 存储分发服务注册流程

4.4.3 定时存储策略分析流程

4.4.4 定时过期数据删除处置流程

4.4.5 网络监控视频录入流程

4.4.6 网络监控视频调阅流程

4.5 系统部署设计

4.5.1 云存储管理系统高可用集群部署

4.5.2 数据库高可用性设计

4.5.3 系统部署结构图

4.5.4 服务运行环境

4.6 本章小结

第五章 网络监控视频云存储系统的实现

5.1 云存储管理系统

5.1.1 系统界面

5.1.2 接入平台管理

5.1.3 存储分发服务管理

5.1.4 视频点位管理

5.1.5 系统管理

5.1.6 平台监控

5.1.7 服务监控

5.1.8 日志管理

5.2 存储分发服务

5.2.1 存储分发服务心跳上报

5.2.2 存储分发业务调度算法

5.2.3 网络监控视频流录入

5.2.4 网络监控视频调阅

5.2.5 存储分发节点状态校验

5.3 分布式文件系统

5.4 服务异常处理

5.4.1 云存储管理服务异常

5.4.2 分发存储节点异常

5.5 本章小结

第六章 网络监控视频云存储系统的测试

6.1 测试类型

6.2 测试技术

6.3 测试工具

6.4 测试用例

6.5 测试结果

6.6 本章小节

第七章 总结与展望

7.1 项目总结

7.2 技术积累

7.3 系统改进

致谢

参考文献