基于Kafka的大数据流式处理分析系统

摘要

随着互联网和信息技术的发展，企业中信息系统的规模迅速扩大，各个系统之间数据传输的复杂度也随着系统数量的增加而变得异常混乱，这就可能造成“信息孤岛”的问题从而无法实现数据共享。本文通过研究当前的ETL技术，利用Kafka消息系统、Hadoop分布式系统架构、多源数据库等技术，结合Kafka Connect设计并实现一个流数据处理分析系统。系统支持数据的抽取、聚合和分发，实现了大量数据进出Kafka消息系统从而和其他数据源进行交互共享。
　　本文主要介绍了基于Zookeeper框架实现对集群、Broker和Topic的管理;利用Kafka Connect构建不同的源(source)/目标(sink)连接器，在Kafka消息中间件的上游和下游形成一个无缝连接的数据流通道，实现了不同数据源中的数据的交互共享。同时也介绍了基于JMX实现对集群的监控，包括对Broker、Topic和连接器的实时状态监控、流量监控和实时的异常信息预警等;以及基于Filebeat和Logstash实现对日志文件的收集和输出以便对日志内容的查询和查看。
　　最后，本文还搭建实验环境测试了系统的性能，通过结果分析本系统能够完成从异构数据源（Oracle、MySQL等生产者）抽取数据到Kafka消息系统进行缓存，并输出到消费者端进行处理。

目录

声明

摘要

第一章 绪论

1．1 研究的背景与意义

1．2 国内外研究现状

1．3 本文主要研究内容

1．4 论文的组织结构

第二章 系统相关技术介绍

2．1 数据集成技术

2．2 Kafka消息系统

2．2．1 Kafka简介

2．2．2 Kafka架构及其组件

2．2．3 Kafka的设计思想

2．3 Kafka Connect概述

2．4 Zookeeper分布式服务框架

2．4．1 Zookeeper的功能

2．4．2 Zookeeper的工作原理与目的

2．5 其他关键技术介绍

2．5．1 Filebeat和Logstash技术

2．5．2 JMX技术

2．5．3 Spring Boot框架

2．6 本章小结

第三章 系统需求和数据库设计

3．1 系统需求分析

3．1．1 系统总体需求

3．1．2 系统功能需求

3．1．3 系统接口需求

3．1．4 非功能性需求

3．2 数据库设计分析

3．2．1 数据库设计原则

3．2．2 数据库表结构设计

3．2．3 数据库模型分析

3．2．4 数据库实施和维护设计

3．3 本章小结

第四章 系统总体设计

4．1 系统总体架构设计

4．2 管理工具模块设计

4．2．1 集群管理设计

4．2．2 代理(Broker)管理设计

4．2．3 主题(Topic)管理设计

4．2．4 消费者组管理设计

4．3 数据连接模块设计

4．3．1 源连接器管理设计

4．3．2 目标连接器管理设计

4．3．3 连接器进程管理设计

4．4 监控预警模块设计

4．4．1 集群监控设计

4．4．2 监控和预警设置设计

4．5 日志管理模块设计

4．6 本章小结

第五章 系统功能实现

5．1 开发运行环境搭建

5．1．1 软硬件环境搭建

5．1．2 系统文件配置

5．2 系统登录模块的实现

5．3 管理工具模块的实现

5．3．1 集群管理

5．3．2 代理管理

5．3．3 主题管理

5．3．4 消费者组管理

5．4 数据连接模块的实现

5．4．1 源连接器管理

5．4．2 目标连接器管理

5．4．3 连接器进程管理

5．5 监控预警模块的实现

5．5．1 集群监控

5．5．2 监控与预警设置

5．6 日志管理模块的实现

5．7 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢