一种基于Mysql分库分表的实时采集方法

摘要

本发明属于计算机技术领域，尤其涉及一种基于Mysql分库分表的实时采集方法，通过配置化的方式来支持实时采集分库分表数据，通过建立配置信息，填写需采集的数据库IP地址，端口、数据库名和表名，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；对于同一张表的分库分表，采集后进行汇总输出，在服务器上通过Shell脚本，启动程序；打印配置表中的信息，对分库分表配置信息；通过Shell脚本遍历出来和程序输出日志中采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。