将MySQL数据库同步到Elasticsearch的方法

摘要

本发明涉及数据库领域，具体涉及一种能够降低资源占用率、缩短查询时间、提高实时性的将MySQL数据库同步到Elasticsearch的方法。本发明的将MySQL数据库同步到Elasticsearch的方法，首先Canal组件实时拉取MySQL的binary log文件；然后Canal组件解析binary log文件；Canal组件将binary log文件解析后形成的数据发送至消息队列kafka；应用程序消费kafka的数据，并将数据转换成行数据row data；应用程序将行数据row data写入到Elasticsearch，这样就大大降低了数据同步延迟，使得业务系统响应更快，性能更高，新写入到MySQL的数据在很短的时间内就能被用户查询到。