基于数据库日志的实时数据查询方法和系统

摘要

本发明涉及基于数据库日志的实时数据查询方法和系统，包括：获取主数据库的增量日志信息；对所述增量日志信息进行解析，得到增量数据信息，并将所述增量数据信息存储在kafka消息队列中；通过druid从所述kafka消息队列中读取所述增量数据信息，并根据预定义的索引规则构建所述增量数据信息的实时查询索引；利用所述实时查询索引进行实时数据查询。通过采用本发明所提供的基于数据库日志的实时数据查询方法，以主数据库的binlog日志作为数据源，使用kafka作为消息队列，使用druid作为分布式索引和查询引擎进行实时数据查询，从而降低数据收集和数据查询分析的延迟，数据查询耗时从原来的数分钟降低到了毫秒级别，提升了用户体验。