一种基于Hadoop的大数据实时处理系统

摘要

本发明公开了一种基于Hadoop的大数据实时处理系统。本发明实施例中在创建查询任务的同时，进行过滤索引，过滤索引的同时可以将过滤完的索引文件分发到datanode上面，同时datanode完成本地文件的查询，并向客户端返回查询结果。并且本发明实施例中任何datanode的查询完成，都可以通过实时传输中间件的周期轮询机制快速的向客户端返回查询结果。本发明实施例中，在HDFS内的数据查询处理过程都是并发执行的，最大限度的利用了计算机的硬件设备，使查询达到了实时完成，极大地提高了查询的效率，用户执行查询操作时便能获得查询结果，提高数据查询的效率，快速响应客户端的查询请求。