一种实时数据分析及统计报表方法及系统

摘要

本发明提供一种实时数据分析及统计报表方法，包括客户端在接收到用户对数据库进行数据访问的操作命令时，向服务器端发送请求指令，且待允许后，推送出可读写的报表设置参数信息，进一步接收用户重设的参数，以生成报表访问参数并发送给服务器端；服务器端获取来自互联网的原始业务数据进行预处理后，通过预设的实时数据分析及统计技术进行分析和统计，存入数据库中，且在接收到客户端的请求指令进行验证，通过时生成允许指令，并在接收到客户端的报表访问参数后，与数据库进行关联，生成统计报表下发给客户端。实施本发明，不仅能智能化筛选数据，还能实现数据高速实时导入和分析，在一定程度上提高了数据的精准性、检索效率和分析效率。

说明书

技术领域

本发明涉及数据统计及分析技术领域，尤其涉及一种实时数据分析及统计报表方法及系统。

背景技术

随着互联网的发展，人们希望能快速的了解当前的网站情况，并能及时的发现问题并解决问题，这就对信息的获取更要求具有实时性。实时的数据统计可以在技术层面上处理数据的能力，同时也可以提供更加丰富的报表展示，这还可以进行快速的分析、决策和执行，实时数据这样在一定层度上创造了它的价值。

然而，现有的实时数据处理方法尽管能实现数据智能化管理，但在精准性、检索效率和分析效率等方面均有待提高。

发明内容

本发明实施例所要解决的技术问题在于，提供一种实时数据分析及统计报表方法及系统，不仅能智能化筛选数据，还能实现数据高速实时导入和分析，在一定程度上提高了数据的精准性、检索效率和分析效率。

为了解决上述技术问题，本发明实施例提供了一种实时数据分析及统计报表方法，其用于由客户端与服务器端互联而成的网络上，所述方法包括以下步骤：

所述客户端在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令，且待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息，进一步接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端；

所述服务器端获取来自互联网的原始业务数据，待对所述原始业务数据进行预处理后，通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中，且在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端，并在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

其中，所述对所述原始业务数据进行预处理的步骤具体包括：

所述服务器端将所述原始业务数据进行数据统一格式化处理，和/或将所述预设的数据库无法识别、识别错误及不符合要求的数据进行删除。

其中，所述通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计的步骤具体包括：

所述服务器端通过Kafka集群的方式将接收到的预处理后的原始业务数据进行权限认证，且将权限认证通过的数据进行分组形成队列，并进一步通过Hadoop对形成分组队列的数据进行统计和分析。

其中，所述方法进一步包括：

所述服务器端将数据按照数据的主键标识存放在对应区域，并通过相应的设置和统计后形成统计报表，进一步存入所述预设的数据库中。

其中，所述方法进一步包括：

所述服务器端在所述报表访问参数与所述预设的数据库进行关联时，先注册生成用于查询统计报表的SQL语句，再通过注册的SQL语句查询得到所述统计报表。

本发明实施例还提供了一种实时数据分析及统计报表系统，包括客户端及其互联的服务器端；其中，

所述客户端，用于在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令，且待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息，进一步接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端；

所述服务器端，用于端获取来自互联网的原始业务数据，待对所述原始业务数据进行预处理后，通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中，且在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端，并在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

其中，所述客户端包括：

访问请求模块，用于在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令；

信息推送模块，用于待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息；

数据访问模块，用于接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端。

其中，所述服务器端包括：

数据智能获取模块，用于获取来自互联网的原始业务数据；

数据智能处理模块，用于对所述原始业务数据进行预处理；

数据库输入模块，用于通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中；

数据库访问第一权限模块，用于在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端；

报表展示模块，用于在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

其中，所述服务器端还包括：

数据库访问第二权限模块，用于接收用户在所述服务器端对数据库中的报表参数进行编辑。

其中，所述服务器端还包括：

数据库更新模块，用于修改数据库数据和/或报表信息并进行更新。

实施本发明实施例，具有如下有益效果：

本发明对大量数据进实时分析，以报表的形式储存在数据库以供查询，先通过智能化初步筛选数据，再将Kafka与Hadoop完美的结合实现高速实时导入数据和分析数据，因此在一定程度上能提高数据的精准性，有效地提高数据检索效率和数据分析效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的实时数据分析及统计报表方法的流程图；

图2为本发明实施例提供的实时数据分析及统计报表系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种实时数据分析及统计报表方法，其用于由客户端(如手机、PC等)与服务器端(数据中心服务器)互联而成的网络上，所述方法包括以下步骤：

步骤S1、所述客户端在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令，且待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息，进一步接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端；

具体过程为，在手机或PC等设备的客户端上，用户通过B/S方式访问数据中心服务器的服务器端上的数据库时，用户需在客户端的登录界面上输入用户名及密码，即形成向服务器端中预设的数据库进行数据访问的操作命令，然后客户端将用户名及密码转变为向服务器端进行数据访问的请求指令，并等待服务器端对该用户名及密码进行验证的响应结果。

客户端待接收到服务器端对请求指令反馈回的允许指令后，会自动推送出可读写的报表设置参数信息，即用户可以对报表的查询关键字进行修改或编辑，并进一步接收用户在客户端上重设的参数作为报表访问参数发送给服务器端

步骤S2、所述服务器端获取来自互联网的原始业务数据，待对所述原始业务数据进行预处理后，通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中，且在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端，并在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

具体过程为，首先，数据中心服务器的服务器端自动获取来自互联网的原始业务数据，并将原始业务数据进行数据统一格式化处理和/或将预设的数据库无法识别、识别错误及不符合要求的数据进行删除等方式对原始业务数据进行预处理；其次，通过Kafka集群的方式将接收到的预处理后的原始业务数据进行权限认证，且将权限认证通过的数据进行分组形成队列，并进一步通过Hadoop对形成分组队列的数据进行统计和分析来实现对预处理后的原始业务数据进行分析和统计；接着，服务器端将数据按照数据的主键标识存放在对应区域，并通过相应的设置和统计后形成统计报表，进一步存入预设的数据库中，从而得到客户端上用户亟待访问的数据库。

一旦服务器端接收到客户端发送的请求指令时就会在预设的用户数据库中进行验证，用以在验证通过时生成允许指令反馈给客户端。应当说明的是，该预设的用户数据库已经预存有用户名及其对应的密码。

服务器端在接收到客户端发送的报表访问参数后，将报表访问参数与预设的数据库进行关联，并在报表访问参数与所述预设的数据库进行关联时，先注册生成用于查询统计报表的SQL语句，再通过注册的SQL语句查询得到统计报表，最后下发给所述客户端。

如图2所示，为本发明实施例中，提供的一种实时数据分析及统计报表系统，包括客户端及其互联的服务器端；其中，

所述客户端100，用于在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令，且待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息，进一步接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端；

所述服务器端200，用于端获取来自互联网的原始业务数据，待对所述原始业务数据进行预处理后，通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中，且在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端，并在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

其中，所述客户端100包括：

访问请求模块101，用于在接收到用户对所述服务器端中预设的数据库进行数据访问的操作命令时，向所述服务器端发送请求指令；

信息推送模块102，用于待接收到所述服务器端对所述请求指令反馈回的允许指令后，推送出可读写的报表设置参数信息；

数据访问模块103，用于接收用户对所述报表设置参数信息进行重设的参数，以生成报表访问参数并发送给所述服务器端。

其中，所述服务器端200包括：

数据智能获取模块201，用于获取来自互联网的原始业务数据；

数据智能处理模块202，用于对所述原始业务数据进行预处理；

数据库输入模块203，用于通过预设的实时数据分析及统计技术对预处理后的原始业务数据进行分析和统计，进一步存入所述预设的数据库中；

数据库访问第一权限模块204，用于在接收到所述客户端发送的请求指令时进行验证，用以在验证通过时生成允许指令反馈给所述客户端；

报表展示模块205，用于在接收到所述客户端发送的报表访问参数后，将所述报表访问参数与所述预设的数据库进行关联，生成统计报表下发给所述客户端。

其中，所述服务器端200还包括：

数据库访问第二权限模块206，用于接收用户在所述服务器端对数据库中的报表参数进行编辑。

其中，所述服务器端200还包括：

数据库更新模块207，用于修改数据库数据和/或报表信息并进行更新。

实施本发明实施例，具有如下有益效果：

本发明对大量数据进实时分析，以报表的形式储存在数据库以供查询，先通过智能化初步筛选数据，再将Kafka与Hadoop完美的结合实现高速实时导入数据和分析数据，因此在一定程度上能提高数据的精准性，有效地提高数据检索效率和数据分析效率。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。