基于Pandas的数据处理方法及装置

摘要

本发明公开了一种基于Pandas的数据处理方法及装置，该方法包括：在前端页面中显示多个用于调用Pandas工具的功能操作按钮，功能操作按钮包括：文件读取按钮、数据处理按钮和文件保存按钮；接收对前端页面中的功能操作按钮的操作指令；根据操作指令调用Pandas工具的功能。本发明在需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Pandas的数据处理方法及装置。

背景技术

随着互联网技术的不断发展，用户的不断增加，各个系统的数据量也会指数型增长。随之而来的问题就是我们要将海量类型不同、结构不同的数据放入数据库，然而目前存储在HBase或者HDFS数据库中的数据并不会像存在Oracle和MySQL这种结构化数据库中的数据一样进行结构化的存储和校验。这就会产生一个问题，即我们在之后的大数据分析和使用的时候，取出的数据中包括很多“脏数据”，无法直接进行分析和计算。然而目前许多大数据分析人员和业务人员不懂如何使用编程的方法将这些“脏数据”清洗干净，数据处理困难。

发明内容

本发明实施例提供一种基于Pandas的数据处理方法，在需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性，该方法包括：

在前端页面中显示多个用于调用Pandas工具的功能操作按钮，所述功能操作按钮包括：文件读取按钮、数据处理按钮和文件保存按钮；

接收对前端页面中的功能操作按钮的操作指令；

根据所述操作指令调用Pandas工具的功能。

可选的，根据所述操作指令调用Pandas工具的功能，包括：

根据所述操作指令，采用Python程序调用Pandas工具的功能。

可选的，所述数据处理按钮包含多个数据处理选项，每个数据处理选项对应Pandas工具的一种功能。

可选的，所述前端页面是基于Vue框架开发的。

可选的，根据所述操作指令调用Pandas工具的功能之后，所述方法还包括：

输出数据处理结果。

本发明实施例还提供一种基于Pandas的数据处理装置，在需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性，该装置包括：

操作按钮显示模块，用于在前端页面中显示多个用于调用Pandas工具的功能操作按钮，所述功能操作按钮包括：文件读取按钮、数据处理按钮和文件保存按钮；

操作指令接收模块，用于接收对前端页面中的功能操作按钮的操作指令；

功能调用模块，用于根据所述操作指令调用Pandas工具的功能。

可选的，功能调用模块进一步用于：

根据所述操作指令，采用Python程序调用Pandas工具的功能。

可选的，所述数据处理按钮包含多个数据处理选项，每个数据处理选项对应Pandas工具的一种功能。

可选的，所述前端页面是基于Vue框架开发的。

可选的，所述装置还包括：

结果输出模块，用于输出数据处理结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明实施例中，通过在前端页面中显示多个用于调用Pandas工具的功能操作按钮，接收对前端页面中的功能操作按钮的操作指令，根据该操作指令调用Pandas工具的功能，当需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中基于Pandas的数据处理方法的流程图；

图2为本发明实施例中基于Pandas的数据处理方法的又一流程图；

图3为本发明实施例中基于Pandas的数据处理装置的结构示意图；

图4为本发明实施例中基于Pandas的数据处理装置的又一结构示意图；

图5为本发明实施例计算机设备示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

随着互联网技术的不断发展，用户的不断增加，各个系统的数据量也会指数型增长。随之而来的问题就是我们要将海量类型不同、结构不同的数据放入数据库，然而目前存储在HBase或者HDFS数据库中的数据并不会像存在Oracle和MySQL这种结构化数据库中的数据一样进行结构化的存储和校验。这就会产生一个问题，即我们在之后的大数据分析和使用的时候，取出的数据中包括很多“脏数据”，无法直接进行分析和计算。然而目前许多大数据分析人员和业务人员不懂如何使用编程的方法将这些“脏数据”清洗干净，数据处理困难。为了解决上述问题，本发明实施例提供了一种基于Pandas的数据处理方法。

图1为本发明实施例提供的一种基于Pandas的数据处理方法的流程图，如图1所示，该方法包括：

步骤101、在前端页面中显示多个用于调用Pandas工具的功能操作按钮，所述功能操作按钮包括：文件读取按钮、数据处理按钮和文件保存按钮。

在实施例中，Pandas是一种数据分析处理工具，需要读取文件，处理数据(显示某些行数据或是索引，运算，统计运算)，写入文件，从而完成数据的处理。

其中，所述前端页面是基于Vue框架开发的。

所述数据处理按钮包含多个数据处理选项，每个数据处理选项对应Pandas工具的一种功能。

在应用时，操作者只需根据需要调用Pandas工具的功能点击相应的功能操作按钮即可，操作简单。

步骤102、接收对前端页面中的功能操作按钮的操作指令。

步骤103、根据所述操作指令调用Pandas工具的功能。

在实施例中，步骤103包括：

根据所述操作指令，采用Python程序调用Pandas工具的功能。

具体实施时，通过前端页面读取文件，将数据通过Python进行处理，处理之后的结果传送到前端写入文件，之后保存文件。

具体实施时，可以结合使用Dask工具，Dask在数据管道过程中是一个好用的工具，某些特定的Pandas功能可以迁移到Dask上面，从而实现加快文件的读取和处理速度。

由图1可知，本发明实施例提供的基于Pandas的数据处理方法，通过在前端页面中显示多个用于调用Pandas工具的功能操作按钮，接收对前端页面中的功能操作按钮的操作指令，根据该操作指令调用Pandas工具的功能，当需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性。

图2为本发明实施例提供的基于Pandas的数据处理方法的又一流程图，如图2所示，在根据所述操作指令调用Pandas工具的功能之后，所述方法还包括：

步骤201、输出数据处理结果。

通过输出数据处理结果，可以便于工作人员后续对该结果进行调用、分析等。

基于同一发明构思，本发明实施例中还提供了一种基于Pandas的数据处理装置，如下面的实施例所述。由于基于Pandas的数据处理装置解决问题的原理与基于Pandas的数据处理方法相似，因此，基于Pandas的数据处理装置的实施可以参见基于Pandas的数据处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3为本发明实施例提供的一种基于Pandas的数据处理装置的结构示意图，如图3所示，该装置包括：

操作按钮显示模块301，用于在前端页面中显示多个用于调用Pandas工具的功能操作按钮，所述功能操作按钮包括：文件读取按钮、数据处理按钮和文件保存按钮；

操作指令接收模块302，用于接收对前端页面中的功能操作按钮的操作指令；

功能调用模块303，用于根据所述操作指令调用Pandas工具的功能。

在本发明实施例中，功能调用模块303进一步用于：

根据所述操作指令，采用Python程序调用Pandas工具的功能。

在本发明实施例中，所述数据处理按钮包含多个数据处理选项，每个数据处理选项对应Pandas工具的一种功能。

在本发明实施例中，所述前端页面是基于Vue框架开发的。

图4为本发明实施例提供的一种基于Pandas的数据处理装置的又一结构示意图，如图4所示，该装置包括：

结果输出模块401，用于输出数据处理结果。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图5所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

综上所述，本发明通过在前端页面中显示多个用于调用Pandas工具的功能操作按钮，接收对前端页面中的功能操作按钮的操作指令，根据该操作指令调用Pandas工具的功能，当需要对数据进行处理时，在前端页面中点击相应的功能操作按钮，即可完成对数据的处理工作，无论使用者懂不懂如何使用编程或使用数据处理工具，简单方便，具有较高的灵活性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。