一种基于深度学习的线上渠道业务数据处理方法及系统

摘要

本公开提供了一种基于深度学习的线上渠道业务数据处理方法及系统，获取线上各渠道的运营数据和用电客户数据；对获取的数据进行预处理，得到格式统一的数据；将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导；本公开采用深度学习，扩展多元数据挖掘分析模型，提高了数据预测精度，实现了对预测线上渠道各类业务办理趋势以及可能存在的风险点的预测，以数字化驱动营销精益化管理，提高了对营销运营情况的感知、分析和管控能力。

说明书

技术领域

本公开涉及数据处理技术领域，特别涉及一种基于深度学习的线上渠道业务数据处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

目前，针对电力公司各对外服务线上渠道，强化了渠道运营数据分析，深度融合移动作业应用、营业厅智能化、数据挖掘和共享，打造线上线下一体化服务模式，挖掘分析渠道服务业务模式与用户画像，研究中短期线上渠道业务行为趋势预测，并有针对性的制定运营策略，全面支撑网上国网APP以及其他渠道各类运营活动，促进各类业务价值共创，全面深化服务渠道应用。

目前电力公司在渠道运营分析方面存在的问题主要包括：

(1)现公司线上渠道分散，渠道业务交叉，公共类服务未共享，各单位业务独立纵向开展，横向没有融通，业务数据资源分散，跨专业数据集成关系复杂，各渠道数据无法统一。各渠道的分析运营缺乏有力的技术支撑，缺乏对渠道的业务发展趋势预测，缺乏服务资源调度分配的依据和机制。

(2)在深入推进“互联网+”供电服务的过程中，省市县一体化系协同和线上线下服务协同机制不够健全，需要加快从线下到线上的服务融合转变。结合公司电网、技术、信息平台的优势，进一步整合内外部资源，为用户提供跨领域、多维度的增值服务,提升公司各自有渠道市场影响力。

(3)存量数据多，数据价值利用不高，各线上渠道上线以来，积累大量业务数据，业务办理实时办理量巨大，各渠道的数据来源以及记录方式等影响因素的不同，造成大量数据为不相关信息，渠道运营数据的价值密度、真实性受到极大程度的影响，而这种差异会极大程度地影响各渠道运营数据分析的准确性，目前数据价值利用较低。

发明内容

为了解决现有技术的不足，本公开提供了一种基于深度学习的线上渠道业务数据处理方法及系统，以实现对线上线下渠道的运行监控及运营管理为目标，构建了渠道服务全景视图，为渠道运营管控提供了数据支撑，即结合渠道、日期、单位等变量信息，通过收集各渠道、各单位的推广、注册、绑定、活跃等账号信息和用户行为数据，根据对大量实时数据、历史数据、结构化数据、非结构化数据通过深度学习进行业务分析与趋势预测，预测量化线上渠道各类业务办理趋势以及可能存在的风险点，提高了预测精度，展示了各时间段的数据变化趋势，为渠道的运营活动策划与风险管控提供了数据支撑，促进了各类业务价值共创。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于深度学习的线上渠道业务数据处理方法。

一种基于深度学习的线上渠道业务数据处理方法，包括以下步骤：

获取线上各渠道的运营数据和用电客户数据；

对获取的数据进行预处理，得到格式统一的数据；

将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

本公开第二方面提供了一种基于深度学习的线上渠道业务数据处理系统。

一种基于深度学习的线上渠道业务数据处理系统，包括：

数据获取模块，被配置为：获取线上各渠道的运营数据和用电客户数据；

数据预处理模块，被配置为：对获取的数据进行预处理，得到格式统一的数据；

数据预测模块，被配置为：将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

数据融合模块，被配置为：将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，采用深度学习，扩展多元数据挖掘分析模型，提高了数据预测精度，实现了对预测线上渠道各类业务办理趋势以及可能存在的风险点的预测，以数字化驱动营销精益化管理，提高了对营销运营情况的感知、分析和管控能力。

2、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，强化了渠道运营数据分析，深度融合移动作业应用、营业厅智能化、数据挖掘和共享，全面支撑各渠道运营活动，促进各类业务价值共创，全面深化服务渠道应用。

3、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，加快从线下到线上的服务融合转变，整合内外部资源，为用户提供跨领域、多维度的增值服务，提升电力公司自有渠道的市场占有率和影响力。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于深度学习的线上渠道业务数据处理方法的流程示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于深度学习的线上渠道业务数据处理方法，包括以下步骤：

获取线上各渠道的运营数据和用电客户数据；

对获取的数据进行预处理，得到格式统一的数据；

将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

具体的，包括以下内容：

S1：业务诊断及需求调研

梳理电力公司业务痛点及渠道典型应用场景相关业务数据，进而分析业务需求。

业务痛点：每个渠道都有一个网站或APP软件，管理起来很麻烦；每个渠道统计的数据不一致，不知道哪个渠道统计的数据为准；渠道对应的产品太多，推广起来很麻烦；看不到，每个渠道对应的业务不一样，无法全面的了解各业务的情况等。

业务数据：网上国网、掌上电力SD、95598智能网站等渠道的运营数据、业务数据、活动数据以及用电客户档案信息等，类型包括结构化的数据与非结构化数据。

业务需求：结合渠道、日期、单位等变量信息，通过收集各渠道、各单位的推广、注册、绑定、活跃等账号信息和用户行为数据，根据对大量实时数据、历史数据进行业务分析与预测，掌握渠道运营发展规律，准确展示各时间段的数据变化趋势，并结合各渠道的运营规律和时间变化趋势，为渠道的运营活动策划及风险管控提供数据支撑。

S2：数据接入

基于云平台与Hadoop大数据平台，构建数据中台架构，应用kudu、hdfs、hive、impala、spark、flink、kafka、rds、drds、dts、gbase等组件，实现对接入的历史数据、实时数据、结构化数据与非结构化数据的存储与归类。

将网上国网的用户信息、订单类、运营类、积分活动类等结构化数据及用户操作行为日志非结构化数据，掌上电力SD的用户操作行为数据，支付宝、微信等的交费数据，营销系统的办电工单、流程以及用电客户数据，以及营业厅视频的非结构化数据，根据外部系统数据的类型、实时性、数据量的不同，部署实时消息队列、ETL、Webservie、ESB、OGG等多种数据接入方式，分别接入至数据中台及云平台的OSS内。

根据数据来源和数据接入方式不同，制定相应的数据存储和数据处理方案。网上国网的运营数据接入后存储在Gbase，数据处理过程在Gbase中进行，通过创建Mysql分区表存储数据，根据业务逻辑进行数据处理，形成指标结果表，判断结果是否准确，若准确利用kettle发送到RDS，设置每日自动运行工作流，包括历史数据工作流和数据传输工作流，若不准确，再次分析业务进行数据处理。

掌上电力SD运营数据、交费办电业务数据由营销稽查平台IDM接入，根据业务逻辑使用IMPALA计算方法形成指标结果表，判断结果数据是否准确，若准确将计算结果存入到HIVE库中同时利用DataX发送到RSD里，设置每日工作流将HIVE按照时间、指标类型、频度进行分区，以方便后期维护，若不准确，再次分析业务进行数据处理。

S3：数据治理与清洗：将从网上国网、掌上电力SD、95598智能网站、支付宝、微信等渠道收集的运营数据和用电客户数据进行数据清洗和数据转换工作，以形成具有典型特征、可供分析的数据集。

S4：选取数据训练样本，训练数据集：按照长短期记忆神经网络训练的特性，选择特征数据训练样本集，定义结构化数据关键数据类别与标签，提取非结构化数据底层特征与标签，将数据加载到python可视化工具中进行初步分析，初步选定200000条样本；

确定RNN结构和网络结构，初步确定：RNN分为2类长度分别为24和30，网络层数为3层；将处理好的样本分为训练集、验证集和测试集，分别占总样本比例为：60％、10％、30％；

确定单一的评估算法的指标，主要关注查准率(precision)和查全率(recall)两个指标，两者都要考虑(F1或者ROC曲线下面积)，本次结合使用模型损失率；

对训练集和测试集数据进行归一化/标准化处理：统一量纲、便于梯度的计算、加快收敛等，主要是获取数据的最大值、最小值、平均值、方差、标准差，并且打印输出，使用max-min归一化或者z-scores标准化，并在后续训练过程中选择一个最优的处理方式。

S5：训练神经网络算法模型，获得最优算法模型与参数：本方案选择了TensorFlow深度学习技术框架和Python语言开展具体训练工作。

选择构建长短期记忆神经网络(LSTM)回归预测模型；设置初始参数，主要参数为：神经元个数为40，网络层数为3层(隐藏层为1)，时间步为24，输入层维度为6，输出层为1，初始学习率为0.01；定义损失函数；初始训练次数为10000次；dropout设置为0.5；选择自适应梯度下降算法进行训练。

使用训练样本集和验证样本集对算法模型进行正式训练，随时观察模型损失率、查准率和查全率训练指标，当训练指标(查准率)小于99％时、则丢弃，达到99％以上时，得到一次全连接层的权重和带验证的算法模型。利用该模型进行结果识别，进行加权求和，得到预测值。将预测值与测试集进行检查比对(主要通过曲线叠加比对)，并进行参数和网络结构调整和重复训练过程，共开展了超过1000次的优化调整调试，选取了相对最优的算法模型，预测准确率达到99.5％以上。

针对训练过程中的过拟合问题采用了正则化与丢弃法以及dropout、BN层等手段和方法；针对欠拟合问题主要采用了增加网络深度(层数)和神经元个数的方法；增加训练集的数据量；同步进行了预测值代入还原业务数据，与各渠道访问、缴费、业务办理、活动等场景模拟验证，获得了最接近业务实际的作为最优算法与参数。

S6：模型应用与数据可视化分析：应用以上模型，进行渠道业务预测分析，预测量化线上渠道各类业务办理趋势以及可能存在的风险点，提高预测精度。基于历史数据与预测趋势，制定数据可视化展示方式，根据日期、单位、渠道等维度开展地域分析、时间分析、渠道分析等多维度的数据分析预测工作，服务渠道运营管控与风险防控。

S6中，数据可视化展示方式，主要包括柱状图、圆环图、雷达图、玫瑰图、饼状图、折线图等展示方式，利用混合使用的展示方式完成繁杂图型和多层次数据信息的展现。

实施例2：

本公开实施例2提供了一种基于深度学习的线上渠道业务数据处理系统，包括：

数据获取模块，被配置为：获取线上各渠道的运营数据和用电客户数据；

数据预处理模块，被配置为：对获取的数据进行预处理，得到格式统一的数据；

数据预测模块，被配置为：将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

数据融合模块，被配置为：将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

所述系统的工作方法与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于深度学习的线上渠道业务数据处理方法中的步骤，所述步骤为：

获取线上各渠道的运营数据和用电客户数据；

对获取的数据进行预处理，得到格式统一的数据；

将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

详细步骤与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤，所述步骤为：

获取线上各渠道的运营数据和用电客户数据；

对获取的数据进行预处理，得到格式统一的数据；

将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；

将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。

详细步骤与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。