首页> 中国专利> 基于大数据分析的企业数据可视化实现方法及系统

基于大数据分析的企业数据可视化实现方法及系统

摘要

本发明提供一种基于大数据分析的企业数据可视化实现方法及系统,通过获取企业业务数据集,并提取业务数据簇中目标业务类型的业务行为表征向量;基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数,然后基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类;统计企业业务数据集中的各个业务数据簇对应的至少一个业务行为结果分类,得到分类统计结果;最后根据分类统计结果生成可视化展示信息,并在数据可视化系统上对可视化展示信息进行展示。这样,通过模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了训练成本,提高了效率。

著录项

  • 公开/公告号CN116842238A

    专利类型发明专利

  • 公开/公告日2023-10-03

    原文格式PDF

  • 申请/专利权人 武汉赛思云科技有限公司;

    申请/专利号CN202310913881.5

  • 发明设计人 高辉杰;庄志远;孙岚;

    申请日2023-07-24

  • 分类号G06F16/904(2019.01);G06F16/906(2019.01);G06F16/2458(2019.01);G06F16/28(2019.01);

  • 代理机构成都四慧知识产权代理事务所(普通合伙) 51307;

  • 代理人杨明

  • 地址 430074 湖北省武汉市东湖新技术开发区武大园四路3号国家地球空间信息产业基地II区(6期)A-3栋13层10号

  • 入库时间 2024-04-18 19:41:23

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-10-03

    公开

    发明专利申请公布

说明书

技术领域

本申请涉及数据处理、人工智能领域,具体而言,涉及一种基于大数据分析的企业数据可视化实现方法及系统。

背景技术

随着越来越多的企业向数字化转型,数据已经成为企业不可忽视的生产资料。市面上开始出现对企业数据进行管理的产品,例如提供一站式数据分析管理的云计算平台。通过从数据接入整合,到数据处理、分析、挖掘,再到终端可视化,对数据进行全价值链管理,该全链条提供基于大数据、人工智能、物联网等技术为基础,可以覆盖电商、汽车、地产、金融、零售、能源、互联网等全行业、全场景。基于不同的分析需求和场景,数据处理的过程也具有对应的方式方法,通常而言,在数据可视化实现过程汇总,对数据进行分类统计,完成量级可视化呈现是较多的应用场景,例如在电商产品调研统计中,针对目标类型的电商产品,统计用户受众对其的接受度完成可视化呈现时,可以根据分析粒度的需要,进行多种接受度类型的划分,比如喜欢、感兴趣、无感、讨厌等,对不同的用户的接受度进行分类,统计数量后极性可视化展示。那么,这就涉及到对海量数据(用户的业务响应行为)进行分析的过程,由于电商平台涉及的数据量大,如何高效准确实现数据的分类是一大难题。

人工智能为数据高效分析提供了解决方案,通过训练神经网络模型可以自动、快速且准确地对数据进行分类输出,但是该过程依赖于前期大范围训练样本的收集,再对模型进行调试训练,对于服务提供方而言,前期训练样本的获取是一项困难的工作,如此一来,基于大数据的企业数据分析可视化实现的过程,又产生新的需要解决的技术问题。

发明内容

本申请的目的在于提供一种基于大数据分析的企业数据可视化实现方法及系统,已改善上述技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面,提供一种基于大数据分析的企业数据可视化实现方法,其特征在于,应用于数据可视化系统,所述方法包括:

获取企业业务数据集,所述企业业务数据集包括多个拟分析的业务数据簇;

获取每一所述拟分析的业务数据簇;

提取所述业务数据簇中目标业务类型的业务行为表征向量;

基于所述业务行为表征向量与业务行为检测变量,确定所述目标业务类型对应于各业务行为结果分类的概率参数;其中,所述业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,所述模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇画像环境业务行为;

基于所述概率参数确定所述业务数据簇中目标业务类型匹配的业务行为结果分类;

统计所述企业业务数据集中的各个所述业务数据簇对应的至少一个业务行为结果分类,得到分类统计结果;其中,所述分类统计结果包括每一所述业务行为结果分类对应的数量;

根据所述分类统计结果生成可视化展示信息,并在所述数据可视化系统上对所述可视化展示信息进行展示。

可选地实施方式,在获取拟分析的业务数据簇之前,所述方法还包括:

获取所述模拟业务数据簇和所述实际业务环境数据簇;其中,所述模拟业务数据簇通过若干模拟业务数据集产出得到,每个所述模拟业务数据集各自携带分类指示信息,所述分类指示信息包括用以指示所述模拟业务数据集为目标分类业务行为的第一训练样例分类,及用以指示所述模拟业务数据集不是所述目标分类业务行为的第二训练样例分类;

基于所述模拟业务数据簇和所述实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试;其中,所述预训练的业务行为检测模型中包括用以把实际业务环境数据簇变换成模拟业务环境数据簇的第一构建模型,用以把模拟业务环境数据簇变换成实际业务环境数据簇的第二构建模型和多个调试分析模型,当满足所述调试截止要求时,将所述第一构建模型的模型内部配置变量确定为所述业务行为检测变量。

可选地实施方式,所述基于所述模拟业务数据簇和所述实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试包括:

将所述模拟业务数据簇加载至所述第二构建模型,构建出第一对照实际业务环境数据簇;在所述第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将所述第一对照实际业务环境数据簇加载至所述第一构建模型,构建出第一对照模拟业务环境数据簇;获取所述模拟业务数据簇与所述第一对照模拟业务环境数据簇之间的第一误差结果;

将所述实际业务环境数据簇加载至所述第一构建模型,构建出第二对照模拟业务环境数据簇;在所述第二对照模拟业务环境数据簇的分析结果表征已满足第二对照调试截止要求时,将所述第二对照模拟业务环境数据簇加载至所述第二构建模型,构建出第二对照实际业务环境数据簇;获取所述实际业务环境数据簇与所述第二对照实际业务环境数据簇之间的第二误差结果;

在所述第一误差结果和所述第二误差结果满足第一误差值要求时,确定所述业务行为检测模型满足所述调试截止要求。

可选地实施方式,所述将所述模拟业务数据簇加载至所述第二构建模型,构建出第一对照实际业务环境数据簇包括:

将所述模拟业务数据簇中的所述多个模拟业务数据集加载至所述第二构建模型,得到对照画像实际业务环境数据簇;

在所述第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将所述第一对照实际业务环境数据簇加载至所述第一构建模型,构建出第一对照模拟业务环境数据簇包括:将所述对照画像实际业务环境数据簇加载至第一调试分析模型,得到第一分析结果;在所述第一分析结果表征没有满足第一调试截止要求时,优化所述第二构建模型的模型内部配置变量;在所述第一分析结果表征已满足所述第一调试截止要求时,将所述对照画像实际业务环境数据簇加载至所述第一构建模型,得到对照模拟业务环境数据簇;

获取所述模拟业务数据簇与所述第一对照模拟业务环境数据簇之间的第一误差结果包括:获取所述模拟业务数据集中的模拟业务行为数据簇与所述对照模拟业务环境数据簇之间的画像差异;在所述画像差异表征没有满足第二调试截止要求时,根据所述画像差异优化所述第一构建模型中的模型内部配置变量;在所述画像差异表征已满足所述第二调试截止要求时,根据所述画像差异获取所述第一误差结果。

可选地实施方式,将所述模拟业务数据簇加载至所述第二构建模型,构建出第一对照实际业务环境数据簇包括:将所述模拟业务数据簇中的所述多个模拟业务数据集对应的业务行为上下文演变信息加载至所述第二构建模型,得到对照业务行为上下文实际业务环境数据簇;

在所述第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将所述第一对照实际业务环境数据簇加载至所述第一构建模型,构建出第一对照模拟业务环境数据簇包括:将所述对照业务行为上下文实际业务环境数据簇加载至第二调试分析模型,得到第二分析结果;在所述第二分析结果表征没有满足第三调试截止要求时,优化所述第二构建模型的模型内部配置变量;在所述第二分析结果表征已满足所述第三调试截止要求时,将所述对照业务行为上下文实际业务环境数据簇加载至所述第一构建模型,得到对照业务行为上下文模拟业务环境数据簇;

获取所述模拟业务数据簇与所述第一对照模拟业务环境数据簇之间的第一误差结果包括:获取所述模拟业务数据集中的模拟业务行为数据簇与所述对照业务行为上下文模拟业务环境数据簇之间的业务行为差异;在所述业务行为差异表征没有满足第四调试截止要求时,根据所述业务行为差异优化所述第一构建模型中的模型内部配置变量;在所述业务行为差异表征已满足所述第四调试截止要求时,根据所述业务行为差异获取所述第一误差结果。

可选地实施方式,所述基于所述模拟业务数据簇和所述实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试还包括:

将所述模拟业务数据簇划分为第一模拟数据簇和第二模拟数据簇,并将所述实际业务环境数据簇划分为第一实际数据簇和第二实际数据簇,其中,所述第一模拟数据簇的构建时刻位于所述第二模拟数据簇的构建时刻之前,所述第一实际数据簇的构建时刻位于所述第二实际数据簇的构建时刻之前;

将所述第一模拟数据簇加载至所述第二构建模型,得到对照时序模拟业务环境数据簇;获取所述第二模拟数据簇与所述对照时序模拟业务环境数据簇之间的第一时间差异;

将所述第一实际数据簇加载至所述第一构建模型,得到对照时序实际业务环境数据簇;获取所述第二实际数据簇与所述对照时序实际业务环境数据簇之间的第二时间差异;

在所述第一时间差异及所述第二时间差异满足第二误差值要求时,确定所述业务行为检测模型满足所述调试截止要求。

可选地实施方式,确定所述业务行为检测模型满足所述调试截止要求包括:

获取所述第一误差结果、所述第二误差结果、所述第一时间差异及所述第二时间差异的融合结果;

在所述融合结果表征已满足目标数值结果时,确定所述业务行为检测模型满足所述调试截止要求。

可选地实施方式,在所述基于所述模拟业务数据簇和所述实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试之后,还包括:

获取与满足所述调试截止要求的业务行为检测模型中的所述第一构建模型连接的分类映射网络的输出信息;

在所述输出信息表征已满足检测要求时,将所述第一构建模型的模型内部配置变量确定为所述业务行为检测变量;其中,所述检测要求表征所述输出信息所对应的分类信息和与所述输出信息匹配的模拟业务数据集的分类指示信息相同。

根据本申请实施例的另一个方面,提供一种业务行为检测模型的训练方法,包括:

获取模拟业务数据簇和实际业务环境数据簇,其中,所述模拟业务数据簇包括模拟业务数据集中的模拟业务类型产生业务行为的数据簇,所述实际业务环境数据簇包括实际业务环境画像数据簇和实际业务环境业务行为数据簇,所述模拟业务数据簇通过若干模拟业务数据集产出得到,每个所述模拟业务数据集各自携带分类指示信息,所述分类指示信息包括用以指示所述模拟业务数据集为目标分类业务行为的第一训练样例分类,及用以指示所述模拟业务数据集不是所述目标分类业务行为的第二训练样例分类;

基于所述模拟业务数据簇和所述实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,其中,所述预训练的业务行为检测模型中包括用以把实际业务环境数据簇变换成模拟业务环境数据簇的第一构建模型,用以把模拟业务环境数据簇变换成实际业务环境数据簇的第二构建模型和多个调试分析模型,当满足所述调试截止要求时,将所述第一构建模型的模型内部配置变量确定为所述业务行为检测变量。

根据本申请实施例的又一个方面,提供一种数据可视化系统,包括:

处理器;

以及存储器,用于存储所述处理器的可执行指令;

其中,所述处理器被配置为经由执行所述可执行指令来执行以上所述的方法。

本申请的有益效果至少包括:

本发明实施例通过获取企业业务数据集,该企业业务数据集包括多个拟分析的业务数据簇;获取每一拟分析的业务数据簇并提取业务数据簇中目标业务类型的业务行为表征向量;基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数。其中,业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇;基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类;统计企业业务数据集中的各个业务数据簇对应的至少一个业务行为结果分类,得到分类统计结果,其中,分类统计结果包括每一业务行为结果分类对应的数量;最后根据分类统计结果生成可视化展示信息,并在数据可视化系统上对可视化展示信息进行展示。这样,本申请通过模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于大数据分析的企业数据可视化实现方法的流程图。

图2是本申请实施例提供的企业数据可视化实现装置的功能模块架构示意图。

图3是本申请实施例提供的一种数据可视化系统的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。

此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供的基于大数据分析的企业数据可视化实现方法应用于与用户终端通信连接的数据可视化系统,请参照图1,该方法包括以下步骤:

步骤S110,获取企业业务数据集。

该企业业务数据集包括多个拟分析的业务数据簇,例如,企业业务数据集是互联网平台采集的多个用户的业务行为数据构成的数据集合,例如,电商平台企业A,依据预设的埋点采集用户1~用户1000在采集周期1中产生的行为数据,行为数据包括针对目标业务类型的响应行为,其中,目标业务类型可以是推送的商品信息,或者直播营销信息等,用户响应的业务行为可以是点击、浏览、分享、收藏、购买、拉黑、举报、负面反馈等行为数据,不同的业务行为可以通过预先赋予的编码进行赋值,以得到业务行为数据(将离散信息转换为数值信息)。

步骤S120,获取每一拟分析的业务数据簇。

步骤S130,提取业务数据簇中目标业务类型的业务行为表征向量。

步骤S140,基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数。

本申请实施例中,业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇(实际业务环境可以是真实的商品信息、网页信息等用户所处数据环境))进行调试后获得的神经网络参变量,模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇。各业务行为结果分类的概率参数是目标业务类型(即需要分析的业务类型,例如上述提及的各种商品推送信息)对应业务行为结果分类的可能性评估结果,可以通过概率参数表示,或者还可以通过置信度表示。

步骤S150,基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类。

步骤S160,统计企业业务数据集中的各个业务数据簇对应的至少一个业务行为结果分类,得到分类统计结果。

其中,分类统计结果包括每一业务行为结果分类对应的数量,例如,业务行为结果分类A对应的数量为119,业务行为结果分类B对应的数量310,业务行为结果分类C对应的数量为124……。

步骤S170,根据分类统计结果生成可视化展示信息,并在数据可视化系统上对可视化展示信息进行展示。

例如,可以将可视化展示信息通过柱状图、饼图、曲线图、气泡图等预先设置的可视化元素进行可视化展示,根据实际需要进行选择,具体不做限定。

以上步骤中,获取业务数据簇的设备可以是各种用户终端,例如各种PC(台式、平板、笔记本等)、手机、智能TV、可穿戴设备等。通过用户终端获取得到拟分析的企业业务数据集,然后采用预处理将拟分析的企业业务数据集依照用户账号提取得到业务数据簇,再对业务数据簇进行处理。采用以上用户终端获取到的是实际发生在企业平台上的用户业务行为数据。可以知道,本申请实施例是结合业务行为检测变量对实际情况中获取的企业业务数据集进行业务行为类型检测。因为包括了实际情况的企业业务数据集学习样例中不易获取,若基于包括了实际情况的业务行为的企业业务数据集学习样例对业务行为检测变量进行调试,学习样例(即训练用的模板或样本)的数量可能不够,调试得到的模型,效果可能达不到要求,因此,需要获取海量实际情况中产生的企业业务数据集样本,这样增加了模型训练的成本,效率低下。

基于上述难题,本申请中通过模拟业务数据簇和实际业务环境数据簇进行结合来调试业务行为检测变量来克服,由于模拟业务数据簇学习样例与实际情况的业务数据簇学习样例是相似的,同时可以自行构建以得到包含了业务行为的业务数据簇学习样例,这样可以大大减少业务行为数据簇学习样例的收集过程。

获得用户终端采集到的拟分析的业务数据簇时,提取拟分析的数据簇中的目标业务类型所对应产生的业务行为表征向量,业务行为表征向量是表征对应目标业务行为特征信息的矢量表征信息,其为一个特征向量。然后,将业务行为表征向量加载至转换模型,通过模型中基于调试得到的业务行为检测变量得到概率参数。之后再完成整个企业业务数据集中所有业务数据簇的业务行为分类统计,生成对应的可视化展示信息进行展示,完成数据的可视化呈现,在多应用场景中提高企业数据管控能力。通过获取拟分析的业务数据簇,提取业务数据簇中目标业务类型的业务行为表征向量,基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数,其中,业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇,基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类。基于模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板数据调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

在一个具体的实施方案中,在获取拟分析的业务数据簇之前,本申请提供的方法还包括:

步骤S101,获取模拟业务数据簇和实际业务环境数据簇.

其中,模拟业务数据簇通过若干模拟业务数据集产出得到,每个模拟业务数据集各自携带分类指示信息,分类指示信息包括用以指示模拟业务数据集为目标分类业务行为的第一训练样例分类,以及用以指示模拟业务数据集不是目标分类业务行为的第二训练样例分类。

步骤S102,基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试。

其中,预训练的业务行为检测模型中包括用以把实际业务环境数据簇变换成模拟业务环境数据簇的第一构建模型,用以把模拟业务环境数据簇变换成实际业务环境数据簇的第二构建模型和多个调试分析模型,当满足调试截止要求时,将第一构建模型的模型内部配置变量确定为业务行为检测变量。

本申请实施例中,用于进行模型调试的数据簇分别源于三个数据集,具体地,模拟业务数据簇来源于包括业务行为的模拟素材数据库,实际业务环境数据簇可以来源于基于实际业务行为画像的实际情况业务行为数据库以及提供实际情况画像的数据库,其中,画像为用户画像,为预先分析得到的用户标签序列。然后,,获取的模拟素材数据库包含企业业务数据集和对应的表征数据集是否包括业务行为的数据集业务行为指示信息,换言之,一个企业业务数据集对应一个分类指示信息。

检测业务行为通过检测网络实现,该检测网络进行调试时,每次加载一个模拟业务数据簇,则任意选取一个实际情况业务行为数据簇和实际情况画像数据簇组成数据簇对加载到基础网络中进行调试,直至满足调试截止要求。

基于本申请实施例以上过程,获取模拟业务数据簇和实际业务环境数据簇,并基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,换言之,基于模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

在一个具体的实施方案中,基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,具体包括:

步骤S201,将模拟业务数据簇加载至第二构建模型,构建出第一对照实际业务环境数据簇;在第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将第一对照实际业务环境数据簇加载至第一构建模型,构建出第一对照模拟业务环境数据簇;获取模拟业务数据簇与第一对照模拟业务环境数据簇之间的第一误差结果。

步骤S202,将实际业务环境数据簇加载至第一构建模型,构建出第二对照模拟业务环境数据簇;在第二对照模拟业务环境数据簇的分析结果表征已满足第二对照调试截止要求时,将第二对照模拟业务环境数据簇加载至第二构建模型,构建出第二对照实际业务环境数据簇;获取实际业务环境数据簇与第二对照实际业务环境数据簇之间的第二误差结果。

步骤S203,在第一误差结果和第二误差结果满足第一误差值要求时,确定业务行为检测模型满足调试截止要求。

需要理解,基于以上实施例,因为采用了模拟的企业业务数据集调试得到来进行实际业务行为分类检测的模型,在基于以上步骤完成模型内部配置变量的调试时,那么,需要确保模拟数据和实际情况的数据的画像一致性(包括用户行为动态风格、用户基本情况静态风格等用户画像)。那么,除了要聚焦数据簇的画像变化,而且要聚焦模拟业务行为和实际业务行为的差异,另外,还要确保业务行为在构建后的先后顺序。基于以上考量,本申请实施例的数据环境一致性支线包含画像数据环境一致性portrait,业务行为数据环境一致性behavior和上下文时序限制context三个支线。本申请实施例基于以上方法完成portrait支线的参变量调试,portrait支线用于企业业务数据集画像的数据环境一致性实现。

本申请实施例可以基于循环生成对抗网络完成数据的转换,将一个模拟企业业务数据集R1'加载至网络,采用以上Net1提取表征向量,再基于Linear Interpolation(LI,线性插值)将表征向量插值到原尺寸,得到通过模拟业务数据簇生成构建的模拟的实际情况画像的企业业务数据集R1。再将R1加载到分析网络,分析网络可以为一个二分类的分类器,其用于识别真的实际情况画像业务数据集和模拟的实际情况画像业务数据集。调试完成后,业务行为分类的概率接近50%,换言之,分析网络难以判断真实的和模拟的,那么构建模型构建的数据簇达到要求,此时,Net1基于学习训练后,可以将模拟业务数据簇变换成实际情况画像业务数据簇。将R1加载至第二构建模型Net2,得到再次构建得到模拟业务数据簇R2,将R2与R1'进行MSE(均方差误差)处理,让R2和R1'逐渐靠近,此时,Net1和Net2通过训练后,分别可以从模拟业务数据簇变换成实际情况画像业务数据簇,从实际情况画像变换成模拟业务数据簇。

基于以上实施方式,从而将模拟业务数据簇加载至第二构建模型,构建出第一对照实际业务环境数据簇;在第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将第一对照实际业务环境数据簇加载至第一构建模型,构建出第一对照模拟业务环境数据簇;获取模拟业务数据簇与第一对照模拟业务环境数据簇之间的第一误差结果;将实际业务环境数据簇加载至第一构建模型,构建出第二对照模拟业务环境数据簇;在第二对照模拟业务环境数据簇的分析结果表征已满足第二对照调试截止要求时,将第二对照模拟业务环境数据簇加载至第二构建模型,构建出第二对照实际业务环境数据簇;获取实际业务环境数据簇与第二对照实际业务环境数据簇之间的第二误差结果;在第一误差结果和第二误差结果满足第一误差值要求时,确定业务行为检测模型满足调试截止要求,从而调试得到适应模拟数据环境到实际数据环境画像的模型,提高了模型画像转换的速度。本申请实施例中,调试截止要求即对应的网络达到收敛状态,对应的条件可以是达到预设的调试次数、误差达到预设值等。

在一种实施方式中,本申请实施例提供的方法还包括:

步骤S301,将模拟业务数据簇加载至第二构建模型,构建出第一对照实际业务环境数据簇包括:将模拟业务数据簇中的多个模拟业务数据集加载至第二构建模型,得到对照画像实际业务环境数据簇。

步骤S302,在第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将第一对照实际业务环境数据簇加载至第一构建模型,构建出第一对照模拟业务环境数据簇包括:将对照画像实际业务环境数据簇加载至第一调试分析模型,得到第一分析结果;在第一分析结果表征没有满足第一调试截止要求时,优化第二构建模型的模型内部配置变量;在第一分析结果表征已满足第一调试截止要求时,将对照画像实际业务环境数据簇加载至第一构建模型,得到对照模拟业务环境数据簇。

步骤S303,获取模拟业务数据簇与第一对照模拟业务环境数据簇之间的第一误差结果包括:获取模拟业务数据集中的模拟业务行为数据簇与对照模拟业务环境数据簇之间的画像差异;在画像差异表征没有满足第二调试截止要求时,根据画像差异优化第一构建模型中的模型内部配置变量;在画像差异表征已满足第二调试截止要求时,根据画像差异获取第一误差结果。

在前述的过程中,因为约束信息(监督信息)的回旋,Net2的效果不佳,为了提高模型的二元性,以上过程需要反过来执行一次,具体包括:将实际情况画像企业业务数据集R3加载至网络,基于Net2提取表征向量,再用LI将表征向量插值到原尺寸,得到由R3构建的模拟的模拟业务数据簇R1。基于Net2后得到构建的R2,加载到分类器Classifier分析是否是真实的模拟业务数据簇。调试完成后,分类器识别的概率接近50%,此时,Net2通过训练后可以拥有将实际情况画像业务数据簇变换成模拟业务数据簇的部分性能。将R2加载到构建模型Net1,得到再次构建的模拟的实际情况画像业务数据簇R1,R1与R3进行MSE处理,令R1和R3逐渐相近,此时,Net1和Net2通过再次训练后各自提高了从模拟业务数据簇变换成实际情况画像业务数据簇,从实际情况画像变换成模拟业务数据簇的性能。

基于此,采用上述步骤完成反向执行,实现了模型的二元对偶,提高检测模型对业务行为检测的准确性。可选地,可以结合以下步骤对以上模型进行调试,在其他实施方式汇总,可以仅下述步骤对以上模型进行调试。

具体的,调试过程包括:

步骤S401,将模拟业务数据簇加载至第二构建模型,构建出第一对照实际业务环境数据簇包括:将模拟业务数据簇中的多个模拟业务数据集对应的业务行为上下文演变信息加载至第二构建模型,得到对照业务行为上下文实际业务环境数据簇。

步骤S402,在第一对照实际业务环境数据簇的分析结果表征已满足第一对照调试截止要求时,将第一对照实际业务环境数据簇加载至第一构建模型,构建出第一对照模拟业务环境数据簇包括:将对照业务行为上下文实际业务环境数据簇加载至第二调试分析模型,得到第二分析结果;在第二分析结果表征没有满足第三调试截止要求时,优化第二构建模型的模型内部配置变量;在第二分析结果表征已满足第三调试截止要求时,将对照业务行为上下文实际业务环境数据簇加载至第一构建模型,得到对照业务行为上下文模拟业务环境数据簇。

步骤S403,获取模拟业务数据簇与第一对照模拟业务环境数据簇之间的第一误差结果包括:获取模拟业务数据集中的模拟业务行为数据簇与对照业务行为上下文模拟业务环境数据簇之间的业务行为差异;在业务行为差异表征没有满足第四调试截止要求时,根据业务行为差异优化第一构建模型中的模型内部配置变量;在业务行为差异表征已满足第四调试截止要求时,根据业务行为差异获取第一误差结果。

以上方法是对检测模型的模拟业务环境数据簇以及实际业务环境数据簇的业务行为数据环境进行一致性调试。业务行为数据环境一致性的数据簇组合分别为模拟业务数据簇的上下文演变信息(即业务类型对应的业务行为数据在不同的数据簇中的变化信息)和实际情况业务数据集的上下文演变信息,Net1和Net2仍然为以上的网络,分析网络分别为NetA,用以判断输入数据是不是真的实际情况业务行为演变数据集;NetB,用以判断输入数据是不是真的模拟业务数据簇演变数据集。

在实际执行中,将一个模拟业务数据簇集合的上下文演变信息集R4'加载至网络,通过Net1提取表征向量后,用LI将表征向量插值到原尺寸,得到由模拟业务数据簇上下文演变信息构建的模拟的实际情况上下文演变企业业务数据集R4,再将R4加载到分析网络,即分类器NetA以分析真实实际情况演变数据集和模拟实际情况演变数据集。调试完成后,识别概率接近50%,分析网络难以进行真实和模拟的分辨。此时,Net1通过训练后拥有将模拟业务数据簇变换成实际情况上下文演变信息的一部分性能。将R4加载到第二构建模型Net2,得到再次构建的模拟上下文演变信息R5,将R5和R4'进行MSE处理,令R5和R4'逐渐相近,此时,Net1和Net2通过训练后分别拥有在模拟业务数据簇上下文演变信息变换成实际情况上下文演变信息,以及在实际情况上下文演变信息变换成模拟业务数据簇上下文演变信息的性能。

在一种实施方式中,因为约束信息的回旋,Net2将实际情况上下文演变信息变换成模拟上下文演变信息的能力还不足,基于此,为了确保模型的二元性,以上的流程会进行反向执行,该过程请参照画像数据环境一致性的调试过程。

基于以上实施例,基于模拟企业业务数据集的上下文演变信息与实际情况业务数据集的上下文演变信息对模型进行调试,增加了模型对模拟业务数据集和实际情况业务数据集的业务行为数据环境一致性的变换性能,提高检测模型的检测速度。

在一个具体的实施方案中,基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,还包括:

步骤S501,将模拟业务数据簇划分为第一模拟数据簇和第二模拟数据簇,并将实际业务环境数据簇划分为第一实际数据簇和第二实际数据簇。

其中,第一模拟数据簇的构建时刻位于第二模拟数据簇的构建时刻之前,第一实际数据簇的构建时刻位于第二实际数据簇的构建时刻之前。

步骤S502,将第一模拟数据簇加载至第二构建模型,得到对照时序模拟业务环境数据簇;获取第二模拟数据簇与对照时序模拟业务环境数据簇之间的第一时间差异。

步骤S503,将第一实际数据簇加载至第一构建模型,得到对照时序实际业务环境数据簇;获取第二实际数据簇与对照时序实际业务环境数据簇之间的第二时间差异。

步骤S504,在第一时间差异和第二时间差异满足第二误差值要求时,确定业务行为检测模型满足调试截止要求。

上述的过程是为了完成增加检测模型对于上下文时序检测的性能的调试,本申请实施例中,可以通过加载一个模拟业务数据簇集合的前业务行为数据簇T1和后业务行为数据簇T2,实际情况业务数据簇T3和T4,将T1加载到Net1,得到T1',T2和T1'进行MSE处理,令构建得到的T1'和T2更相近,T2和T1'加载到Classifier2进行判断,是不是真的后业务行为数据簇T2。

基于此,采用以上实施方式可以完成增加检测模型对上下文时序检测的性能,如此使得检测模型对业务行为的检测速度得到提升。

可选地实施方式,确定业务行为检测模型满足调试截止要求,具体可以包括:

步骤S601,获取第一误差结果、第二误差结果、第一时间差异和第二时间差异的融合结果。

例如,为每一个误差结果赋予对应的加权系数,将各个误差结果进行加权后再求和,得到融合结果。其中,加权系数的数值不做限定。

步骤S602,在融合结果表征已满足目标数值结果时,确定业务行为检测模型满足调试截止要求。

通过部署一个目标数值结果,令调试性能最大化,提升调试得到的检测模型的检测效果。

在一个具体的实施方案中,在基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试之后,方法还可以包括:

步骤S701,获取与满足调试截止要求的业务行为检测模型中的第一构建模型和第二构建模型连接的分类映射网络的输出信息。

步骤S702,在输出信息表征已满足检测要求时,确定将第一构建模型的模型内部配置变量确定为业务行为检测变量,其中,检测要求表征输出信息所对应的分类信息和与输出信息匹配的模拟业务数据集的分类指示信息相同。

需要理解,本申请实施例每一次加载一个模拟业务数据簇,则任意选取一个实际情况业务数据集和实际情况画像业务数据簇构成数据簇集合加载到模型进行调试,得到相适于模拟业务数据簇和实际情况业务数据簇的画像、业务行为合理和上下文时序限制的模型,且该模型包括第二构建模型Net2,将该模型中的模型内部配置变量作为业务行为检测变量,基于包括了第二构建模型Net2的模型进行业务行为检测。

采用上述过程,获取拟分析的业务数据簇,提取业务数据簇中目标业务类型的业务行为表征向量,基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数,其中,业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇,基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类。基于此,通过模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

本申请实施例总,调试业务行为检测模型的方法,包括以下步骤:

步骤T100,获取模拟业务数据簇和实际业务环境数据簇。

其中,模拟业务数据簇包括模拟业务数据集中的模拟业务类型产生业务行为的数据簇,实际业务环境数据簇包括实际业务环境画像数据簇及实际业务环境业务行为数据簇,模拟业务数据簇通过若干模拟业务数据集产出得到,每个模拟业务数据集各自携带分类指示信息,分类指示信息包括用以指示模拟业务数据集为目标分类业务行为的第一训练样例分类,及用以指示模拟业务数据集不是目标分类业务行为的第二训练样例分类。

步骤T200,基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,其中,预训练的业务行为检测模型中包括用以把实际业务环境数据簇变换成模拟业务环境数据簇的第一构建模型,用以把模拟业务环境数据簇变换成实际业务环境数据簇的第二构建模型和多个调试分析模型,当满足调试截止要求时,将第一构建模型的模型内部配置变量确定为业务行为检测变量。

以上模型调试方法包括数据前置处理和画像数据环境一致性调试两个环节。其中,获取的数据簇包括涵盖业务行为的模拟业务数据簇集合,基于实际业务行为画像的实际情况业务行为数据簇集合,以及提供实际情况画像的数据簇集合,具体过程请参照上述描述。

通过本申请的上述实施例,以获取模拟业务数据簇和实际业务环境数据簇,并基于模拟业务数据簇和实际业务环境数据簇,对预训练的业务行为检测模型进行调试,在满足调试截止要求时停止调试,从而调试得到可以用于业务行为识别的网络结构,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

在一个具体的实施例中,包括以下步骤:

步骤T101,获取业务数据簇;

步骤T102,提取业务行为表征向量。

步骤T103,基于检测模型对提取的业务行为表征向量进行解析。

步骤T104,当满足检测要求时,确认业务数据簇为预设类型的业务数据簇。

对于步骤T101~步骤T104,在获取到用户终端的拟分析的业务数据簇时,提取拟分析的数据簇中的目标业务类型对应的业务行为表征向量,然后将业务行为表征向量加载至包括模型Net2的模型,通过模型中基于调试得到的业务行为检测变量,获取得到概率参数。需要理解,以上步骤T103中的检测模型通过步骤T105和步骤T106调试得到。

步骤T105,获取调试数据簇。

该调试数据簇可以参考步骤S102中提及的数据簇。

步骤T106,基于以上实施例中相同的思路调试得到检测模型。

本申请实施例在训练调试模型时,通过获取拟分析的业务数据簇;提取业务数据簇中目标业务类型的业务行为表征向量;基于业务行为表征向量与业务行为检测变量,确定目标业务类型对应于各业务行为结果分类的概率参数,其中,业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇;基于概率参数确定业务数据簇中目标业务类型匹配的业务行为结果分类。通过模拟数据簇对业务行为检测模型进行调试,不用收集海量实际产生的企业数据模板调试业务行为检测模型,节约了业务行为检测的模型训练成本,并提高了效率。

应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的基于大数据分析的企业数据可视化实现方法。图2示意性地示出了本申请实施例提供的企业数据可视化实现装置的结构框图。如图2所示,企业数据可视化实现装置200包括:

数据获取模块210,用于获取企业业务数据集,所述企业业务数据集包括多个拟分析的业务数据簇;获取每一所述拟分析的业务数据簇;

特征提取模块220,用于提取所述业务数据簇中目标业务类型的业务行为表征向量;

概率预测模块230,用于基于所述业务行为表征向量与业务行为检测变量,确定所述目标业务类型对应于各业务行为结果分类的概率参数;其中,所述业务行为检测变量是基于模拟业务数据簇和实际业务环境数据簇进行调试后获得的神经网络参变量,所述模拟业务数据簇中包括模拟业务类型产生业务行为的数据簇画像环境业务行为;

行为分类模块240,用于基于所述概率参数确定所述业务数据簇中目标业务类型匹配的业务行为结果分类;

分类统计模块250,用于统计所述企业业务数据集中的各个所述业务数据簇对应的至少一个业务行为结果分类,得到分类统计结果;其中,所述分类统计结果包括每一所述业务行为结果分类对应的数量;

可视化展示模块260,用于根据所述分类统计结果生成可视化展示信息,并在所述数据可视化系统上对所述可视化展示信息进行展示。

本申请各实施例中提供的企业数据可视化实现装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。

图3示意性地示出了用于实现本申请实施例的数据可视化系统的计算机系统结构框图。

需要说明的是,图3示出的数据可视化系统的计算机系统300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示,计算机系统300包括中央处理器301(Central Processing Unit,CPU),其可以根据存储在只读存储器302(Read-Only Memory,ROM)中的程序或者从存储部分308加载到随机访问存储器303(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器303中,还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器303通过总线304彼此相连。输入/输出接口305(Input/Output接口,即I/O接口)也连接至总线304。

以下部件连接至输入/输出接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口305。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。在该计算机程序被中央处理器301执行时,执行本申请的系统中限定的各种功能。

需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。

附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号