一套自动化标签体系及系统

摘要

本发明属于标签设定技术领域，尤其为一套自动化标签体系及系统，包括数据集生成模块、训练模块、预测模块、数据上传模块和标签生成模块，其中，所述数据上传模块用于上传原始数据信息，生成原始数据库；所述数据集生成模块用于将原始数据库生成训练集和测试集，基于MECE原则对标签大类进行定义；本发明通过自动化标签生成机制及自动化标签设定机制，使标签的创建及设定自动化且形成闭环；由此解决了当前业务重运营模式下，难以量化指标、进行活动及运营效果分析，无法真实反映用户体验，数据分析效率低下的问题；通过自动化标签系统，将大量人力工作优化为精准度、效率更高的模式，达到了线下业务精细化运营、精细化风控的效果。

说明书

技术领域

本发明属于标签设定技术领域，具体涉及一套自动化标签体系及系统，特别涉及一套完备的针对线下门店、店员及商品的自动化标签设定、调整体系。

背景技术

在标签设置场景中，经常需要加入人为判断，导致信息失真，从而影响产品及运营人员做出正确的决策。目前企业内常见的打标签方式有以下两种：

第一种方式：通过人工方式，进行框架分析、标签组构造、具体标签设计，后再根据人工方式，聘请大量内容审核人员/运营人员，对业务对象的数据进行分析，并人工对这些对象进行标签设定。但是，这种方式会导致标签的结果带有大量的打标签人员的个人情绪，因此，无法真实地反映出业务的真实场景，从而导致后续根据标签数据进行分析并优化产品方案后，与用户真实使用软件时的感受有偏差。

第二种方式：通过接入第三方标签设定机构，由对方输出完整解决方案，并提供人力进行协助。在这种方式中，对企业来说较为便利，但一般第三方机构输出方案通用性普遍较差，方案费用成本普遍偏高，且由于是外部团队开发，整体沟通交流效率低下，信息保真度较低。

由此可见，目前在针对业务，存在着通用性差、无法真实反映用户体验，或效率低下、耗费人力过多的缺陷。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一套自动化标签体系及系统，具有精准度高、效率高特点。

为实现上述目的，本发明提供如下技术方案：一套自动化标签体系及系统，包括数据集生成模块、训练模块、预测模块、数据上传模块和标签生成模块，其中，所述数据上传模块用于上传原始数据信息，生成原始数据库；

所述数据集生成模块用于将原始数据库生成训练集和测试集，基于MECE原则对标签大类进行定义；

所述训练模块用于根据训练集和测试集来训练神经网络，得到能够拟合数据的模型，通过使用Java集成kettle的方式，以实现对业务数据抽取、清洗的自动化，采用xgboost算法进行分类算法计算，根据算法计算的结果，对标签等级进行自动划分，生成分类器；

所述预测模块用于根据分类器的模型文件生成对应的预测器，然后通过预测得到原始数据库的各个标签的概率；

所述标签生成模块用于将原始数据库作为输入调用通过预测得到原始数据库的各个标签的概率，然后将对应的标签数据作为对原始数据库的标签。

作为本发明的一种优选技术方案，所述原始数据信息包括线下门店、店员及商品的基础信息和图片信息。

作为本发明的一种优选技术方案，所述数据上传模块包括如下步骤：

步骤一：数据分析人员上传线下门店、店员及商品的基础信息和图片信息作为原始数据信息；

步骤二：将原始数据信息制作成带有相应标签文件的文件夹。

作为本发明的一种优选技术方案，所述数据集生成模块包括如下步骤：

步骤一：将原始数据库生成LMDB格式的训练集和测试集；

步骤二：生成线下门店、店员及商品图片信息的均值文件；

步骤三：将均值文件转化为NUMPY格式；

步骤四：基于MECE原则对训练集和测试集的标签大类进行定义。

作为本发明的一种优选技术方案，所述训练模块包括如下步骤：

步骤一：对训练集和测试集的数据进行预处理；

步骤二：生成能够拟合数据的模型；

步骤三：在测试集上评测模型的准确率。

作为本发明的一种优选技术方案，所述预处理包括对线下门店、店员及商品的基础信息和图片信息的处理。

作为本发明的一种优选技术方案，所述训练模块还包括对训练集数据根据IV值及证据权重进行指标相关性自动排序、筛选。

作为本发明的一种优选技术方案，所述标签生成模块还包括将原始数据库生成对应的Base数据并连同标签信息生成HTML文件返回给系统。

作为本发明的一种优选技术方案，所述自动化标签体系及系统包括如下步骤：

步骤一：数据分析人员上传线下门店、店员及商品的基础信息和图片信息作为原始数据信息，将信息通过HTTP协议传递到服务器，作为原始数据库；

步骤二：利用原始数据库生成训练集和测试集；

步骤三：构件分类器，并基于步骤二生成的训练集和测试集来训练分类器，生成分类器的模型文件；

步骤四：由步骤三生成的分类器的模型文件构建预测器；

步骤五：由步骤四构建的预测器预测步骤一的原始数据库各个标签概率，然后将对应的标签数据作为对原始数据库的标签，同时将原始数据库生成对应的Base数据并连同标签信息生成HTML文件返回给系统。

作为本发明的一种优选技术方案，所述自动化标签体系及系统还包括：

步骤六：将标签等级与评分卡结合，后续门店、店员、用户及商品在操作/流转过程中采用Flink进行流数据处理，在经过算法计算后，对该门店/店员/用户/商品进行自动打分并与标签等级挂钩。

与现有技术相比，本发明的有益效果是：本发明的自动化标签体系及系统，通过自动化标签生成机制及自动化标签设定机制，使标签的创建及设定自动化且形成闭环。由此解决了当前业务重运营模式下，难以量化指标、进行活动及运营效果分析，无法真实反映用户体验，数据分析效率低下的问题；通过自动化标签系统，将大量人力工作优化为精准度、效率更高的模式，达到了线下业务精细化运营、精细化风控的效果。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供以下技术方案：一套自动化标签体系及系统，包括数据集生成模块、训练模块、预测模块、数据上传模块和标签生成模块，其中，数据上传模块用于上传原始数据信息，生成原始数据库；

数据集生成模块用于将原始数据库生成训练集和测试集，基于MECE原则对标签大类进行定义；

训练模块用于根据训练集和测试集来训练神经网络，得到能够拟合数据的模型，通过使用Java集成kettle的方式，以实现对业务数据抽取、清洗的自动化，采用xgboost算法进行分类算法计算，根据算法计算的结果，对标签等级进行自动划分，生成分类器；

预测模块用于根据分类器的模型文件生成对应的预测器，然后通过预测得到原始数据库的各个标签的概率；

标签生成模块用于将原始数据库作为输入调用通过预测得到原始数据库的各个标签的概率，然后将对应的标签数据作为对原始数据库的标签。

具体的，本实施例中，原始数据信息包括线下门店、店员及商品的基础信息和图片信息。

具体的，本实施例中，数据上传模块包括如下步骤：

步骤一：数据分析人员上传线下门店、店员及商品的基础信息和图片信息作为原始数据信息；

步骤二：将原始数据信息制作成带有相应标签文件的文件夹。

具体的，本实施例中，数据集生成模块包括如下步骤：

步骤一：将原始数据库生成LMDB格式的训练集和测试集；

步骤二：生成线下门店、店员及商品图片信息的均值文件；

步骤三：将均值文件转化为NUMPY格式；

步骤四：基于MECE原则对训练集和测试集的标签大类进行定义。

具体的，本实施例中，训练模块包括如下步骤：

步骤一：对训练集和测试集的数据进行预处理；

步骤二：生成能够拟合数据的模型；

步骤三：在测试集上评测模型的准确率。

具体的，本实施例中，预处理包括对线下门店、店员及商品的基础信息和图片信息的处理。

具体的，本实施例中，训练模块还包括对训练集数据根据IV值及证据权重进行指标相关性自动排序、筛选。

具体的，本实施例中，标签生成模块还包括将原始数据库生成对应的Base64数据并连同标签信息生成HTML文件返回给系统。

具体的，本实施例中，自动化标签体系及系统包括如下步骤：

步骤一：数据分析人员上传线下门店、店员及商品的基础信息和图片信息作为原始数据信息，将信息通过HTTP协议传递到服务器，作为原始数据库；

步骤二：利用原始数据库生成训练集和测试集；

步骤三：构件分类器，并基于步骤二生成的训练集和测试集来训练分类器，生成分类器的模型文件；

步骤四：由步骤三生成的分类器的模型文件构建预测器；

步骤五：由步骤四构建的预测器预测步骤一的原始数据库各个标签概率，然后将对应的标签数据作为对原始数据库的标签，同时将原始数据库生成对应的Base64数据并连同标签信息生成HTML文件返回给系统。

具体的，本实施例中，自动化标签体系及系统还包括：

步骤六：将标签等级与评分卡结合，后续门店、店员、用户及商品在操作/流转过程中采用Flink进行流数据处理，在经过算法计算后，对该门店/店员/用户/商品进行自动打分并与标签等级挂钩。

整套流程采用自动化部署、实施，以实现在各种环境下(如节假日、活动期)对业务目标进行自动化打标签，用以达到对线下重运营业务进行精细化运营的目的。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。