基于改进抗噪鲁棒性学习算法的数据标签降噪系统

摘要

本发明属于数据采集技术领域。本发明公开了一种基于改进抗噪鲁棒性学习算法的数据标签降噪系统。先对历史数据进行预处理，从而得到样本数据集；然后对样本数据集进行噪声数据初步去除，从而得到标准数据集；再将标准数据集进行噪声数据深度去除，从而得到目标数据，再进行相应的数据封装，得到目标数据集；经过两次噪声去除，进一步保障了数据标签降噪效果。针对不同的数据异常对应进行不同的异常故障定位，从而快速对故障部分进行应急处理，保证了数据标签降噪系统的可靠持续运行。

说明书

技术领域

本发明属于数据处理技术领域，具体涉及基于改进抗噪鲁棒性学习算法的数据标签降噪系统。

背景技术

深度神经网络尽管获得了经验上的广泛成功，但众所周知地易受对抗攻击的影响。考虑所谓的标签翻转，其中训练集的标签被对抗地操纵，以降低经训练的分类器的性能。例如，可以尝试操纵训练集，使得特定的输入模式在测试时间触发某些分类。然而，不同于测试时间对抗设置，在存在合理有效的防御来构建对抗鲁棒的深度神经网络的情况下，对于构建对数据中毒攻击鲁棒的深度分类器做出了相对较少的工作。

但是，现阶段对于数据标签降噪往往只是采用一次性的深度学习进行，当神经网络模型较为初级时，并不能实现较佳的数据标签降噪功能。

因此,现阶段需设计基于改进抗噪鲁棒性学习算法的数据标签降噪系统,来解决以上问题。

发明内容

本发明目的在于提供基于改进抗噪鲁棒性学习算法的数据标签降噪系统，用于解决上述现有技术中存在的技术问题，如：现阶段对于数据标签降噪往往只是采用一次性的深度学习进行，当神经网络模型较为初级时，并不能实现较佳的数据标签降噪功能。

为实现上述目的，本发明的技术方案是：

基于改进抗噪鲁棒性学习算法的数据标签降噪系统，包括数据获取单元，用于获取相应建筑图片的历史数据集并发送至数据预处理单元；

数据预处理单元，用于将所述历史数据集进行去重归一化处理，得到样本数据集并发送至噪声数据初步去除单元；

噪声数据初步去除单元，用于将所述样本数据集进行分类，即按照预设的噪声标签和标准标签，分别将所述样本数据集分类为噪声数据和标准数据，进而去除所有的所述噪声数据，保留所有的所述标准数据并记为标准数据集并发送至噪声数据深度去除单元；

噪声数据深度去除单元，用于通过鲁棒性学习算法深度去除将所述标准数据集中剩余的噪声数据，从而得到目标数据并发送至目标数据封装单元；

目标数据封装单元，用于将所有的所述目标数据按照预设的数据标签格式进行封装，从而得到目标数据集。

进一步的，还包括数据存储单元，所述数据存储单元中存储有所述历史数据集在正常情况下进行去重归一化处理后得到的标准样本数据集；

还包括样本数据集检验单元，用于将所述样本数据集与所述标准样本数据集进行匹配判断，若所述样本数据集与所述标准样本数据集不匹配，则判定所述样本数据集异常；

还包括数据获取输出识别单元、数据预处理输入识别单元；

所述数据获取输出识别单元用于识别所述数据获取单元的输出端的数据输出是否属于正常状态；

所述数据预处理输入识别单元用于识别所述数据预处理单元的输入端的数据输入是否属于正常状态；

当判定所述样本数据集异常时，

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出不是属于正常状态，则判定所述数据获取单元出现故障；

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出是属于正常状态，所述数据预处理输入识别单元识别到所述数据预处理单元的输入端的数据输入不是属于正常状态，则判定所述数据获取单元与所述数据预处理单元之间的数据传输出现故障；

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出是属于正常状态，所述数据预处理输入识别单元识别到所述数据预处理单元的输入端的数据输入是属于正常状态，则判定所述数据预处理单元出现故障。

进一步的，所述数据存储单元中存储有所述样本数据集在正常情况下进行去除所有的所述噪声数据处理后得到的基准标准数据集；

还包括标准数据集检验单元，用于将所述标准数据集与所述基准标准数据集进行匹配判断，若所述标准数据集与所述基准标准数据集不匹配，则判定所述标准数据集异常；

还包括数据预处理输出识别单元、初步去除输入识别单元；

所述数据预处理输出识别单元用于识别所述数据预处理单元的输出端的数据输出是否属于正常状态；

所述初步去除输入识别单元用于识别所述噪声数据初步去除单元的输入端的数据输入是否属于正常状态；

当判定所述标准数据集异常时，

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出不是属于正常状态，则判定所述数据预处理单元出现故障；

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出是属于正常状态，所述初步去除输入识别单元识别到所述噪声数据初步去除单元的输入端的数据输入不是属于正常状态，则判定所述数据预处理单元与所述噪声数据初步去除单元之间的数据传输出现故障；

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出是属于正常状态，所述初步去除输入识别单元识别到所述噪声数据初步去除单元的输入端的数据输入是属于正常状态，则判定所述噪声数据初步去除单元出现故障。

进一步的，所述数据存储单元中存储有所述目标数据在正常情况下进行深度去除噪声数据处理后得到的基准目标数据；

还包括目标数据检验单元，用于将所述目标数据与所述基准目标数据进行匹配判断，若所述目标数据与所述基准目标数据不匹配，则判定所述目标数据异常；

还包括初步去除输出识别单元、深度去除输入识别单元；

所述初步去除输出识别单元用于识别所述噪声数据初步去除单元的输出端的数据输出是否属于正常状态；

所述深度去除输入识别单元用于识别所述噪声数据深度去除单元的输入端的数据输入是否属于正常状态；

当判定所述目标数据异常时，

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出不是属于正常状态，则判定所述噪声数据初步去除单元出现故障；

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出是属于正常状态，所述深度去除输入识别单元识别到所述噪声数据深度去除单元的输入端的数据输入不是属于正常状态，则判定所述噪声数据初步去除单元与所述噪声数据深度去除单元之间的数据传输出现故障；

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出是属于正常状态，所述深度去除输入识别单元识别到所述噪声数据深度去除单元的输入端的数据输入是属于正常状态，则判定所述噪声数据深度去除单元出现故障。

与现有技术相比，本发明所具有的有益效果为：

本方案的一个创新点在于，先对历史数据进行预处理，从而得到样本数据集；然后对样本数据集进行噪声数据初步去除，从而得到标准数据集；再将标准数据集进行噪声数据深度去除，从而得到目标数据，再进行相应的数据封装，得到目标数据集；经过两次噪声去除，进一步保障了数据标签降噪效果。

附图说明

图1是本发明具体实施方式的实施例1的结构示意图。

图2是本发明具体实施方式的实施例2的结构示意图。

具体实施方式

下面结合本发明的附图1-2，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，因此提出一种基于改进抗噪鲁棒性学习算法的数据标签降噪系统，包括数据获取单元，用于获取相应建筑图片的历史数据集并发送至数据预处理单元；

数据预处理单元，用于将所述历史数据集进行去重归一化处理，得到样本数据集并发送至噪声数据初步去除单元；

噪声数据初步去除单元，用于将所述样本数据集进行分类，即按照预设的噪声标签和标准标签，分别将所述样本数据集分类为噪声数据和标准数据，进而去除所有的所述噪声数据，保留所有的所述标准数据并记为标准数据集并发送至噪声数据深度去除单元；

噪声数据深度去除单元，用于通过鲁棒性学习算法深度去除将所述标准数据集中剩余的噪声数据，从而得到目标数据并发送至目标数据封装单元；

目标数据封装单元，用于将所有的所述目标数据按照预设的数据标签格式进行封装，从而得到目标数据集。

上述方案中，先对历史数据进行预处理，从而得到样本数据集；然后对样本数据集进行噪声数据初步去除，从而得到标准数据集；再将标准数据集进行噪声数据深度去除，从而得到目标数据，再进行相应的数据封装，得到目标数据集；经过两次噪声去除，进一步保障了数据标签降噪效果。针对不同的数据异常对应进行不同的异常故障定位，从而快速对故障部分进行应急处理，保证了数据标签降噪系统的可靠持续运行。

实施例2：

如图2所示，在实施例1的基础上进一步的，还包括数据存储单元，所述数据存储单元中存储有所述历史数据集在正常情况下进行去重归一化处理后得到的标准样本数据集；

还包括样本数据集检验单元，用于将所述样本数据集与所述标准样本数据集进行匹配判断，若所述样本数据集与所述标准样本数据集不匹配，则判定所述样本数据集异常；

还包括数据获取输出识别单元、数据预处理输入识别单元；

所述数据获取输出识别单元用于识别所述数据获取单元的输出端的数据输出是否属于正常状态；

所述数据预处理输入识别单元用于识别所述数据预处理单元的输入端的数据输入是否属于正常状态；

当判定所述样本数据集异常时，

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出不是属于正常状态，则判定所述数据获取单元出现故障；

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出是属于正常状态，所述数据预处理输入识别单元识别到所述数据预处理单元的输入端的数据输入不是属于正常状态，则判定所述数据获取单元与所述数据预处理单元之间的数据传输出现故障；

若所述数据获取输出识别单元识别到所述数据获取单元的输出端的数据输出是属于正常状态，所述数据预处理输入识别单元识别到所述数据预处理单元的输入端的数据输入是属于正常状态，则判定所述数据预处理单元出现故障。

进一步的，所述数据存储单元中存储有所述样本数据集在正常情况下进行去除所有的所述噪声数据处理后得到的基准标准数据集；

还包括标准数据集检验单元，用于将所述标准数据集与所述基准标准数据集进行匹配判断，若所述标准数据集与所述基准标准数据集不匹配，则判定所述标准数据集异常；

还包括数据预处理输出识别单元、初步去除输入识别单元；

所述数据预处理输出识别单元用于识别所述数据预处理单元的输出端的数据输出是否属于正常状态；

所述初步去除输入识别单元用于识别所述噪声数据初步去除单元的输入端的数据输入是否属于正常状态；

当判定所述标准数据集异常时，

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出不是属于正常状态，则判定所述数据预处理单元出现故障；

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出是属于正常状态，所述初步去除输入识别单元识别到所述噪声数据初步去除单元的输入端的数据输入不是属于正常状态，则判定所述数据预处理单元与所述噪声数据初步去除单元之间的数据传输出现故障；

若所述数据预处理输出识别单元识别到所述数据预处理单元的输出端的数据输出是属于正常状态，所述初步去除输入识别单元识别到所述噪声数据初步去除单元的输入端的数据输入是属于正常状态，则判定所述噪声数据初步去除单元出现故障。

进一步的，所述数据存储单元中存储有所述目标数据在正常情况下进行深度去除噪声数据处理后得到的基准目标数据；

还包括目标数据检验单元，用于将所述目标数据与所述基准目标数据进行匹配判断，若所述目标数据与所述基准目标数据不匹配，则判定所述目标数据异常；

还包括初步去除输出识别单元、深度去除输入识别单元；

所述初步去除输出识别单元用于识别所述噪声数据初步去除单元的输出端的数据输出是否属于正常状态；

所述深度去除输入识别单元用于识别所述噪声数据深度去除单元的输入端的数据输入是否属于正常状态；

当判定所述目标数据异常时，

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出不是属于正常状态，则判定所述噪声数据初步去除单元出现故障；

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出是属于正常状态，所述深度去除输入识别单元识别到所述噪声数据深度去除单元的输入端的数据输入不是属于正常状态，则判定所述噪声数据初步去除单元与所述噪声数据深度去除单元之间的数据传输出现故障；

若所述初步去除输出识别单元识别到所述噪声数据初步去除单元的输出端的数据输出是属于正常状态，所述深度去除输入识别单元识别到所述噪声数据深度去除单元的输入端的数据输入是属于正常状态，则判定所述噪声数据深度去除单元出现故障。

上述方案中，针对不同的数据异常对应进行不同的异常故障定位，从而快速对故障部分进行应急处理，保证了数据标签降噪系统的可靠持续运行。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。