一种重复信息归并的提速式信息传输系统

摘要

本发明涉及重复信息归并技术领域，具体地说，涉及一种重复信息归并的提速式信息传输系统。其包括数据信息采集单元。本发明中，数据信息采集单元对将要输出的数据进行采集，数据信息分析单元对采集信息进行分析处理，并将分析内容信息传输至普通数据输出单元，普通数据输出单元对分析内容信息中不同输出内容的对应数据进行提取，重复数据提取单元对分析内容信息中出现相同输出内容对应的同类数据进行提取，数据重新整合单元结合不同输出内容的对应数据以及归并后数据进行整合，从而能够快速定位到冗余数据，并对冗余数据进行归并处理，提高数据输出效率，保证数据输出准确度。

说明书

技术领域

本发明涉及重复信息归并技术领域，具体地说，涉及一种重复信息归并的提速式信息传输系统。

背景技术

随着计算机网络的飞速发展,越来越多的人们开始使用计算机,日常生活中通过采用网络达到信息交流的目的,随着网络信息量的不断增加,对网络水平提出了更高的要求，对等网络程序能够保证上述操作顺利进行,在众多领域得到了广泛应用,但信息传输正确性问题是复杂网络交流程序运行与维护经常碰到的问题,信息传输正确性对复杂网络交流的任何信息均会产生不同程度的影响,直接破坏了网络信息传输的正确性,只要其中一个环节出现故障,后续所有传输错误均会瘫痪,因此在复杂网络交流误差问题需要及时解决。

由于在进行信息传输过程中，经常需要对大量信息一次性传输，而这些传输信息中经常包含重复数据信息，导致接收者接收到冗余信息，影响信息提取接收效率，同时降低信息传输准确度。

发明内容

本发明的目的在于提供一种重复信息归并的提速式信息传输系统，以解决上述背景技术中提出的问题。

为实现上述目的，提供了一种重复信息归并的提速式信息传输系统，包括数据信息采集单元，所述数据信息采集单元，所述数据信息采集单元输出端连接有数据信息分析单元，所述数据信息分析单元用于对采集信息进行分析处理，判断采集信息输出内容，所述数据信息分析单元输出端连接有普通数据输出单元，所述数据信息分析单元输出端还连接有重复数据提取单元，所述重复数据提取单元用于对采集信息数据中相同输出内容的同类数据进行提取，所述重复数据提取单元输出端连接有重复数据归并单元，所述重复数据归并单元用于对表示相同输出内容的同类数据进行数据归并，所述重复数据归并单元输出端连接有数据重新整合单元，所述数据重新整合单元输入端与所述普通数据输出单元输出端连接，所述数据重新整合单元用于结合普通数据以及归并后的重复数据进行整合，所述数据重新整合单元输出端连接有整合数据输出单元。

作为本技术方案的进一步改进，所述数据信息分析单元包括对应数据内容识别模块，所述对应数据内容识别模块用于根据采集数据分析数据所对应的内容，所述对应数据内容识别模块输出端连接有对应数据内容输出模块。

作为本技术方案的进一步改进，所述重复数据归并单元包括重复数据段排序模块，所述重复数据段排序模块用于对相同类型的各个数据中的数据段按照顺序进行排序，所述重复数据段排序模块输出端连接有相同数据段提取模块，所述相同数据段提取模块输出端连接有不同数据段合并模块。

作为本技术方案的进一步改进，所述重复数据归并单元采用数据段归并算法，其算法公式如下所示：

其中，

作为本技术方案的进一步改进，所述重复数据提取单元输入端连接有数据位置定位单元，所述对应数据内容输出模块输出端连接有对应数据顺序模拟模块，所述对应数据顺序模拟模块输出端与所述数据位置定位单元输入端连接，所述数据位置定位单元输出端与所述数据重新整合单元输入端连接。

作为本技术方案的进一步改进，所述数据位置定位单元包括重复数据位置标识模块，所述重复数据位置标识模块输出端连接有参考数据选取模块。

作为本技术方案的进一步改进，所述数据重新整合单元输出端连接有输出数据判断单元，所述输出数据判断单元输出端与所述整合数据输出单元输入端连接。

作为本技术方案的进一步改进，所述输出数据判断单元包括归并数据不同位置模拟模块，所述归并数据不同位置模拟模块用于对归并后的数据回归至不同位置后形成的整合数据信息进行模拟处理。

作为本技术方案的进一步改进，所述归并数据不同位置模拟模块输出端连接有整合数据完整性判断模块，所述整合数据完整性判断模块输出端连接有最终整合位置确定模块。

与现有技术相比，本发明的有益效果：

1、该重复信息归并的提速式信息传输系统中，数据信息采集单元对将要输出的数据进行采集，数据信息分析单元对采集信息进行分析处理，并将分析内容信息传输至普通数据输出单元，普通数据输出单元对分析内容信息中不同输出内容的对应数据进行提取，重复数据提取单元对分析内容信息中出现相同输出内容对应的同类数据进行提取，重复数据归并单元对表示相同输出内容的同类数据进行数据归并，数据重新整合单元结合不同输出内容的对应数据以及归并后数据进行整合，从而能够快速定位到冗余数据，并对冗余数据进行归并处理，提高数据输出效率，保证数据输出准确度。

2、该重复信息归并的提速式信息传输系统中，重复数据段排序模块用于对相同类型的各个数据中的数据段按照顺序进行排序，生成数据段排序信息，并将数据段排序信息传输至相同数据段提取模块，相同数据段提取模块根据排序信息对各个相同类型的数据中的数据段中相同数据段进行识别，选取其中一个相同数据段作为备用数据段，其余相同数据段剔除，并将备用数据段信息传输至不同数据段合并模块，不同数据段合并模块对相同类型的各个数据中的不同数据段按照初始顺序进行合并，同时将备用数据段按照初始顺序进行整合，将相同类型的各个数据归并成归并数据。

3、该重复信息归并的提速式信息传输系统中，对应数据顺序模拟模块对原始采集数据中数据顺序进行排序，生成排序信息，并将排序信息传输至数据位置定位单元，通过数据位置定位单元对提取出来的重复数据位置进行记忆，生成记忆信息，并将记忆信息传输至数据重新整合单元，使得归并后的归并数据按照记忆信息重新分配至原始位置，保证信息传输的完整性。

4、该重复信息归并的提速式信息传输系统中，重复数据位置标识模块对提取出来的重复数据位置进行记忆，并对其位置信息进行标识，同时通过参考数据选取模块选取提取出来的重复数据与之相邻的参考数据位置，作为该提取出来的重复数据参考位置，进一步对提取出来的重复数据位置进行精确定位。

附图说明

图1为本发明的整体结构示意图；

图2为本发明实施例1的数据信息分析单元流程图；

图3为本发明实施例1的重复数据归并单元流程图；

图4为本发明实施例1的数据位置定位单元流程图；

图5为本发明实施例1的输出数据判断单元流程图。

图中各个标号意义为：

10、数据信息采集单元；

20、数据信息分析单元；210、对应数据内容识别模块；220、对应数据内容输出模块；230、对应数据顺序模拟模块；

30、普通数据输出单元；

40、重复数据提取单元；

50、重复数据归并单元；510、重复数据段排序模块；520、相同数据段提取模块；530、不同数据段合并模块；

60、数据重新整合单元；

70、整合数据输出单元；

80、数据位置定位单元；810、重复数据位置标识模块；820、参考数据选取模块；

90、输出数据判断单元；910、归并数据不同位置模拟模块；920、整合数据完整性判断模块；930、最终整合位置确定模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例1

请参阅图1-图5所示，本实施例目的在于，提供了一种重复信息归并的提速式信息传输系统，包括数据信息采集单元10，数据信息采集单元10，数据信息采集单元10输出端连接有数据信息分析单元20，数据信息分析单元20用于对采集信息进行分析处理，判断采集信息输出内容，数据信息分析单元20输出端连接有普通数据输出单元30，数据信息分析单元20输出端还连接有重复数据提取单元40，重复数据提取单元40用于对采集信息数据中相同输出内容的同类数据进行提取，重复数据提取单元40输出端连接有重复数据归并单元50，重复数据归并单元50用于对表示相同输出内容的同类数据进行数据归并，重复数据归并单元50输出端连接有数据重新整合单元60，数据重新整合单元60输入端与普通数据输出单元30输出端连接，数据重新整合单元60用于结合普通数据以及归并后的重复数据进行整合，数据重新整合单元60输出端连接有整合数据输出单元70。

具体使用时，数据信息采集单元10对将要输出的数据进行采集，生成采集数据信息，并将采集数据信息传输至数据信息分析单元20，数据信息分析单元20对采集信息进行分析处理，判断采集信息输出内容，生成分析内容信息，并将分析内容信息传输至普通数据输出单元30，普通数据输出单元30对分析内容信息中不同输出内容的对应数据进行提取，并对其进行存储，同时，重复数据提取单元40对分析内容信息中出现相同输出内容对应的同类数据进行提取，生成同类数据信息，并将同类数据信息传输至重复数据归并单元50，重复数据归并单元50对表示相同输出内容的同类数据进行数据归并，剔除其中重复数据，合并其余不同数据，并生成归并数据信息，将归并数据信息传输至数据重新整合单元60，此时普通数据输出单元30将存储的不同输出内容的对应数据传输至数据重新整合单元60，数据重新整合单元60结合不同输出内容的对应数据以及归并后数据进行整合，生成整合数据信息，并将整合数据信息传输至整合数据输出单元70，通过整合数据输出单元70对整合数据信息向外传输，从而能够快速定位到冗余数据，并对冗余数据进行归并处理，提高数据输出效率，保证数据输出准确度。

此外，数据信息分析单元20包括对应数据内容识别模块210，对应数据内容识别模块210用于根据采集数据分析数据所对应的内容，对应数据内容识别模块210输出端连接有对应数据内容输出模块220。具体使用时，对应数据内容识别模块210根据采集数据分析数据所对应的内容，生成对应内容数据信息，并将对应内容数据信息传输至对应数据内容输出模块220，通过对应数据内容输出模块220对对应内容数据信息进行输出。

进一步的，重复数据归并单元50包括重复数据段排序模块510，重复数据段排序模块510用于对相同类型的各个数据中的数据段按照顺序进行排序，重复数据段排序模块510输出端连接有相同数据段提取模块520，相同数据段提取模块520输出端连接有不同数据段合并模块530。具体使用时，重复数据段排序模块510用于对相同类型的各个数据中的数据段按照顺序进行排序，生成数据段排序信息，并将数据段排序信息传输至相同数据段提取模块520，相同数据段提取模块520根据排序信息对各个相同类型的数据中的数据段中相同数据段进行识别，选取其中一个相同数据段作为备用数据段，其余相同数据段剔除，并将备用数据段信息传输至不同数据段合并模块530，不同数据段合并模块530对相同类型的各个数据中的不同数据段按照初始顺序进行合并，同时将备用数据段按照初始顺序进行整合，将相同类型的各个数据归并成归并数据。

再进一步的，重复数据归并单元50采用数据段归并算法，其算法公式如下所示：

其中，

具体的，重复数据提取单元40输入端连接有数据位置定位单元80，对应数据内容输出模块220输出端连接有对应数据顺序模拟模块230，对应数据顺序模拟模块230输出端与数据位置定位单元80输入端连接，数据位置定位单元80输出端与数据重新整合单元60输入端连接。具体使用时，对应数据顺序模拟模块230对原始采集数据中数据顺序进行排序，生成排序信息，并将排序信息传输至数据位置定位单元80，通过数据位置定位单元80对提取出来的重复数据位置进行记忆，生成记忆信息，并将记忆信息传输至数据重新整合单元60，使得归并后的归并数据按照记忆信息重新分配至原始位置，保证信息传输的完整性。

此外，数据位置定位单元80包括重复数据位置标识模块810，重复数据位置标识模块810输出端连接有参考数据选取模块820。具体使用时，重复数据位置标识模块810对提取出来的重复数据位置进行记忆，并对其位置信息进行标识，同时通过参考数据选取模块820选取提取出来的重复数据与之相邻的参考数据位置，作为该提取出来的重复数据参考位置，进一步对提取出来的重复数据位置进行精确定位。

进一步的，数据重新整合单元60输出端连接有输出数据判断单元90，输出数据判断单元90输出端与整合数据输出单元70输入端连接。由于在进行重复数据归并过程中，表示相同内容的各个重复数据原始位置不同，在进行归并后会出现多个定位位置，此时通过输出数据判断单元90对归并后的数据进行多位置整合判断，选取其中输出数据信息最完整的位置作为该归并数据的整合位置，进一步提高数据信息传输完整性。

再进一步的，输出数据判断单元90包括归并数据不同位置模拟模块910，归并数据不同位置模拟模块910用于对归并后的数据回归至不同位置后形成的整合数据信息进行模拟处理。具体使用时，归并数据不同位置模拟模块910对归并后的数据回归至不同位置后形成的整合数据信息进行模拟处理，生成不同的整合数据信息，用于进行比对判断，以确定最佳位置方案。

此外，归并数据不同位置模拟模块910输出端连接有整合数据完整性判断模块920，整合数据完整性判断模块920输出端连接有最终整合位置确定模块930。归并数据不同位置模拟模块910将不同的整合数据信息传输至整合数据完整性判断模块920，整合数据完整性判断模块920根据不同的整合数据信息分析对应整合数据信息表达的内容，从而确定不同的整合数据对应的完整性，生成完整性判断信息，并将完整性判断信息传输至最终整合位置确定模块930，通过最终整合位置确定模块930对完整性判断信息进行输出。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。