一种基于多进程数据流的海量虚实数据比对方法

摘要

本发明公开了一种基于多进程数据流的海量虚实数据快速比对方法，首先整理虚拟数据，形成标准数据文件，依据标准数据格式对实测数据进行预处理，对齐数据长度；然后将虚拟数据与实测数据按对应唯一编码合并成一条数据，形成单一数据文件；接着读入数据流，通过一个循环遍历整个数据文件，比对每条数据前后半段差异；最后直接将内存中的数据流按硬件环境进行分块，通过多线程并行方式同时遍历分块后的内存数据，获取分块比对结果文件。本发明通过多进程并行处理与数据流计算的有效融合，实现虚拟数据与实测数据在内存中高速比对的同时能避免数据量过大而导致内存存储限制，从而能提高生产或工程项目中海量数据比对的效率。