一种蕴含相关性特征面向系统测试用的仿真流式大数据生成方法

摘要

本发明公开了一种蕴含相关性特征面向系统测试用的仿真流式大数据生成方法，解决了流式大数据系统测试中的仿真数据生成问题。本发明首先分析真实场景的种子数据集，给出两两属性散点图，再采用最大互信息系数描述两两属性间的相关性，生成一N个节点的带权无向完全图(N为数据属性个数，权值为计算出的相关系数)，接着提出c‑prim算法划分属性组，使得分解出的属性组具有类似高内聚低耦合的特点，再给出一种时序模型选择策略，根据每个属性组的不同特点，采用不同的时序模型进行模拟，进而保证最终生成的数据在时序上的相关性，最后提出了双层滑动窗口的方法控制并行度和流数据输出速度。本发明能够生成与真实场景数据特征比较接近的流式大数据，同时能够简单有效地控制生成数据流流速。