一种基于Web页面的大规模数据生成方法及系统

摘要

本发明公开了一种基于Web页面的大规模数据生成方法，通过将原始小规模种子网页按长度分类的方式，依据原始网页的长度和词频信息生成大规模的文本数据，入出度生成和URL赋值，则根据原始种子页面中每类页面的入出度的条件概率计算生成网页的入出度值，利用已有入出度值向网页中插入URL，使得在生成的数据中，入度的总和是等于出度的总和。通过提取小规模的真实数据的特征来生成大规模的相对真实可靠的数据来提供给数据中心的应用，从而使得到的研究结果有更加真实。