一种基于数据挖掘的工程国家标准数据库自适应构建方法

摘要

发明公开了一种基于数据挖掘的工程国家标准数据库自适应构建方法，使用网络爬虫技术与BloomFilter自适应算法相结合，通过选取最优的哈希函数个数，从获取到的国家规范链接数据集standard_URL中，快速判断链接是否已被爬取，找出新增的国家规范链接数据集update_URL。同时在网络爬虫技术的基础上，对非结构化建筑规范数据进行采集，其中包含文本数据集text和“图像”形式的“文本+表格”混合数据集img，然后利用图像识别技术，对混合数据集img中文本数据与表格数据分别处理，得到文本数据集Text与表格数据集table。本发明改变了传统查询国家标准规范的方式，方便审图专家快速查阅相关国家标准规范和建筑强条，可有效减少审图人员的工作量，节约大量时间。