基于集成搜索引擎的数据发现方法

摘要

本发明提供了一种基于集成搜索引擎的数据发现方法，该方法包括：读取程序配置文件，并预加载缓存采集时要用到的数据；初始化各个事务，并控制事务的运行，获取处理任务，进行爬取链接去重检查，分析爬取链接的类型，对采集到的网页源码执行清洗、过滤，提取出有效信息；对提取出的信息进行转换处理，进行缓存，当缓存待保存数据达到一定数量时执行缓存数据入库处理；同时定时监控各个事务的执行状态，对异常事务进行控制管理。本发明提出了一种基于集成搜索引擎的数据发现方法，利用事务控制策略进行高效数据采集，针对多维对象之间的耦合关系进行数据挖掘。