一种多通道动态分布式学术资源采集方法

摘要

本发明提供一种多通道动态分布式学术资源采集方法，涉及学术资源采集技术领域。该多通道动态分布式学术资源采集方法，包括测试系统、采集系统、预处理系统、分类整合系统、数据库系统、平台架构系统、用户查询系统、紧急处理系统与维护更新系统，所述测试系统为多通道抓取系统，系统抓取知名学术资源网站、典型的论坛网站与知名的中外文论坛网站上的部分网页作为实验对象，建立一个与模板无关的基于有效字符的内容抽取算法。通过测试实现得到模板无关的内容抽取算法，并将该模板无关的内容抽取算法应用到采集系统中，使得网页平台在采集信息时只需要在借助较少的人工辅助情况下就可以爬取新的网站，大大减少了系统扩展以及维护的成本。