一种用于网站安全监测的栏目识别方法

摘要

本发明公开了一种用于网站安全监测的栏目识别方法，克服了现有技术中，网站建设中栏目的不断增加和重叠，对网站运行造成影响的问题。该发明中网站安全监测的栏目识别主要包括网络爬虫及URL识别、内容页特征识别和权重计算。所述权重计算含有以下步骤：经过过滤后的UrlMap，需要根据栏目名称长度、引用次数、出现日期次数、内容页特征关键字出现数量计算栏目权重，计算出栏目总权重；从UrlMap中删除权重小于60的URL，最后UrlMap中所有剩余的URL就是网站的所有栏目。该技术通过栏目识别可以从网站内容中识别出网站的栏目信息，对网站建设者来说，能够清晰看到整个网站的基本结构，方便网站的优化及管理。