基于模板和SVM协同工作的网页去噪方法

摘要

本文提出一种基于模板和支持向量机(SVM)协同工作的网页去噪方法。该方法将网页噪声分为公共噪声和个性化噪声两类。首先从网页集合中建立模板库，利用模板去除网页公共噪声。对于剩下的个性化噪声，先计算块级标签特征，利用这些特征训练SVM模型，最后用训练好的SVM模型将块级标签分为噪声和正文两类，达到去噪目的。该方法能够有效去除主题型网页中的版权、导航、广告等噪声信息。与单纯使用SVM进行网页去噪相比，查准率和查全率上均有提升。.