一种基于快速傅里叶变换的网页正文提取方法

摘要

本发明公开了一种基于快速傅立叶变换的网页正文提取方法，包括：读入HTML文件，并将该文件转换为Unicode格式，并存入一个字符数组；对字符数组进行窗口分段；对字符在文档中的位置进行统计学分析，根据结果对字符进行强度编码转换，得到正文强度值，每一个窗口字符段对应一个强度值序列；对强度值序列进行快速傅立叶变换，得到频域的F向量；计算任意两个窗口字符段之间的距离；为窗口字符段设定区间，所述区间是若干个连续的窗口的组合，用数字对(b，e)表示，根据任意两个窗口字符段之间的距离，计算每个区间的权值；对所有区间的权值排序，根据权值选择最佳正文区间。本发明对网页正文提取的准确率高，能有效地区分正文和网页的其他部分。