基于内容个性化的网页信息抽取技术研究

摘要

互联网技术的飞速发展使搜索引擎成为人们利用网络最主要的信息检索工具，而移动搜索业务作为互联网搜索技术的延伸，能够为用户提供随时随地的信息服务，让用户在任何时刻、任何地点都能感受到信息时代的方便快捷。但是由于移动终端屏幕较小、网络接入速度慢、通信费用高等特点，就要求移动搜索的结果具有很高的精准性，并且能够抽取出相关网页的主题内容。
　　根据以上背景，本文首先介绍搜索引擎及移动搜索的相关知识，其次介绍用户兴趣建模方法及其改进，在这部分主要提出一种通过改进的向量空间模型来表示用户的兴趣，用非线性函数处理特征项词频的方法，改进权值的计算；另外还利用改进的k-means聚类算法来表示用户的兴趣分类树，在此基础上建立用户兴趣模型。然后介绍网页信息抽取相关技术，提出一种基于DOM结构的网页信息抽取方法，在生成解析树的基础上提取出网页的正文信息。最后介绍基于内容个性化的网页信息抽取系统的设计与实现，并进行测试与分析，实验证明能很好的满足用户个性化信息抽取的要求。
　　本文提出的改进的向量空间模型使权值的计算更加准确，而改进的k-means聚类算法，克服传统算法中初始聚类中心难以确定的缺点，排除掉数据集的孤立点后再确定初始聚类中心，提高了k-means聚类算法的性能，能够更准确地发现用户的兴趣所在。另外基于DOM的网页信息抽取方法对于利用模板技术生成的网页，能够达到准确抽取网页信息的效果。最后设计的网页信息抽取系统，在信息检索方面能够达到很高的查全率和查准率，很好的实现用户个性化查询的检索目的。
　　本文提出的网页信息抽取方面的算法具有很好的实用性，但还需要进一步研究，数据快速增长后，数据的存储管理问题，如何提高正文的抽取速度，以及在方法的通用性方面加强研究，以获得更好的挖掘效率。