层次化关键词抽取与文本自动分类在BBS中的应用

摘要

BBS（Bulletin Board System）是一种用户用来交流的在线社区，同时也是提供了非常丰富的信息资源。在中国，各种论坛的数目也飞速发展，根据中国网络信息中心的数据，论坛总数已将近占到整个中国互联网的27.6％。全世界范围内，BBS 同样吸引着非常多的用户。例如，Google 的在线论坛1，每天有几百万的用户在上面提问，讨论问题。整个BBS 分成很多个不同的版，每个版有各自讨论的话题。比如，技术方面有comp.lang.java，娱乐方面有alt.movie 等等。目前，越来越多的人对BBS 这种虚拟的交流方式产生极大的兴趣。参与的用户数量，以及BBS 中的文章数量都已经非常庞大，并且以很高的速度增长。随着BBS 的广泛应用，需要一些实用的算法和工具来帮助用户更好的挖掘和使用其中的信息。 本文在目前机器学习、数据挖掘和人工智能理论的基础上，提出新型的算法和应用是用户更加方便有效的使用BBS。首先，本课题通过对BBS 中数据进行关键词抽取，为每个版产生一个层次化的自动摘要。这样用户可以一眼就了解整个版的主要主题。用户通过点击这些层次化的关键词，可以找到相对应的文章。通过这一系统，用户可以快速的定位到他需要的信息，而无须再通过一条条的浏览来寻找。第二，因为Newsgroup（BBS 的一种）有非常多的版，并且由于用户对相关的版缺乏背景知识，所以把文章发到正确的版将是一个很大的挑战。本课题通过建立一个文本分类系统来对用户的文章进行自动推荐。并且，本文通过大量的实验分析，证明本系统的算法是非常有效的。