面向财经新闻的智能搜索平台的研究与应用

摘要

随着互联网技术的高速发展，互联网上的信息包括各种各样的财经新闻正以爆炸式的速度迅猛增长。毫无疑问，财经新闻中蕴含着大量的财富，它对用户做重要的经济决策、对企业把握市场的发展规律、对国家促进金融市场发展和经济结构转型，都具有十分重要的作用和战略意义。但是，深陷在信息的海洋漩涡之中，人们不得不面临着严峻的信息过载问题。因此，如何快速有效地帮助用户获取有价值的财经新闻成为了一个至关重要的问题。为了缓解信息过载的压力，搜索引擎和门户网站得到了快速的发展和应用。传统的基于核心词的搜索引擎如百度谷歌等，简单易用，用户只需要输入目标核心词，搜索引擎就会自动返回相关的结果。但是搜索引擎往往动辄返回数以万计的结果，因此准确率通常比较低。另外，有些用户只关心某些特定领域的新闻如房地产相关的新闻，虽然门户网站的出现弥补了这一问题，但是门户网站往往冗余庞大、而且只是简单的罗列新闻，无法发现隐藏在新闻内部的关系。例如，房价的新闻往往和房价调控政策以及建筑建材业的新闻有深入的关系。
　　本研究主要内容包括：⑴结合传统搜索引擎和门户网站的优点，利用数据挖掘和自然语言处理领域的相关知识，提出了一种新的智能搜索平台框架。平台一共包含了六大模块，它不仅可以提供基于核心词的便捷搜索服务，而且还可以给用户提供分门别类的财经资讯。同时，为了给用户提供第一手的实时热点，平台集成了基于TDT的热点新闻发现算法。此外，为了发现隐藏在新闻内部的关系，基于新闻的设计并构建了动态知识网络，用于快速引导用户找到更加多样和有用的信息。⑵在智能搜平台的基础上，针对基于SVM的自动分类算法和基于TDT技术的热点新闻发现算法做了改进。在文本表示阶段，重点考虑主题在财经新闻中的重要性，改进了特征词的权重公式。更进一步，考虑到时间对于热点事件至关重要。因此，通过融入时间因素改进了文档与主题的相似度公式。⑶在真实的新闻数据集上的实验结果表明，通过引入主题因素，在合适的权重系数情况下，可以提高分类算法的正确率。同时，通过融入时间因素，热点新闻自动发现算法相比于传统的方法，可以更好的区分内容相似但是却不属于同一个事件。

目录

声明

摘要

第1章 绪论

1．1 引言

1．2 研究背景

1．2．1 信息爆炸的时代

1．2．2 搜索引擎和门户网站的产生与发展

1．2．3 现有搜索引擎和门l户网站的问题

1．3 研究动机

1．4 研究内容

1．5 本文组织结构

第2章 相关工作概述

2．1 引言

2．2 传统搜索引擎

2．2．1 搜索引擎的定义与工作原理

2．2．2 搜索引擎的分类和常用开源框架

2．2．3 搜索引擎的研究现状和发展趋势

2．3 文本自动分类技术

2．3．1 文本的特征表示和相似度计算公式

2．3．2 常用的文本分类算法

2．3．3 常用的文本分类评价指标

2．4 话题检测和跟踪技术

2．4．1 TDT的任务定义和划分体系

2．4．2 TDT的相关技术和研究现状

2．4．3 TDT的评测标准

2．5 本章小结

第3章 面向财经新闻的智能搜索平台

3．1 引言

3．2 面向财经新闻的智能搜索平台框架

3．3 智能搜索平台的各个子系统

3．3．1 基于Nutch和Solr的垂直搜索引擎系统

3．3．2 基于SVM的新闻自动分类系统

3．3．3 基于TDT的热点新闻自动发现系统

3．3．4 基于HMM模型的命名实体识别系统

3．3．5 基于LDA和聚类算法的知识网络构建系统

3．3．6 基于内容的个性化推荐系统

3．4 本章小结

第4章 改进的新闻自动分类和热点自动发现算法

4．1 引言

4．2 基于相似度公式改进的新闻自动分类和热点自动发现算法

4．2．1 基于相似度公式改进的算法设计思路

4．2．2 改进的新闻自动分类算法和热点自动发现算法框架

4．3 新闻自动分类实验

4．3．1 实验数据集

4．3．2 评价标准

4．3．3 对比算法和参数设定

4．3．4 实验结果与分析

4．4 热点新闻自动发现实验

4．4．1 实验数据集

4．4．2 评价指标、对比方法和参数设定

4．4．3 实验结果与分析

4．5 本章小结

第5章 工作总结与未来展望

5．1 研究内容总结

5．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果