基于文本机会发现的共识与非共识标签区分方法

摘要

随着Web2.0的迅速发展，标签作为其中一个典型的应用开始被越来越多的人所关注和使用。标签是与某个网络资源相关的一个简短的词或者短语，用户可以通过资源指定若干标签的方式对资源进行分类。标签这种由用户自己自由管理的特点充分利用了用户的知识，同时也为标签信息的处理带来了非常大的挑战。如何通过标签对资源进行合理的组织是当前的一个研究热点，已有的对于标签的研究，多数基于用户对标签的使用存在共识这一前提主要着眼于标签之间的相互关联，很少考虑标签同资源之间的关联。
　　针对上述问题，本文通过对标签共识性的深入研究，提出共识标签和非共识标签的概念以及基于文本机会发现的共识与非共识标签的区分方法。本文首先分析标签使用的特点，详细分析共识标签和非共识标签的成因以及标签共识性的演化，给出共识标签和非共识标签的概念，提出共识与非共识标签区分方法的研究框架。共识与非共识标签的区分方法的基本原理:提取标签在特定博文上的共现词，合并标签在所有标记的博文上的共现词，构成标签的关联词集合;依据该集合判定标签为共识标签或非共识标签。在此基础上，本文给出基于KeyGraph算法的标签共现词选取算法和基于主观贝叶斯方法的共识标签判定算法。基于KeyGraph算法的标签共现词选取算法的核心是选取博文的关键词中与特定标签有密切关联的词汇作为标签的共现词，以此反映标签在特定博文上的语义。基于主观贝叶斯方法的共识标签判定算法的通过合并标签的所有共现词，形成标签的关联词集合，利用该集合反映标签使用的一般性规律。该算法以关联词集合作为输入数据，计算出标签为共识标签的概率，判定标签是否为共识标签。最后给出共识标签的两个应用:共识标签补充和标签关联词集合划分。共识标签补充用于为博文补充共识标签，标签关联词集合划分用于分析标签的不同语义。通过实验分析，验证了本文提出方法的有效性。

目录

声明

摘要

第1章 引言

1．1 课题的背景和意义

1．2 研究目标和研究内容

1．3 论文的组织结构

第2章 研究基础

2．1 标签及大众分类法

2．1．1 大众分类法

2．1．2 标签的相关研究

2．2 文本机会发现

2．3 不确定性推理

2．4 本章小结

第3章 标签的共识性

3．1 标签共识性的分析

3．1．1 共识标签和非共识标签

3．1．2 非共识标签的成因

3．1．3 共识标签的特殊特性

3．1．4 标签共识性的演化

3．2 共识标签与非共识标签的区分

3．2．1 共识标签和非共识标签区分方法的总体框架

3．2．2 基于共现词的博文模型

3．2．3 基于关联词的标签模型

3．3 共识标签的应用

3．3．1 共识标签补充

3．3．2 标签关联词集合的划分

3．4 本章小结

第4章 基于KeyGraph算法的标签共现词选取算法

4．1 标签共现词选取算法的研究思路

4．2 KeyGraph算法提取博文关键词

4．3 标签共现词选取核心算法

4．3．1 标签共现词的选取依据

4．3．2 标签与博文关键词的关联度

4．3．3 基于层次遍历的标签共现词选取算法

4．4 相关实验

4．4．1 数据集

4．4．2 实验内容及结果分析

4．5 本章小结

第5章 基于主观贝叶斯方法的共识标签判定算法

5．1 标签关联词集合

5．2 基于主观贝叶斯方法的共识标签判定算法

5．2．1 共识标签判定算法的基本思路

5．2．2 高频关联词的判定

5．2．3 主观贝叶斯方法中相关参数的选取

5．2．4 共识标签判定算法的详细流程

5．3 相关实验

5．3．1 数据集

5．3．2 实验内容及结果分析

5．4 本章小结

第6章 共识标签的使用

6．1 共识标签补充

6．1．1 共识标签补充的研究思路

6．1．2 关键词——共识标签矩阵

6．1．3 标签与博文的关联度

6．1．4 标签与博文的关联权重

6．1．5 补充标签选取标准

6．1．6 共识标签补充的执行过程

6．2 标签关联词集合的划分

6．2．1 关联词集合划分的方法

6．2．2 关联词集合划分结果的含义

6．3 相关实验

6．3．1 共识标签补充相关实验

6．3．2 标签关联词集合划分的相关实验

6．4 本章小结

第7章 结束语

参考文献

致谢