条件随机场与最大熵在标签挖掘中的应用研究

摘要

标签的质量直接影响着资源的查找、定位与分享的效果，因此进行高效全面的标签挖掘极有必要。在标签挖掘研究中，标签推荐和标签冗余处理是其中的两个重点。
　　 针对现存标签推荐方法推荐结果不全面、遗漏隐性标签的问题，提出使用多阈连续条件随机场模型推荐标签，在连续条件随机场的基础上，综合标签间共现率、标签对语义相似度和用户相似性三重阈抽取特征，一并挖掘显性与隐性标签，使用L-BFGS算法迭代计算模型参数，代入建模实现标签推荐。在Bibsonomy数据集上的实验表明该方法可行，与基于连续条件随机场模型和最大熵模型的方法对比结果体现了本文的推荐模型得到的标签更精准更全面且模型的稳定性良好。
　　 为了提高标签质量，解决传统冗余标签识别方法的准确度不高的问题，采用了最大熵模型进行冗余标签处理。通过语义相似度阈值提取特征，利用SCGIS算法迭代训练出模型参数，构造模型识别冗余标签。在BibSonomy数据集上的测试验证了方法的可行性，实验结果与核K-Means聚类方法比对说明最大熵模型在处理冗余标签中性能更好，结果更精准。数据集的标签冗余度在本文的冗余处理后降低。最大熵模型在多阈连续条件随机场模型的推荐结果集上的冗余处理实验后，标签质量得到进一步提升。

目录

声明

摘要

第1章 绪论

1．1 标签挖掘的研究背景与意义

1．2 国内外研究现状

1．2．1 标签推荐方法的研究现状

1．2．2 冗余标签处理的研究现状

1．3 现存研究的问题

1．3．1 标签推荐存在的问题

1．3．2 冗余标签处理存在的问题

1．4 本文的主要工作

1．4．1 研究内容

1．4．2 本文的创新点

1．5 论文的组织结构

第2章 本文的基础理论

2．1 条件随机场原理

2．2 最大熵原理

2．3 本章小结

第3章 多阈连续条件随机场的标签推荐

3．1 多阈连续条件随机场

3．2 MT-CCRFs模型特征函数的选取

3．2．1 顶点特征函数

3．2．2 边特征函数

3．3 MT-CCRFs模型的参数估计

3．4 MT-CCRFs模型训练算法

3．5 MT-CCRFs模型执行

3．6 标签推荐的实验与对比实验

3．6．1 MT-CCRFs模型标签推荐实验的评价指标

3．6．2 MT-CCRFs模型标签推荐的实验与对比实验结果

3．7 本章小结

第4章 基于最大熵模型的标签冗余处理

4．1 标签冗余识别的最大熵模型

4．2 PRT-ME模型语料预处理

4．3 PRT-ME模型的特征提取

4．4 PRT-ME模型的训练

4．5 PRT-ME模型的执行

4．6 冗余处理

4．7 标签冗余识别与处理实验结果和对比实验

4．7．1 PRT-ME模型冗余标签处理的评价指标

4．7．2 标签对语义相似度阈值ε*的确定

4．7．3 PRT-HE模型冗余标签识别对比实验结果

4．7．4 冗余处理结果

4．7．5 带PRT-ME冗余处理的MT-CCRFs模型的标签推荐实验结果

4．8 本章小结

第5章 总结与展望

5．1 本文总结

5．2 未来研究方向

参考文献

致谢

攻读学位期间发表的学术论文