基于互联网大数据的用户群体挖掘的研究与实现

摘要

随着互联网技术的高速发展和大规模普及应用，人们更多地利用互联网进行社会交往、信息交流和消息传播。基于互联网技术的网络社交媒体应用凭借着传输快速、沟通便捷、内容丰富、成本低廉等系列特性，逐渐为越来越多的人所认可和使用，成为了人们日常生活信息交互的主流方式。但是，因为互联网的无界性和即时性，发布在网上的事件第一时间即被全世界人们所看到，人们在接受事件信息的同时，也通过网络发布个人评论和表达情绪，这些评论和情绪被其他人接收之后，反过来又影响着其他人的观点和情绪。在这种接收影响和发送影响的交织作用下，再加之一些人的恶意推动下，互联网上的任何一个舆情点都有可能形成大的舆情事件，而大的恶意舆情事件将严重影响现实社会稳定和社会安定。公安机关网络安全管理部门肩负着互联网安全管理的职责，如何妥善处理恶意舆情，是当前公安网络安全管理部门的头等大事。
　　本文作者从事公安网络安全管理工作数年，积极探索适用于互联网舆情管理工作的办法，研究基于互联网大数据的人物及群体挖掘方法。本文研究的方法是首先分析舆情事件的产生是多个相似的群体共同作用的结果，而产生群体相似性的原因是群体受到了社会影响力和选择性的影响。其次，以微博用户为研究目标，深入研究微博目标用户群体行为模式，探索利用互联网大数据挖掘舆情事件核心意见领袖，再通过情感分析法将舆情事件中与意见领袖关联的用户进行分类，挖掘出关联群体和关联关系。最后实现目标用户多个互联网虚拟线索的关联分析，形成目标人物的完整网络虚拟身份体系。
　　本文主要研究工作和创新点在于：
　　（1）分析了社会网络研究中的用户群体相似性和群体社会关系化规律。分别选择在群体形成之前、形成中、形成后三个阶段计算群体之间的行为相似性，以检测群体演化规律。用真实数据集实验分析了社会影响力和社会选择性在群体相似性中过程中所起的作用。
　　（2）研究了微博涉事用户行为模式。本文在683个涉事用户的数据基础上，集中研究了涉事敏感消息和敏感用户发现方法、影响力分布模式、涉事用户发帖数量分布模式、涉事用户地理位置分布模式、涉事用户注册时间时序模式、涉事用户发帖时间时序模式、用户兴趣空间模式、情感倾向性、以及基于关注关系的网络拓扑模式等。
　　（3）设计和实现了基于互联网大数据的目标人物及群体挖掘原型系统。设计内容包括原型系统的典型工作流程、系统总体架构，以及系统数据获取与预处理模块和系统分析处理模块的实现。
　　（4）以“湖南益阳发生长途卧铺车起火”网络舆情事件为样本，对原型系统进行测试，成功挖掘出舆情事件中的意见领袖“西山隐者”，再利用情感倾向性分析技术，对“西山隐者”粉丝群进行挖掘分析，掌握关联人群和关联关系。最后，对其中一名用户进行目标人物关联分析，掌握目标用户所有虚拟线索，形成个人虚拟线索体系。
　　综上所述，本文的研究对公安互联网管理工作具有较重要的理论意义和应用价值，有深入开展研究的必要。

目录

声明

1 绪 论

1.1 研究背景

1.2 相关研究

1.3 研究目标和意义

1.4 本文的主要工作

1.5 论文结构

2群体相似性和影响力分析方法研究与实验验证

2.1 问题的提出

2.2 模型方法

2.3 实验研究

2.4 本章小结

3 微博目标用户群体行为模式研究

3.1 微博特点及发展状况

3.2 微博目标用户群体行为模式研究

3.3 本章小结

4 原型系统的设计与实现

4.1 原型系统典型流程

4.2 原型系统系统架构

4.3 原型系统数据获取与预处理实现

4.4 原型系统分析处理模块

4.5 本章小结

5 系统测试与应用情况

5.1 测试环境

5.2 测试过程

5.3 本章小结

6 结束语

6.1研究总结

6.2下一步的工作

参考文献

致谢

攻读学位期间发表的学术论文目录