基于社区发现的社交网络结构洞并行迭代挖掘算法

摘要

随着Facebook，Twitter等网站的兴起，社交网络的规模日趋复杂和庞大。通常，网络呈现社区分布结构，而社区间非冗余关系的存在形成了网络的漏洞。分析这些社区和漏洞可以了解网络中的群落分布和竞争优势，是社会关系网络分析中重要的基础性研究，并已成为当今学术界和工业界的热点话题。
　　目前，经典的社区发现算法包括Newman等人提出的GN算法及其改进、基于评价社区结构的Q函数算法和基于clique发现的算法等。然而，这些算法时间复杂度较高，不适用于大型社交网络的处理。本文借鉴COPRA算法的标签传播机制，简化社区发现的过程，提出一种基于BSP模型的并行迭代算法PCOPRA，并最终应用于BC-BSP系统中。与此同时，针对COPRA算法的缺点，本文进行了两点改进:(1)为避免因COPRA算法的同步标签传播而导致的标签振荡现象，使得算法无法收敛;也为避免因异步标签传播而导致挖掘结果的不稳定，本文提出了标签传播的半异步迭代机制。通过同/异步交替运行的方式，算法可结合两种迭代各自的优点，在确保结果稳定性的同时加快算法收敛速度，获得更好的性能。(2)为避免COPRA算法因对网络未知全局参数的过度依赖而影响社区挖掘结果的准确性，本文通过各节点对周围邻居社区情况的判别来自主决定网络参数，增加了社区发现过程的灵活性，提高了挖掘效率。除此之外，为支持标签的异步迭代更新，本文对BC-BSP系统的同步模型做了扩展。通过在当前超步提前获取下一超步的消息来实现顶点的跨步更新，用以支持对增量迭代、标签传播等应用的快速处理。
　　社交网络上的结构洞挖掘仍缺乏一个完备的理论算法，特别是对大型网络的挖掘。针对以上问题，本文贡献如下：(1)基于社区发现的结果，并借鉴Tang等人提出的HIS结构洞模型，设计并实现了一种改进后的基于BSP模型的并行结构洞挖掘算法PHIS，并最终应用于BC-BSP系统之上。(2)通过对节点更新规则的分析，从减少节点计算量和消息通信量的角度对算法进行了优化，很大程度地提升了性能。
　　本文所提出的并行化算法基于BSP模型。实验表明，在大规模社交网络中，算法可以在有效的时间内挖掘出高质量的社区和结构洞。

目录

声明

摘要

第1章 引言

1．1 研究背景

1．1．1 社区研究

1．1．2 结构洞研究

1．2 国内外研究现状

1．2．1 社区发现

1．2．2 结构洞挖掘

1．3 本文主要工作

1．4 本文组织结构

第2章 社交网络挖掘的相关工作

2．1 大图迭代计算的分布式框架

2．1．1 分布式并行计算框架Hadoop

2．1．2 BSP并行模型

2．1．3 基于BSP模型的分布式计算平台

2．2 社交网络上的社区发现

2．2．1 社区概念及问题描述

2．2．2 社区发现算法介绍

2．3 社交网络上的结构洞挖掘

2．3．1 结构洞概念及问题描述

2．3．2 结构洞挖掘算法介绍

2．4 本章小结

第3章 BC-BSP系统及跨步迭代机制

3．1 系统体系结构

3．2 系统处理流程

3．3 跨步迭代机制

3．3．1 消息同步迭代处理

3．3．2 消息异步迭代处理

3．3．3 消息跨步迭代处理

3．4 跨步迭代机制在BC-BSP系统中的实现

3．5 本章小结

第4章 重叠社区并行发现算法PCOPRA

4．1 算法概述

4．2 标签传播机制

4．2．1 多社区标签定义

4．2．2 标签的传播和计算

4．2．3 标签筛选

4．2．4 算法收敛条件

4．3 算法优化

4．3．1 半异步迭代

4．3．2 V值动态调整

4．3．3 基于BSP的COPRA算法并行化

4．4 PCOPRA算法复杂度分析

4．5 本章小结

第5章 结构洞并行挖掘算法PHIS

5．1 结构洞与信息传播

5．2 结构洞挖掘模型HIS

5．2．1 思想概要

5．2．2 结构洞模型

5．3 并行挖掘算法PHIS

5．3．1 算法定义

5．3．2 基于BSP模型的并行算法PHIS

5．3．3 PHIS算法优化

5．4 PHIS算法复杂度分析

5．5 本章小结

第6章 实验分析与性能测试

6．1 实验环境

6．2 实验数据

6．2．1 人工合成网络

6．2．2 真实社交网络

6．3 社区发现算法PCOPRA的实验

6．3．1 算法挖掘质量测试

6．3．2 算法扩展性测试

6．3．3 算法稳定性测试

6．3．4 V值动态调整测试

6．3．5 半异步迭代测试

6．4 结构洞挖掘算法PHIS的实验

6．4．1 PageRank的性能测试

6．4．2 算法挖掘质量测试

6．4．3 算法优化测试

6．5 本章小结

第7章 总结与展望

7．1 本文的主要工作

7．2 未来工作

参考文献

致谢

攻读硕士学位期间的论文项目情况