基于大数据处理技术的数据可信度量方法研究

摘要

随着大数据概念的提出，大数据迅速成为国内外学者研究的热点，主要研究方向包括大数据采集、大数据存储、大数据挖掘以及大数据可视化等。但对大数据可信度量方面的研究相对较少，而且之前的数据可信计算方法并不能很好的应对大数据所带来的挑战，因此研究新的大数据可信度量方法是大数据研究中一个亟待解决的问题。 本文针对大数据处理技术和大数据可信度量方面展开研究。首先对大数据处理的相关技术进行了研究和分析，主要研究大数据的定义、特点和计算特征，并研究了目前处理大数据的相关技术，例如 Hadoop 平台、Spark 分布式计算框架、Hive和HBase数据库。随后本文研究了数据可信计算方法和模型，主要针对基于交易反馈的模型、基于关系的可信模型和基于兴趣的可信模型进行了研究。此外，本文归纳了常见的各种可信度计算模型和方法的优缺点，总结了目前可信度计算的存在的安全问题。根据前面研究总结得到的可信度计算存在的问题，本文设计了大数据可信度量模型和方法，该模型根据影响数据可信度的三个方面：对数据进行判断的主体、产生或者发布数据的数据源、数据自身的相关属性，将数据的可信度划分为主观可信度、全局可信度和本地可信度三部分。主观可信度通过用户与数据源之间的历史交互记录进行计算评价；全局可信度通过数据源发布或者产生数据的交互记录进行计算评价；本地可信度通过数据源发布或产生历史数据的可信度以及本次数据的相似性进行评价计算。本文还对算法进行了实验验证，实验结果表明大数据可信度量方法效果良好。 最后本文基于大数据可信度量方法设计完成了电子商务数据可信度量系统，该系统可以对卖家、买家的信誉值进行计算，同时也可以对买家和卖家之间的信任值进行计算，并且可以向用户提供信誉查询服务，为买家提供准确可靠的决策信息支持。本文提供了良好的大数据可信性计算方案，并将该方案应用于电子商务数据可信计算中，对大数据的研究具有重要意义。

目录

第一个书签之前

摘要

Abstract

第1章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1 大数据处理技术的研究现状

1.2.2 数据可信度量的研究现状

1.3 课题研究的主要内容

1.4 本文的组织结构

第2章 大数据处理关键技术分析

2.1 大数据处理技术概述

2.1.1 大数据的定义及持点

2.1.2 大数据计算特征

2.2 Hadoop分布式系统

2.3 Spark分布式计算框架

2.3.1 分布式文件系统

2.3.2 Spark运行架构

2.3.3 Spark应用框架

2.4 Hive数据仓库

2.5 HBase列式存储数据库

2.5.1 HBase基本架构

2.5.2 HBase数据模型

2.5.3 HBase的持点

2.6 本章小结

第3章 数据可信计算方法模型研究

3.1 可信度计算模型

3.1.1 基于交易反馈的模型

3.1.2 基于关系的可信模型

3.1.3 基于兴趣的可信模型

3.2 可信度计算一般方法

3.2.1 交易评价的简单加和或平均

3.2.2 概率法

3.2.3 模糊逻辑法

3.2.4 各种方法比较

3.3 经典可信度计算方法

3.3.1 EigenTrust算法

3.3.2 PeerTrust算法

3.3.3 模糊理论算法

3.4 可信度计算的安全问题

3.5 本章小结

第4章 大数据可信度量方法设计

4.1 大数据可信计算模型

4.2 主观可信度计算

4.3 全局可信度计算

4.4 本地可信度计算

4.5 实验仿真

4.5.1 仿真实验设计

4.5.2 算法过程分析

4.5.3 实验结果分析

4.6 本章小结

第5章 大数据可信度量方法在电子商务中的应用

5.1 电子商务数据可信度量系统

5.2 Spark开发环境搭建

5.3 系统总体架构设计

5.4 系统数据库的设计

5.5 系统各功能模块的设计

5.5.1 买家与卖家信任计算模块

5.5.2 卖家信誉计算模块

5.5.3 买家信誉计算模块

5.5.4 用户查询模块

5.6 本章小结

第6章 结论与展望

6.1 结论

6.2 展望

参考文献

攻读硕士学位期间发表的论文及其他研究成果

致谢