基于大数据分析的P2P信贷风险管理系统的设计与实现

摘要

作为互联网金融典型代表，P2P网络借贷引起社会各方面的高度关注。同时受经济全球化和全球信息化、人类社会发展和需求多样性、云计算和物联网技术深化应用等方面的影响，“大数据”(bigdata)已经成为IT领域和互联网上反复提及的热词。国内P2P网贷行业面临的系统风险、信用风险、平台风险等正在不断积累、扩大，如何有效防范P2P网络借贷风险迫在眉睫。本文从国内典型的P2P平台拍拍贷中抓取实际有效的数据，经过本系统分析得到结果，希望能够对P2P行业具有一定的指导作用。
　　基于大数据分析的P2P信贷风险管理系统通过开发网络爬虫实时与被采集网站连接，自动使用配置好的已注册帐号通过模拟人工登录的方式登录网站，获取了较为全面的信息，及时的并行抓取网站的数据，并且同步的存入数据库服务器中，提高了采集的效率降低了采集数据的成本和时间，同时保证了系统采集信息的实时有效性，最后根据分析结果推测网络借贷中哪些因素会对借款人发生违约产生影响，并且将分析的结果通过系统显示出来。
　　本文探讨了并行爬虫程序和基于Spring.Net框架开发的P2P信贷风险管理系统，基于微软的.NET平台（C拌语言），后台使用SQL Server作为数据库服务器。在功能上分为三个主要的模块:爬虫参数配置，账户管理配置，数据抓取分析。其中以数据抓取为着重点。爬虫参数配置包括爬虫的开始时间、结束时间、数量、范围等基础参数设定;账户管理配置主要定义了爬虫操作管理员和数据分析人员的各个操作;数据抓取分析是系统的核心业务部分，涵盖了数据抓取，数据存储，数据分析，数据导出等工作。在应用软件开发的过程中以软件工程为指导思想，严格遵守软件工程学的各个原则，遵循大数据理论思想，采用统计学定性分析与定量研究相结合的方法，总结出其中存在的问题并且通过分析指出影响借款人违约的关键因素，以期对中国目前正火热发展的P2P网络小额信贷行业的风险监管起到一定的借鉴意义。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内和国外研究现状

1．3 本文的结构安排

1．3．1 本文主要内容

1．3．2 本文的结构安排

第二章 相关技术介绍

2．1 并行分析系统

2．1．1 并行计算程序开发

2．1．2 准确性和性能

2．1．3 分解和模式

2．1．4．NET框架4．0版本(C#)

2．2 Spring．NET技术简介

2．2．1 Spring．NET组成部分

2．2．2 IoC(控制反转)和DI(依赖注入)

2．2．3 面向切面编程(AOP)

2．3 HTML解析器HtmlAgilityPack

2．4 本章小结

第三章 需求分析

3．1 系统业务需求概述

3．1．1 系统业务背景

3．2 功能需求分析

3．2．1 爬虫参数配置需求分析

3．2．2 账户管理需求分析

3．2．3 数据抓取与分析需求分析

3．2．4 查看统计数据用例

3．3 非功能性需求

3．3．1 可扩展性

3．3．2 可靠性

3．3．3 高容错性

3．3．4 性能需求

3．3．5 安全性需求

3．4 本章小结

第四章 系统设计

4．1 系统设计原则

4．2 系统功能模块

4．2．1 系统体系结构图

4．3 核心数据库表设计

4．3．1 核心数据库表

4．3．2 核心数据库表定义

4．4 本章小结

第五章 系统实现

5．1 系统环境

5．1．1 系统硬件配置

5．1．2 系统软件配置

5．1．3 Spring．NET的环境搭建和基本API及XML配置

5．1．4 环境部署

5．2 类的设计

5．3 模块实现-依赖注入

5．3．1 实现依赖注入

5．3．2 注入的服务类

5．3．3 注入对象实体

5．3．4 注入集合对象

5．4 系统调试系统主界面

5．4．1 系统调试界面

5．4．2 系统主控界面

5．5 网页爬虫与并发抓取

5．5．1 数据选取的范围

5．5．2 拍拍贷网站数据抓取分析

5．5．3 使用HtmlAgifityPack抓取网页数据

5．5．4 抓取的调试

5．5．5 并行数据处理的实现

5．6 查询统计的实现

5．6．1 筛选数据

5．6．2 成功借款初步统计分析

5．6．3 违约数据初步统计分析

5．7 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

附录