基于数据挖掘技术的P2P借贷违约风险识别模型研究

摘要

在互联网经济日益扩张的今天，为满足多样化的投资和借贷需求，互联网金融产业下的P2P借贷业务快速扩张。但近年来，P2P借贷业务发展遇到了一系列问题，尤其是较高的违约率带来的坏账问题，导致P2P平台和投资者遭受损失。建立有效的P2P借贷违约风险识别模型，对于平台的风险控制和行业的长远发展，有着重要的意义。本文旨在运用当前较为主流的数据挖掘方法，寻找并构建能够有效识别P2P借贷违约风险的模型，从而实现P2P平台中潜在违约情况的及时预测，有效降低P2P平台因高违约率而带来的损失，进而提高生存能力。
　　本文首先对P2P借贷业务进行了基本分析，阐述了所采用的几类数据挖掘模型的基本思想和特点。然后，以“拍拍贷”公开的借款人数据集为例进行数据采集，对所采集得到的P2P借贷记录数据进行数据清洗和特征工程。此后，对清洗以后的数据集分别建立逻辑回归(Logistic)、神经网络、支持向量机(SVM)、C50决策树、随机森林、GBDT迭代树和XGBoost等P2P违约风险识别的数据挖据模型，并且选择准确度、精确度、召回度和F1统计值等评估指标来对各个模型的预测效果进行评估和对比。最后，分别选择其中表现效果较佳的XGBoost模型和逻辑回归模型作为基模型和第二阶段的模型，采用Stacking集成学习的方法，建立最终的违约识别组合模型。
　　本文的最终研究结果表明，运用开源工具R语言，基于包含P2P借款用户的基本信息、网络行为、教育信息、社交网络和第三方数据等多维度数据，采用当前流行的数据挖据模型XGBoost建立的Stacking模型组合在对P2P借贷违约风险的识别中具有比单一预测模型更好的预测效果。在测试数据的表现情况来看，该模型不仅能够识别出相当比例的违约用户，同时也能避免过度“误杀”正常借款用户。因此，本文的研究结果可以有效辅助P2P平台及时预测和识别潜在的违约风险，帮助投资者保障合法收益，并且促进P2P行业的监管。

目录

摘要

第一章 绪论

第一节 研究背景与研究意义

二、研究意义

第二节 研究思路与研究内容

一、研究思路

二、研究内容

三、基本框架

第三节 国内外研究综述

一、数据挖掘的概念和行业应用

二、传统金融领域的信用评估和违约识别方法

三、互联网金融领域的P2P借贷违约识别方法

四、对已有研究的评价

第四节 可能的创新点与不足之处

一、可能的创新点

二、不足之处

第二章 P2P借贷违约风险与数据挖掘技术相关理论分析

第一节 P2P借贷违约风险相关理论分析

一、P2P借款业务及对借款人信用的考察维度

二、P2P借款违约风险与特征分析

三、P2P借款违约风险的影响因素分析

第二节 数据挖掘理论模型

一、逻辑回归、神经网络及其特点

二、支持向量机(SVM)模型及其特点

三、决策树类算法及其特点

四、本文对数据挖据模型的选择和应用

第三章 P2P借贷行为数据集采集与预处理

第一节 数据集概况与分割

一、数据集来源

二、数据集概况

三、数据集的分割

第二节 P2P借贷行为数据清洗

一、对缺失值的处理

二、对近零方差字段的剔除

三、对字段的转换

第三节 P2P借贷行为特征工程

一、缺失值的数量和违约率

二、地域信息

三、第三方信息

四、用户登录信息

五、用户对个人信息的修改

六、对特征的进一步处理

第四章 基于数据挖掘技术的P2P借贷违约风险模型训练与优化

第一节 不平衡数据集的处理与评估指标说明

一、对不平衡数据集的处理方法

二、评估指标说明

第二节 基于单一模型的P2P借贷违约预测与效果

一、逻辑回归模型和神经网络模型的预测效果

二、支持向量机模型(SVM)的预测效果

三、决策树类算法的预测效果

第三节 基于Stacking集成学习的P2P借贷违约预测与效果

一、Stacking集成学习方法

二、基于Stacking集成学习方法的P2P借贷违约预测与效果

第四节 Stacking集成学习方法的最终评价

一、基于ROC曲线和AUC值的最终评价

二、基于KS曲线和KS值的最终评价

第五章 研究结论与研究启示

第一节 研究结论

一、参考多维度数据能够有效辅助P2P借贷违约的识别

二、XGBoost等数据挖掘模型在预测中具有较好的性能

三、Stacking模型融合方法进一步提高预测效果

四、开源的建模工具在P2P借贷违约识别建模中具有优势

第二节 研究启示

一、对从事P2P借贷业务的平台的启示

二、对P2P的投资者的启示

三、对P2P借贷行业监管的启示

参考文献

附录

致谢

声明