基于因式分解机的信用预测中数据压缩和补齐方法研究

摘要

企业和个人信用预测在金融贷款领域具有重要的意义，通过信用预测模型判断借贷方信用类别，决定是否对其进行贷款，可以在很大程度上降低银行等信贷部门的贷款风险。小微企业是中国企业的重要组成部分，然而小微企业普遍存在贷款难题。随着互联网的高速发展，小微企业在网络上的信息越来越多，利用互联网数据预测小微企业的信用，将会给小微企业信用贷款带来启发。由于互联网信用数据的特征之间具有一定的关联，因式分解机处理这种关联数据具有一定的优势，因此本文将研究因式分解机在信用预测方面的应用。由于信用数据存在缺失和重复的问题，采用一定的方法去掉重复数据将会加快信用预测的效率，同时对缺失值进行补齐将有助于提高信用预测的质量。 本文的主要研究工作如下： （1）研究因式分解机模型Factorization Machine在信用预测方面的应用。本文对因式分解机进行了深入的研究，分析其原理和优势，并将其应用在信用预测方面。本文在四个信用数据集上进行信用预测实验，并与常用的分类算法对比。实验结果表明，因式分解机在多个分类评价指标上的性能表现良好，比较适用于信用数据集。 （2）针对信用数据中存在重复数据的问题，提出基于Block Structure（BS）和Hash Learning的算法STH-ML，主要用于生成BS所依赖的映射文件，达到压缩数据集规模的目的。信用数据是关联数据，会在某种程度上造成数据重复的情况。因式分解机提出了利用BS避免数据重复的问题，从而压缩数据规模。然而目前在生成BS所依赖的映射文件这一关键步骤上缺乏有效的方法，本文在Self-Taught Hashing（STH）算法的基础上进行改进，提出基于BS的映射文件生成算法STH-ML。实验结果表明，STH-ML相比于STH性能最高提升了6.78%。 （3）针对信用数据缺失的问题，提出了基于标签的多角度融合的数据补齐算法。本文所使用的部分信用数据存在数据缺失的情况，通常这些缺失数据仍然具有一定的研究价值，对其进行补齐有利于提高信用预测的质量。本文利用已有的样本信用标签，借鉴推荐系统领域协同过滤的思想，提出了基于标签的多角度融合的数据补齐算法LMVFM。实验结果表明LMVFM相比于经典的数据补齐算法，数据补齐的误差最高降低了4.13%，可以较好的适用于企业和个人信用数据集。

目录

声明

第1章 绪论

1.1 研究背景

1.2 研究意义

1.3 国内外研究现状

1.3.1 信用预测算法

1.3.2 因式分解机

1.3.3Hash Learning

1.3.4 多标签学习

1.3.5 数据补齐

1.4 研究内容与组织结构

1.4.1 研究内容

1.4.2 论文组织结构

第2章 基于因式分解机的信用预测

2.1 问题描述

2.2 因式分解机

2.2.1因式分解机原理

2.2.2 多线性

2.2.3 最优化问题

2.2.4 参数学习方法

2.3 实验结果与分析

2.3.1 数据集

2.3.2 评价指标

2.3.3 对比算法

2.3.4 实验结果

2.4 本章小结

第3章基于Block Structure和HashLearning的信用数据压缩方法

3.1 ScalingFM

3.1.1 原理简介

3.1.2 BlockStucture结构

3.2 STH-ML算法原理

3.3 STH-ML算法描述

3.3.1 生成二元码

3.3.2 多标签学习

3.3.3 测试集索引

3.3 实验结果与分析

3.3.1 数据集

3.3.2 评价指标

3.3.3 实验结果与分析

3.4本章小结

第4章 基于标签的多角度融合的数据补齐算法

4.1 数据缺失机制

4.2 数据补齐思路

4.3 LMVFM算法

4.3.1 样本相似度

4.3.2 属性重要度

4.3.3 属性相似度

4.3.4 属性关联度

4.3.5 LMVFM算法流程

4.4 实验结果与分析

4.4.1 数据集

4.4.2 评价指标

4.4.3 对比算法

4.4.4实验结果

4.5 本章小结

第5章 总结与展望

5.1 总结

5.2 未来展望

致谢

参考文献

攻读学位期间获得与学位论文相关的科研成果