基于实例的OLAM技术及其多维可视化研究

摘要

随着计算机的普及、大容量存储技术的发展，人们在日常事务处理和科学研究中积累了大量的各种类型的数据。这些历史数据背后蕴藏了对决策有重要参考价值的信息，如何充分、有效利用这些历史数据是目前人们关注的问题。数据仓库、联机分析处理和数据挖掘技术已经成为解决“数据爆炸、知识贫乏”问题的有效途径。 可视化技术能为数据挖掘提供直观的数据输入、结果输出和挖掘过程的交互探索分析手段，可以在人的感知力、洞察力、判断力参与下提供数据挖掘手段，实现可视化辅助挖掘手段以及挖掘结果的可视化。可视化挖掘手段易于从纷繁复杂的变量关系中理清头绪，找到关键变量；挖掘结果的可视化最终呈现给用户一个直观、易于理解的结果，有力地提高数据挖掘进程的效率和结果的可信度。可视化与数据挖掘的结合己成为必然。 如何将数据仓库及数据挖掘的相关技术应用于制造业客户关系管理，是目前制造行业迫切需要研究的领域。该领域包括基于数据仓库的在线分析和数据挖掘关键技术的研究，分析型CRM系统的实现，更加有效挖掘算法的设计和应用以及OLAM可视化等方面。本文探讨了制造行业的客户关系管理系统实施过程中的若干关键技术，同时对客户关系管理的OLAM技术及其可视化实现进行了研究，开发了基于OLAM的客户分析挖掘原型系统。 论文研究了数据挖掘(DM)和在线分析(OLAP)结合的OLAM理论，讨论了分析型客户关系管理的核心技术，对某制造业业务分析后构建了客户分析的各主题数据仓库，为进一步分析客户数据、挖掘客户产品销售规律，科学的进行客户细分打下了基础。 采用相应算法研究了客户细分的三大指标客户终生价值，客户忠诚度和客户资信的计算： (1) 分析客户终生价值的构成，研究考虑支出分配的客户终生价值模型，分析该模型的影响因素；根据客户购买转移的“无后效性”，提出用马尔可夫链研究客户转移矩阵的计算思路，结合案例定量分析了客户支出分配变化对客户终生价值的影响。 (2) 研究客户忠诚的相关理论，建立预测客户忠诚度的指标体系；鉴于客户忠诚计算的复杂性，作者提出采用模糊神经网络算法预测客户忠诚度；为了保证模型训练效率，提出将属性重要性理论用于模糊神经网络初始权重确定的思路，实验证明有明显效果。 (3) 研究模糊综合评价法的理论，并将其应用于企业客户、个人客户的资信评价中，建立了两类客户的资信计算指标体系，用优化选择法确定了各指标权重，利用模糊理论确定影响客户资信的指标隶属度，通过软件实现了客户的资信计算。 作者提出一种基于客户终生价值、客户忠诚度、客户资信综合因素相结合的CLV/CL/CC客户细分模型，在对各因素指标预测计算基础上，利用K-means2算法进行聚类，并将聚类的结果簇作为加权贝叶斯算法进行客户分类预测的前一步，将两种算法优势互补，有效实现了客户细分，提高了客户分类判别的精度。 客户产品销售的购物篮挖掘及在线分析是目前研究的热点之一。论文研究了基于关联规则的OLAM及其多维可视化的若干关键技术，对产品销售的数据进行了序列关联分析并将其可视化，剖析了销售产品之间的关联规律，为企业的促销策略等决策支持提供依据。对产品销售额、订单量等交易数据通过多维度多层次的上卷、下钻、横切、纵切等在线分析，以可视化、可理解的方式剖析了深层的客户属性因素。 在全文研究的基础上，将所得结论结合某企业的产品销售，设计并实现了一个基于数据仓库的联机客户分析挖掘系统，将上述的分析模块和算法模型集成到系统中，实现客户的终生价值、资信计算及客户忠诚度预测，对客户进行细分、深入分析产品销售规律，并能实现OLAM的可视化分析。作为一个工具平台，为进一步管理及研究客户提供了有力的支持，为这些领域的分析人员提供了有力的决策支持手段。

目录

文摘

英文文摘

声明

第1章绪论

1.1课题研究背景与研究意义

1.1.1理论研究背景

1.1.2应用背景

1.2数据挖掘系统的发展

1.3国内外研究现状

1.4数据挖掘软件生产厂商和产品

1.5本研究的主要内容

1.6本论文研究的框架

第2章联机分析挖掘和分析型CRM的基础理论

2.1数据挖掘和OLAP

2.2联机分析挖掘(OLAM)模型及可视化

2.2.1 OLAM与OLAP和数据挖掘的比较

2.2.2 OLAM机制

2.2.3 OLAM可视化

2.3 OLAM技术和算法概述

2.4数据挖掘和分析型CRM

2.4.1分析型客户关系管理

2.4.2分析型CRM的核心技术-数据挖掘

2.5本章小结

第3章构建分析型CRM的数据仓库

3.1数据仓库在分析型CRM中的作用

3.2数据仓库理论

3.3多维数据仓库的规范化处理(雪花处理)

3.4构建实例数据仓库

3.4.1客户分析挖掘系统功能设计

3.4.2数据仓库逻辑模型设计

3.4.3构建的部分主题数据仓库

3.4.4 SQL Sever 2005中数据仓库的建设

3.5本章小结

第4章 基于支出分配的客户终生价值计算研究

4.1客户终生价值理论

4.1.1客户终生价值的组成

4.1.2影响客户终生价值因素

4.2客户终生价值模型研究

4.2.1考虑客户支出分配的原因

4.2.2考虑支出分配的客户终生价值模型

4.3基于马尔可夫链的客户购买转换研究

4.3.1马尔可夫链相关理论

4.3.2转移矩阵

4.4基于马尔可夫链研究客户支出分配实例

4.4.1基于马尔可夫链计算客户支出分配变化的实例

4.4.2定量计算客户支出分配对客户终生价值影响的实例

4.5客户终生价值的软件实现

4.6本章小结

第5章 客户忠诚度预测及客户资信综合评价研究

5.1客户忠诚度理论

5.2客户忠诚度的评价算法

5.2.1神经网络模型

5.2.2基于模糊神经网络的客户忠诚度预测

5.2.3基于属性重要性理论确定模糊神经网络初始权重

5.2.4模糊信息处理与模糊神经网络评价步骤

5.3基于模糊神经网络的客户忠诚度的计算实例

5.3.1建立客户忠诚度指标体系

5.3.2利用择优比较法确定客户忠诚度的各指标权重

5.3.3构建客户忠诚度的模糊神经网络模型

5.3.4指标数据的模糊规范化及软件实现

5.3.5客户忠诚度的模糊神经网络预测

5.4基于模糊评价法的客户资信计算研究

5.4.1模糊综合评价法的数学模型

5.4.2基于模糊综合评价的客户资信计算实例

5.5本章小结

第6章基于数据挖掘的客户细分研究

6.1客户分类理论

6.1.1客户分类的目的及管理的意义

6.1.2 CRM中有关客户分类的常用指标

6.1.3常用的客户分类模型

6.2客户终生价值/客户忠诚度/客户资信(CLV/CL/CC)的客户分类模型

6.2.1客户细分算法

6.2.2数据挖掘中的客户聚类算法

6.2.3聚类分析的缺陷及解决思路

6.2.4聚类实现

6.3基于聚类结果的客户分类预测研究

6.3.1加权的扩展贝叶斯模型分类

6.3.2软件实现及可视化分析

6.4结果验证与分析

6.5本章小结

第7章基于OLAM的购物序列模式发现研究

7.1模糊时序关联规则的理论

7.1.1关联规则

7.1.2关联规则的分类

7.1.3序列模式关联规则挖掘

7.1.4模糊序列的关联规则

7.1.5关联规则的相关参数

7.2基于关联规则的购物序列模式发现实现

7.2.1关联规则算法的实现过程

7.2.2销售业务技术及源数据分析

7.2.3基于关联规则的购物序列模式分析实例

7.3本章小结

第8章 基于数据仓库的0LAP及多维可视化研究

8.1可视化技术

8.1.1可视化的主要方法

8.1.2多维数据可视化中主要采用的视图变换方法

8.1.3目前主要的多维数据可视化技术

8.2联机分析处理OLAP及其可视化

8.2.1 OLAP技术

8.2.2 OLAP可视化

8.3多维数据分析及其OLAP可视化实例

8.3.1客户总体概况分析

8.3.2单维度下钻分析

8.3.3某维度多属性的指标数据纵向切片分析可视化

8.3.4多维度多层上卷、旋转及横(纵)向切片综合分析及可视化

8.3.5某维度对分析指标沿时间预测分析的可视化

8.4本章小结

第9章总结和展望

9.1总结

9.1.1取得的成果

9.1.2创新点

9.2展望

致 谢

参考文献

攻读博士学位期间科研情况及发表的论文