基于最大熵方法面向零售业的数据挖掘

摘要

零售业从其诞生之日起,就一直伴随着激烈的竞争。尤其是随着中国加入WTO以来,零售业的日益开放已是不可阻挡的即成事实。世界上大型的零售企业如沃尔玛,麦德龙等也已经开展了其在国内的抢滩之路,国内零售企业必须采取有效的应对之策。
　　 国内零售企业在日常的业务活动中积累了大量的历史数据,但由于分析手段的缺乏,使得决定企业的决策不是基于数据库中丰富的数据和对市场的广泛调查,而是基于企业管理者的直觉,或想当然。因此提高企业的数据分析能力,同时建立一个基于相关数据的决策支持系统就变的十分重要。而数据挖掘技术作为近几年发展起来的数据组织和分析技术,在这一过程中无疑将发挥重要作用。
　　 文章根据帕累托的“20—80”规律,即企业收入的80％通常是来自于20％的顾客。提出了并非所有的客户对企业来说都是有价值的,优质客户给企业带来的利润远远超过一般客户。企业对客户购物行为进行分析,然后区别对待,有助于企业把有限精力集中在最有价值的客户上,提高企业竞争力。本文的目的和意义就是迅速准确地对客户信息进行分析和分类。现在使用的数据挖掘技术对优质客户的过滤还不够深入,准确率不高,无法分辨客户数据变化的意义,本文为此提出了利用最大熵方法来建立模型以过滤优质客户。
　　 最大熵模型作为一个比较成熟的统计模型,具有计算模型独立于特定的任务的特点,具有简洁、通用和易于移植等优点。但在最近几年的研究中只是被应用在关于自然语言处理的领域。如何将最大熵模型应用在零售业领域的数据挖掘中正是本文研究的重点问题。
　　 本文首先介绍了目前数据挖掘技术的研究背景,重点对OLAP和分类规则进行了介绍。在此基础上,介绍了最大熵模型的理论基础和算法。再通过零售业企业数据仓库的建立过程分析了零售业对数据挖掘的需求。本文的重点工作是将最大熵方法应用于零售业企业优质客户过滤中,提出了基于最大熵的优质客户过滤系统的基本框架；通过客户数据的不同特征相结合的方法,将客户数据表示成特征向量,并对使用不同特征集情况下的过滤性能进行了对比实验；提出了过滤模型的自适应调整和学习算法,以适应客户特征变化,满足用户的个性化过滤要求；将最大熵方法与其它常用的过滤方法(如贝叶斯方法)进行了性能比较,实验结果表明,这种方法在正确率等方面表现出了良好的过滤性能,可以较好的把关键用户的行为剥离出来,解决了依据历史数据对客户予以分类的工作。通过本文的工作,使得采用此系统和算法模型的企业利润有15.7％的提高。