因子分析的研究及在AFC数据分析系统中的实现

摘要

统计分析软件用于对已有业务数据的分析,可以发现数据中隐藏的内在联系和潜在规律,可以有效支持各个行业的业务分析,给予决策者以有效的帮助。一般的统计软件把数据存储、数据整理、统计计算和结果显示集中单机模式上实现。这种构架模式在网络应用高度发展的今天,已不能满足实际应用需要。
　　本文在研究和分析了当前主要的统计软件的基础上,分析了基于三层构架模式设计、开发通用统计分析软件的必要性及其相关技术优势。设计开发了符合中国国情和轨道交通AFC行业特点的数据分析系统。
　　本文研究和实现的三层构架统计分析软件,把数据抽取、整理、统计计算和统计结果显示灵活部署在网络中不同的计算资源上,具有分布式处理技术特征,充分使用网络计算资源,提高计算性能。
　　本文描述的主要研究工作有:1)通过对数据抽取技术的分析,采用元数据概念模型解决跨平台异构数据源数据抽取关键技术;2)在元数据概念模型中提出元数据相关信息的中文语义描述与使用,以规范的行业术语展现数据集市的数据结构信息,方便欲分析数据对象的选用;3)把部分关系运算和统计计算从宿主数据库系统剥离,降低了对业务数据库系统的资源占用;4)提出统计结果时间戳的缓存策略,以有效响应允许时间范围内的并发请求;5)以XML,格式文件定义层间接口协议,具有适用性和可修改性;6)研究和实现因子分析算法,提出其基于奇异值分解理论的改进算法,运用奇异值分解方法与主成分分析相结合的方法来寻找因子,并应用于轨道交通AFC终端设备的故障事件分析。上述研究工作1)至5)是作者参与的研究成果,6)为独立研究成果。
　　本文研究的最终目的是设计和实现“轨道交通AFC运营管理数据分析系统”。该系统于2007年7月12日通过上海市科学技术委员会组织的科研项目验收;2007年8月7日获《科学技术成果证书》(登记号:9312007Y1168);2007年8月30日获国家版权局《计算机软件著作权登记证书》(登记号:2007SR13214)。

目录

摘要

Abstract

第一章 绪论

1.1 引言

1.2 统计分析软件包介绍

1.2.1 国外统计分析软件包的发展现状

1.2.2 国内统计分析软件包的发展现状

1.3 统计分析软件包的功能和特点

1.3.1 统计分析软件包的功能

1.3.2 统计分析软件包的技术特点

1.4 主要研究内容

1.5 本文组织结构

第二章 AFC数据分析系统的构架模式设计

2.1 三层构架模式设计

2.1.1 三层构架模式及各层组成元素

2.1.2 表示层

2.1.3 应用服务层

2.1.4 数据层

2.1.5 层次间接口

2.1.6 模块结构视图

2.2 技术优势

2.3 本章小结

第三章 相关技术介绍

3.1 数据抽取

3.1.1 ETL简介

3.1.3 数据转换技术

3.1.4 数据抽取器介绍

3.2 Socket通信

3.2.1 Socket通信原理

3.2.2 Linux面向连接的网络通信的实现

3.3 本章小结

第四章 因子分析算法与实现

4.1 因子分析介绍

4.2 因子分析模型

4.2.1 因子载荷的统计意义

4.2.2 变量共同度的统计意义

4.2.3 公因子F_j的方差贡献的统计意义

4.3 因子提取算法

4.3.1 主成分法

4.3.2 主轴因子法

4.3.3 最大似然法

4.4 因子旋转算法

4.4.1 方差最大正交旋转法

4.4.2 Promax斜交旋转法

4.5 用于AFC设备故障信息因子分析的改进算法

4.5.1 改进背景

4.5.2 矩阵的奇异值分解理论

4.5.3 矩阵的奇异值分解在改进算法中的应用

4.6 本章小结

第五章 因子分析在通用和专用分析模块中的应用设计

5.1 因子分析在通用模块中的应用设计

5.2 因子分析在专用模块中的应用设计

5.3 本章小结

第六章 因子分析在AFC设备故障率分析中的应用

6.1 应用分析实例

6.1.1 样本分析数据

6.1.2 因子分析可行性验证

6.1.3 因子的确定以及因子载荷矩阵

6.1.4 因子得分矩阵

6.1.5 分析结论

6.2 两种算法结果比较

6.3 本章小结

第七章 总结与展望

参考资料

攻读学位期间发表的学术论文

致谢