一种大数据开发的标准化系统归类、命令集系统

摘要

一种大数据开发的标准化系统归类、命令集系统，其包括：数据采集模块：实现采集实现关系型数据库、本地文件中的数据，并将其存储至大数据平台；数据处理模块：实现根据用户的需求对大数据平台里的数据清洗成规定的格式并进行统计、分析；数据源与SQL引擎模块：实现关系型数据库、本地文件与大数据平台之间的数据导入导出，以及实现连接到NOSQL数据库；机器学习算法模块：实现分析大数据平台内数据之间的关联、数据的分类、以及根据数据之间已有的关联分析新的数据关系；自然语言处理模块：实现大数据平台中数据中自然语言的处理工作包括进行文章摘要；搜索引擎模块：实现根据用户的请求提供数据检索服务，并将检索结果展示给用户。