一种基于问题导向的创新数据分析平台

摘要

本发明涉及大数据分析技术领域，尤其为一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，通过为广大用户提供大数据处理和分析的服务功能，大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系，采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式，大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务(SaaS)应用模式，有助于形成以平台为核心的大数据分析产业生态环境。

说明书

技术领域

本发明涉及大数据分析技术领域，具体为一种基于问题导向的创新数据分析平台。

背景技术

在大数据时代，个人、企业和机构都会面临大数据的问题。建设面向服务的大数据平台，可以为众多的中小企业和个人用户提供大数据处理和分析的能力。面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑，通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务，现有的分析处理效率较低，因此提出一种基于问题导向的创新数据分析平台。

发明内容

本发明的目的在于提供一种基于问题导向的创新数据分析平台，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，所述平台层包括大数据存储平台、大数据计算平台和多数据中心调度引擎，所述大数据集成包括高可扩展性大数据挖掘算法，所述大数据存储包括大数据安全与隐私保护技术，所述大数据管理包括分布式工作流引擎，所述大数据挖掘包括交互式可视化分析技术，所述大数据存储平台包括大数据分布式存储系统，所述大数据计算平台包括分布式数据挖掘运行时系统，所述多数据中心调度引擎包括智能数据中心联合调度技术。

优选的，所述大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术。

优选的，所述分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。

优选的，所述智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。

优选的，所述高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。

优选的，所述大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式。

与现有技术相比，本发明的有益效果是：

本发明中，通过为广大用户提供大数据处理和分析的服务功能，大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系，采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式，大数据分析平台所采用的技术路线和应用模式融合了智能分析技术、高可扩展计算技术、非结构化数据处理技术和软件即服务(SaaS)应用模式，符合当前国际大数据产业的发展趋势和产业化应用要求，一方面系统通过互联网服务方式向用户提供高可用、高易用和一站式的海量数据分析服务，可有效降低企业应用门槛和成本，通过专业化服，务外包满足企业个性化需求，另一方面，由于是开放架构的系统平台，商业用户和其他软件提供商可通过系统提供的互联网服务开发接口(Open API)开发面向行业商务智能应用的解决方案，孵化新型咨询公司、软件公司和信息服务公司，有助于形成以平台为核心的大数据分析产业生态环境。

附图说明

图1为本发明整体系统架构图；

图2为本发明整体系统结构图；

图3为本发明整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：

一种基于问题导向的创新数据分析平台，包括服务层、功能层和平台层，所述服务层包括大数据Web服务、大数据Open API服务，所述功能层包括大数据集成、大数据存储、大数据管理和大数据挖掘，所述平台层包括大数据存储平台、大数据计算平台和多数据中心调度引擎，所述大数据集成包括高可扩展性大数据挖掘算法，所述大数据存储包括大数据安全与隐私保护技术，所述大数据管理包括分布式工作流引擎，所述大数据挖掘包括交互式可视化分析技术，所述大数据存储平台包括大数据分布式存储系统，所述大数据计算平台包括分布式数据挖掘运行时系统，所述多数据中心调度引擎包括智能数据中心联合调度技术。

所述大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术。

所述分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。

所述智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。

所述高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。

所述大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式。

实施例：大数据分析系统测试评估平台是一个综合性试验测试平台，能够实现各种大数据分析方法和系统在多种数据对象、应用场景下的主客观质量测试和应用验证。大数据分析系统测试评估平台将建立标准测试方法和手段，并建立综合性的测试数据集合，能够提供多种情况下的测试评估能力，对其他平台的结果具有良好的支撑作用，大数据分析可视化展示平台将提供先进的可视化显示环境，提供对目标数据分析效果的高效可视化，提供高度沉浸式、高像素分辨率的大规模可视化设施，大数据分析的可视化通常需要同时展示大量、高精度、多角度的复杂图形信息，以便使用者进行观察与分析，大数据Web服务基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境；大数据Open API服务基于Open API的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于Open API的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于Open API的大数据分析模式，大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术；分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统；智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台；高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力；大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露；分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎；交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。