一种基于大数据的盐湖科技产业数据综合分析系统

摘要

本发明公开了一种基于大数据的盐湖科技产业数据综合分析系统，具体涉及盐湖科技产业数据综合分析技术领域，包括数据采集模块，所述数据采集模块输出端设有数据处理模块。本发明通过数据处理模块、数据分类模块和数据标签化模块的设置，将产业信息采集单元经过数据清洗、分类、标引，形成逻辑一致、时空基准统一的盐湖科技和产业综合数据库群，建立了以交换和共享系统为核心的系统体系，形成对各种类型的盐湖数据的汇聚、集成以及共享服务，通过数据检索模块、行为分析模块和数据推送模块的设置，与数据库模块形成回路，以政府、科研院所、企业等机构对数据服务的需求为导向，实现了从海量的数据信息中抽取有价值信息的过程，有利于辅助决策。

说明书

技术领域

本发明实施例涉及盐湖科技产业数据综合分析技术领域，具体涉及一种基于大数据的盐湖科技产业数据综合分析系统。

背景技术

改革开放以来，国民经济快速增长，“科技创新，自主创新”已成为当今工业发展的主流，而青海盐湖因其得天独厚的地理环境，形成了以化工、轻纺、食品、机械、冶金等为支柱的门类齐全的科技产业体系。

而随着网络的普及，互联网思维与大数据运用的发展浪潮下，大数据与科技的融合发展程度越来越紧密，网络查询信息因其便捷性，逐渐取代书本，成为科技创新人员检索各类科技文献和科技信息，例如学术论文、专利文献、标准文献、产品信息、企业信息、政策法规等等的主要手段，然而由于大数据的科技信息资源检索查询系统目前存在着不能满足用户查询所需科技信息资源快速准确定位，无法满足用户进行专业、有效和精准的推送，科技信息种类繁杂平台之多，增加了科技需求人员主体检索的难度，一方面很难找到相应的资源，另外各平台使用方法、账号、资源获取方式都不一样，使用和管理起来比较繁琐，造成了盐湖科技和产业数据资源分散，盐湖科技产业数据链不够完整、数据对科研和产业创新决策支持水平低的问题。

发明内容

为此，本发明实施例提供一种基于大数据的盐湖科技产业数据综合分析系统，通过数据处理模块、数据分类模块和数据标签化模块的设置，将产业信息采集单元经过数据清洗、分类、标引，形成逻辑一致、时空基准统一的盐湖科技和产业综合数据库群，建立了以交换和共享系统为核心的系统体系，形成对各种类型的盐湖数据的汇聚、集成以及共享服务，通过数据检索模块、行为分析模块和数据推送模块的设置，与数据库模块形成回路，以政府、科研院所、企业等机构对数据服务的需求为导向，实现了从海量的数据信息中抽取有价值信息的过程，有利于辅助决策，以解决现有技术中由于大数据的科技信息资源检索查询系统存在着不能满足用户查询所需科技信息资源快速准确定位，无法满足用户进行专业、有效和精准的推送，导致科技需求人员主体检索难度大，盐湖科技和产业数据资源分散，盐湖科技产业数据链不够完整、数据对科研和产业创新决策支持水平低的问题。

为了实现上述目的，本发明实施例提供如下技术方案：一种基于大数据的盐湖科技产业数据综合分析系统，包括数据采集模块，所述数据采集模块输出端设有数据处理模块，所述数据处理模块输出端设有数据分类模块，所述数据分类模块输出端设有数据标签化模块，所述数据标签化模块输出端设有数据库模块，所述数据库模块输出端设有数据检索模块，所述数据检索模块输入端设有数据需求模块，所述数据检索模块输出端设有行为分析模块，所述数据检索模块输出端设有数据推送模块，所述行为分析模块输出端与数据库模块输入端连接，所述数据推送模块输出端与数据需求模块输入端连接；

所述数据采集模块用于采集盐湖科技的产业、企业、产品、市场和政策等信息，然后将采集到的信息上传到数据处理模块；

所述数据处理模块用于对上传的数据进行拦截分析处理并将分析结果反馈给服务器，若为用户恶意行为则进行拦截处理，若为安全行为则过滤掉不完整的数据以及垃圾无用数据，将完整有用数据上传到数据分类模块；

所述数据分类模块用于将数据分类，后将分类完成的数据上传到数据标签化模块；

所述数据标签化模块用于给各类数据添加类别关键字词以及相近字词标签；

所述数据库模块用于储存添加标签的盐湖科技产业大数据情报；

所述数据需求模块用于将政府、科研院所、企业等机构对数据服务的需求传递到数据检索模块；

所述数据检索模块用于用户利用科技需求关键字词检索数据库模块中的盐湖科技产业大数据情报；

所述行为分析模块用于对用户信息进行分析，提取用户经常浏览的行为信息，结合关键字词搜索引擎技术，从大数据库中检索出基于分析模块分析出的与用户行为相关的科技信息资源；

所述数据推送模块用于将检索出的信息资源推送给用户。

进一步地，所述数据采集模块用于为整个系统提供信息源，所述数据采集模块包括产业信息采集单元。

进一步地，所述数据处理模块包括数据清洗和预处理单元，所述数据清洗和预处理单元用于去除文本中的噪音信息，即利用有效信息和噪音信息的区别特征，去除互联网中的各类导航、链接，广告、声明信息等杂乱信息，并且所述数据清洗和预处理单元用于对文本进行切分，即去除文本中的停用词、数字、英文及标点符号。

进一步地，所述数据分类模块包括互联网数据分类单元，所述互联网数据分类单元基于互联网进行数据分类。

进一步地，所述数据标签化模块包括赋予数据标签单元，所述赋予数据标签单元基于信息自动输入技术对数据进行标签赋予。

进一步地，所述数据库模块包括产业链数据库单元，所述产业链数据库单元用于存储产业信息采集单元数据，所述数据检索模块包括数据检索单元，所述数据检索单元基于搜索引擎技术进行数据检索，所述行为分析模块包括行为分析单元，所述数据检索单元输出端设有行为分析单元，所述数据推送模块包括数据推送单元，所述数据推送单元基于液晶显示技术进行数据显示和推送。

进一步地，所述数据需求模块包括数据服务需求单元和手机，所述手机通过移动无线网络与数据检索单元相连接。

一种计算机存储介质，其包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备具备所述基于大数据的盐湖科技产业数据综合分析系统的功能。

一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机具备所述基于大数据的盐湖科技产业数据综合分析系统的功能

本发明实施例具有如下优点：

1、本发明通过数据处理模块、数据分类模块和数据标签化模块的设置，与现有技术相比，将产业信息采集单元经过数据清洗、分类、标引，形成逻辑一致、时空基准统一的盐湖科技和产业综合数据库群，建立了以交换和共享系统为核心的系统体系，形成对各种类型的盐湖数据的汇聚、集成以及共享服务；

2、本发明通过数据检索模块、行为分析模块和数据推送模块的设置，与现有技术相比，与数据库模块形成回路，以政府、科研院所、企业等机构对数据服务的需求为导向，实现了从海量的数据信息中抽取有价值信息的过程，通过盐湖科技产业相关术语的自动识别和抽取，实现了对盐湖科技产业数据信息资源主题内容的深层揭示，并通过语义相似性计算，以揭示数据信息之间的聚类和分布关系，有利于通过链接云端数据，追踪产业市场、竞争对手的动态，充分运用数据挖掘技术，对海量文本数据信息进行挖掘，提取潜在的、有价值的信息，辅助决策。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明的整体系统图；

图2为本发明的单元图；

图3为本发明数据检索流程图。

图中：1、数据采集模块；2、数据处理模块；3、数据分类模块；4、数据标签化模块；5、数据库模块；6、数据需求模块；7、数据检索模块；8、行为分析模块；9、数据推送模块；10、数据服务需求单元；11、手机；12、数据推送单元；13、数据检索单元；14、产业链数据库；15、赋予数据标签单元；16、互联网数据分类单元；17、数据清洗和预处理单元；18、产业信息采集单元；19、行为分析单元。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照说明书附图1-3，该实施例的一种基于大数据的盐湖科技产业数据综合分析系统，包括数据采集模块1，所述数据采集模块1输出端设有数据处理模块2，所述数据处理模块2输出端设有数据分类模块3，所述数据分类模块3输出端设有数据标签化模块4，所述数据标签化模块4输出端设有数据库模块5，所述数据库模块5输出端设有数据检索模块7，所述数据检索模块7输入端设有数据需求模块6，所述数据检索模块7输出端设有行为分析模块8，所述数据检索模块7输出端设有数据推送模块9，所述行为分析模块8输出端与数据库模块5输入端连接，所述数据推送模块9输出端与数据需求模块6输入端连接；

所述数据采集模块1用于采集盐湖科技的产业、企业、产品、市场和政策等信息，然后将采集到的信息上传到数据处理模块2；

所述数据处理模块2用于对上传的数据进行拦截分析处理并将分析结果反馈给服务器，若为用户恶意行为则进行拦截处理，若为安全行为则过滤掉不完整的数据以及垃圾无用数据，将完整有用数据上传到数据分类模块3；

所述数据分类模块3用于将数据分类，后将分类完成的数据上传到数据标签化模块4；

所述数据标签化模块4用于给各类数据添加类别关键字词以及相近字词标签；

所述数据库模块5用于储存添加标签的盐湖科技产业大数据情报；

所述数据需求模块6用于将政府、科研院所、企业等机构对数据服务的需求传递到数据检索模块7；

所述数据检索模块7用于用户利用科技需求关键字词检索数据库模块5中的盐湖科技产业大数据情报；

所述行为分析模块8用于对用户信息进行分析，提取用户经常浏览的行为信息，结合关键字词搜索引擎技术，从大数据库中检索出基于分析模块分析出的与用户行为相关的科技信息资源；

所述数据推送模块9用于将检索出的信息资源推送给用户。

进一步地，所述数据采集模块1用于为整个系统提供信息源，所述数据采集模块1包括产业信息采集单元18，产业信息采集单元18为产业链数据库14提供了庞大的信息源。

进一步地，所述数据处理模块2包括数据清洗和预处理单元17，所述数据清洗和预处理单元17用于去除文本中的噪音信息，即利用有效信息和噪音信息的区别特征，去除互联网中的各类导航、链接，广告、声明信息等杂乱信息，并且所述数据清洗和预处理单元17用于对文本进行切分，即去除文本中的停用词、数字、英文及标点符号，便于对数据进行处理，减少了后期分类和标签化的难度。

进一步地，所述数据分类模块3包括互联网数据分类单元16，所述互联网数据分类单元16基于互联网进行数据分类，有利于防止数据混杂，便于存储和提取。

进一步地，所述数据标签化模块4包括赋予数据标签单元15，所述赋予数据标签单元15基于信息自动输入技术对数据进行标签赋予，有利于后期数据检索13能根据标签更快得提取有价信息。

进一步地，所述数据库模块5包括产业链数据库单元14，所述产业链数据库单元14用于存储产业信息采集单元18数据，所述数据检索模块7包括数据检索单元13，所述数据检索单元13基于搜索引擎技术进行数据检索，所述行为分析模块8包括行为分析单元19，所述数据检索单元13输出端设有行为分析单元19，所述数据推送模块9包括数据推送单元12，所述数据推送单元12基于液晶显示技术进行数据显示和推送，使用户的需求可转化为利用手机11进行的数据检索，检索字词经过用户行为分析后自产业链数据库14单元中抽取有价信息，有价信息经数据推送单元12被传送到用户的手机11上，满足了数据服务需求，便于使数据检索单元13、数据推送单元12和产业链数据库单元14间形成一个回路，方便了信息的检索。

进一步地，所述数据需求模块6包括数据服务需求单元10和手机11，所述手机11通过移动无线网络与数据检索单元13相连接，便于基于网络对信息进行传输推送。

实施场景具体为：将产业信息采集单元18经过数据处理模块2、数据分类模块3和数据标签化模块4的数据清洗、分类、标引，形成逻辑一致、时空基准统一的盐湖科技和产业综合数据库群，建立了以交换和共享系统为核心的系统体系，形成对各种类型的盐湖数据的汇聚、集成以及共享服务，使数据检索模块7、行为分析模块8和数据推送模块9与数据库模块5形成回路，以政府、科研院所、企业等机构对数据服务的需求为导向，实现了从海量的数据信息中抽取有价值信息的过程，通过盐湖科技产业相关术语的自动识别和抽取，实现了对盐湖科技产业数据信息资源主题内容的深层揭示，并通过语义相似性计算，以揭示数据信息之间的聚类和分布关系，有利于通过链接云端数据，追踪产业市场、竞争对手的动态，充分运用数据挖掘技术，对海量文本数据信息进行挖掘，提取潜在的、有价值的信息，辅助决策，该实施方式具体解决了现有技术中盐湖科技和产业数据资源分散，盐湖科技产业数据链不够完整、数据对科研和产业创新决策支持水平低的问题。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。