公开/公告号CN112732271A
专利类型发明专利
公开/公告日2021-04-30
原文格式PDF
申请/专利号CN201910973081.6
申请日2019-10-14
分类号G06F8/60(20180101);G06F8/61(20180101);H04L12/24(20060101);H04L12/46(20060101);
代理机构11550 北京知舟专利事务所(普通合伙);
代理人潘聪聪
地址 100728 北京市朝阳区朝阳门北大街22号
入库时间 2023-06-19 10:48:02
技术领域
本发明属于地球科学领域中石油地球物理勘探技术领域,具体涉及一种基于SDN技术的地震处理软件部署方法及系统。
背景技术
随着计算机硬件装备技术的进步、廉价大规模计算机集群的迅速普及,计算处理能力得到了飞速的发展。从最初的模拟处理到数字处理;地震数据也从最早的二维工区演变到全三维工区,从陆上延伸到海洋,从简单二维到复杂山地资料,分辨率越来越高,数据规模也越来越大;每一次的变革都与计算机技术的进步及应用软件的发展息息相关。
从上世纪70年代以来,国外的相关软件公司(西方地球物理公司、法国CGG公司、LandMark公司、ParaDigm公司、中国东方地球物理公司以及中国石化股份有限公司等)就着手开发地震处理及解释软件系统,逐步形成了商业化软件并在全世界范围内推广应用。
目前而言,由于不同的地震处理解释软件使用的技术各有差别,安装部署还局限于集中共享式安装部署,随着最近几年来MR、Spark大规模数据并行技术的应用推广,使得并行计算模式较之原来的MPI并行有了较大的改进,节点间数据高效交换技术使得计算效率得到大幅度提升。随着云部署共享应用在物探行业逐渐兴起,如果很好地控制访问权限而又不影响正常使用体验成了一大难题。再加上这类专业软件不同于大众的商业软件,对系统配置管理提出了很高的要求,有时需要相关的专业技术背景,加上依赖的环境很多,本地搭建一套环境成本越来越高,初级人员很难解决环境部署的一些问题。同时集群环境的版本差异(常见的节点版本)及操作系统的差异(例如Node Sass依赖OS)都可能导致软件运行环境的缺陷或故障。而一旦集群环境大变动时,所有人的环境要重新部署,对于业务使用人员来讲,需要重新熟悉相关应用流程。
以基于Hadoop与Spark平台开发的π-Frame地震处理系统威力,在安装部署π-Frame地震处理系统时,首先需要先安装配置Hadoop集群服务,再安装配置Spark集群服务,最后再部署π-Frame地震处理系统应用程序。实际生产过程中,我们会部署不同的集群提供给不同的用户使用,但集群之间网络由于机房网络部署问题是互联互通的,会给用户的数据及信息安全带来影响。
因此,如何解决多种地震数据处理软件安装部署后,针对不同集群,不同架构的OS、不同软件版本的安装部署,需要针对性地根据应用用户接入权限等特定情况做出不同的硬件防火墙配置的情况,仍是本领域亟待解决的问题。
发明内容
本发明的特征和优点在下文的描述中部分地陈述,或者可从该描述显而易见,或者可通过实践本发明而学习。
为克服现有技术的问题,本发明提供一种基于SDN技术的地震处理软件部署方法,包括:
构建虚拟SDN网络;
建立镜像模板;
使用所述镜像模板复制出另一套集群,并由SDN网络虚拟出对应的VXLAN网络段。
可选地,所述构建虚拟SDN网络包括:
使用ESXi结合vCenter构建一个虚拟化平台;
在所述虚拟化平台安装NSX Manager以及NSX Controller组件;
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
可选地,所述建立镜像模板包括:
将集群服务和地震处理系统应用安装在容器内;
将所述容器打包为镜像,并存放在镜像仓库。
可选地,所述使用所述镜像模板复制出另一套集群具体包括:
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地,使用该镜像启动容器实例,并在容器内执行配置脚本,完成安装部署工作。
本发明提供一种基于SDN技术的地震处理软件部署系统,包括:
虚拟网络构建模块,用于构建虚拟SDN网络;
模板建立模块,用于建立镜像模板;
部署模块,用于使用所述镜像模板复制出另一套集群,并由SDN网络虚拟出对应的VXLAN网络段。
可选地,所述虚拟网络构建模块具体用于:
使用ESXi结合vCenter构建一个虚拟化平台;
在所述虚拟化平台安装NSX Manager以及NSX Controller组件;
利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。
可选地,所述模板建立模块具体用于:
将集群服务和地震处理系统应用安装在容器内;
将所述容器打包为镜像,并存放在镜像仓库。
可选地,所述部署模块具体用于:
在各个物理节点上使用Docker将镜像仓库内的镜像下载到本地,使用该镜像启动容器实例,并在容器内执行配置脚本,完成安装部署工作。
本发明提供一种基于SDN(Software Defined Network,软件定义网络)技术的地震处理软件部署方法,使得应用能为不同的人员提供不同的环境,大大提高软件安装部署效率,降低运维维护成本。
附图说明
图1为SDN网络架构的实际架构部署图。
图2为网络虚拟化部署图。
图3为本发明实施例的基于SDN技术的地震处理软件部署方法的流程示意图。
图4为本发明实施例的基于SDN技术的地震处理软件部署系统的结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
本发明中需要使用到NSX虚拟SDN技术,SDN网络架构的实际架构部署图如图1所示。最外层是外网物理交换机,在此交换机上设置相应的VLAN,然后建立虚拟分布式交换机,下层建立边界网关(NSX Edge),再下层为多个平级的内网分布式路由器(DLR),由各个内网分布式路由器下建立虚拟VXLAN网段,每一组虚拟机被划分在不同的VXLAN网段下,通过分布式防火墙可以灵活设定各个VXLAN网段间的连通性。
利用NSX网络虚拟化的套件在物理网络环境之上构建出虚拟SDN网络,如图2所示,其中,NSX网络虚拟化的套件包括管理层中的虚拟化管理服务器和NSX管理服务器及控制层中的NSX逻辑路由器控制虚拟及及NSX控制器。虚拟SDN网络在数据层体现为虚拟化主机、逻辑交换机、分布式逻辑路由器、NSX边界等。
基于此,如图3所示,本发明提供一种基于SDN技术的地震处理软件部署方法,包括步骤:
S10、构建虚拟SDN网络;
更具体地,先使用ESXi结合vCenter构建一个虚拟化平台;再在所述虚拟化平台安装NSX Manager以及NSX Controller组件;最后利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。其中包括NSX Logical Router(逻辑路由器)、虚拟分布式交换机(Distributed Services)、边界网关(NSX Edge)等功能。
S20、建立镜像模板;
本实施例中,将集群服务(包括Hadoop集群服务、Spark集群服务)和地震处理系统应用(例如是π-Frame地震处理系统应用)安装在容器内;再将所述容器打包为镜像,并存放在镜像仓库。本实施例中容器是部署在虚拟机上的。
S30、使用所述镜像模板复制出另一套集群,并由SDN网络虚拟出对应的VXLAN网络段。
更具体地,在各个物理节点(实体服务器)上使用Docker将镜像仓库内的镜像下载到本地,使用该镜像启动容器实例,并在容器内执行配置脚本,完成安装部署工作。
利用SDN技术将集群网络与用户接入网络隔离,集群资源网络之间隔离,从而达到用户数据及处理技术安全目的。
需要说明的是,具体实施时,步骤S10、S20并不分先后。
在具体实施时,本发明提供的基于SDN技术的地震处理软件部署方法可以通过以下步骤实现:
第一步,为了满足在物理网络环境中搭建虚拟网络架构,首先我们需要在物理交互机中预先设置好相关的VLAN网段。
本实施例中,VLAN1001(172.17.11.0/24)作为整个虚拟网络对外出口的线路,VLAN998(172.17.1.0/24)将做为物理VLAN包封装为VXLAN需要的通信线路,(172.17.12.0/24 172.17.13.0/24)网段作为VXLAN使用的虚拟子网段
第二步,在虚拟化平台中部署NSX Manager及NSX Controller。
在NSX Controller节点下添加新的虚拟化网络IP地址,建立虚拟化节点。
第三步,为虚拟化节点安装SDN网络驱动
第四步,配置边界网关的上连端口
第五步,配置边界网关IP地址,配置下连线路及IP,并完成边界网关的配置
第六步,安装分布式逻辑交换机(内网DLR),配置DLR的上连及下连网关,完成内网DLR的配置
第七步,配置边界网关与内网DLR的路由,配置边界网关与内网DLR直接的OSPF(路由自动学习功能)
第八步,使用制作完成的镜像模板,发布4台虚机制作Hadoop集群,测试组建的SDN网络是否可用,进入虚机测试Hadoop集群功能是否可用。本实施例中,镜像模板为Hadoop整套集群,至少5个虚机,包括Hadoop集群所需的登录节点,集群管理主节点、数据节点以及对应的数据库节点。
验证hadoop集群功能全部正常,作业也可以正常提交;为此我们在后续的Hadoop集群搭建时,就可以不再需要繁琐的安装配置工作,使用一套镜像模板瞬间复制出另一套集群,网络由SDN去虚拟出一个VXLAN网络段,所有的集群配置且可以保持不变,并且与其他集群互不干扰,真正做到了计算资源,存储,及网络分离的目的。
如图4所示,本发明提供一种基于SDN技术的地震处理软件部署系统,包括:虚拟网络构建模块10、模板建立模块20及部署模块30。
虚拟网络构建模块10用于构建虚拟SDN网络;更具体地,先使用ESXi结合vCenter构建一个虚拟化平台;再在所述虚拟化平台安装NSX Manager以及NSX Controller组件;最后利用所述NSX Manager以及NSX Controller组件实现在物理网络环境之上构建出虚拟SDN网络。其中包括NSX Logical Router(逻辑路由器)、虚拟分布式交换机(DistributedServices)、边界网关(NSX Edge)等功能。
模板建立模块20用于建立镜像模板;本实施例中,将集群服务(包括Hadoop集群服务、Spark集群服务)和地震处理系统应用(例如是π-Frame地震处理系统应用)安装在容器内;再将所述容器打包为镜像,并存放在镜像仓库。本实施例中容器是部署在虚拟机上的。
部署模块30与虚拟网络构建模块10、模板建立模块20相连,部署模块30用于使用所述镜像模板复制出另一套集群,并由SDN网络虚拟出对应的VXLAN网络段。更具体地,在各个物理节点(实体服务器)上使用Docker将镜像仓库内的镜像下载到本地,使用该镜像启动容器实例,并在容器内执行配置脚本,完成安装部署工作。利用SDN技术将集群网络与用户接入网络隔离,集群资源网络之间隔离,从而达到用户数据及处理技术安全目的。
本发明提供了一种基于SDN技术的地震处理软件部署方法及系统,改进了地震数据处理软件的安装部署及网络部署方式,通过SDN技术将用户登陆与计算集群资源实现松耦合。
本发明改进了地震数据处理软件的安装部署及网络部署方式,通过SDN技术将用户登陆与计算集群资源实现松耦合。从而实现了虚拟化技术打包复制部署集群镜像的目的;使用SDN技术将网络层抽离,可以动态调配网络。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本、发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。
机译: Node Hub(节点中心)–一种用于在地震勘探中部署在海底的地震储层监测系统,以及一种用于在海底部署地震传感器节点并收集地震传感器节点的方法。
机译: Node Hub(节点中心)–一种用于在地震勘探中部署在海底的地震储层监测系统,以及一种用于在海底部署地震传感器节点并收集地震传感器节点的方法。
机译: “在地震勘测中部署地震数据收集系统和部署传感器系统的系统和方法”