法律状态公告日
法律状态信息
法律状态
2019-06-14
授权
授权
2017-01-04
实质审查的生效 IPC(主分类):G06F17/30 申请日:20160719
实质审查的生效
2016-12-07
公开
公开
技术领域
本发明属于数据处理的技术领域,具体地涉及一种从ArcGis数据库提取线路信息的方法,尤其是在大数据量的前提下。
背景技术
ArcGis数据库中实体属性和空间位置信息是分离的,其中的线路信息包含虚拟连接点、杆塔位、线路段、线路等,但只包含了其位置信息,从属关系并不完全。此外,ArcGis数据库所涉及的数据量很大,从数十万条到上百万条记录。
采用一般方法提取线路信息,耗时长而且效率低下,所需的内存大,而且无法类似“断点续传”工作,一旦出错终止,必须重新开始,无法很快看到成果。另外,提取线路信息,还需要分析出每条线路的回路数等信息,这些信息在ArcGis数据库中并没有包含,需要根据空间位置关系,恢复出其拓扑关系而得到。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种从ArcGis数据库提取线路信息的方法,其保证在数据量较大和信息不全的情况下,提取出比较完整的线路信息,需要处理的数据少,占用内存少,效率高,支持停止后继续处理,保留之前得到的成果,并且可以很快看到成果。
本发明的技术解决方案是:这种从ArcGis数据库提取线路信息的方法,其包括以下步骤:
(1)将数据切片,按照位置,建立空间索引;
(2)根据坐标位置,判断从属关系,建立从属关系索引;
(3)根据空间索引和从属关系索引,恢复拓扑关系;
(4)根据建立的空间索引、从属关系索引和拓扑关系,提取线路信息。
由于本发明对数据进行预处理,采用空间索引,对数据进行切片,因此后续操作都可以快速取到所需的最小数据集,需要处理的数据少,占用内存少,效率高;由于本发明采用递增式的处理方式,支持停止后继续处理,保留之前得到的成果,并且可以很快看到成果;由于本发明恢复线路的拓扑关系,能够保证在数据量较大和信息不全的情况下,提取出比较完整的线路信息。
附图说明
图1是根据本发明的从ArcGis数据库提取线路信息的方法的流程图。
图2是根据本发明的数据切片示意图。
具体实施方式
如图1所示,这种从ArcGis数据库提取线路信息的方法,其包括以下步骤:
(1)将数据切片,按照位置,建立空间索引;
(2)根据坐标位置,判断从属关系,建立从属关系索引;
(3)根据空间索引和从属关系索引,恢复拓扑关系;
(4)根据建立的空间索引、从属关系索引和拓扑关系,提取线路信息。
由于本发明对数据进行预处理,采用空间索引,对数据进行切片,因此后续操作都可以快速取到所需的最小数据集,需要处理的数据少,占用内存少,效率高;由于本发明采用递增式的处理方式,支持停止后继续处理,保留之前得到的成果,并且可以很快看到成果;由于本发明恢复线路的拓扑关系,能够保证在数据量较大和信息不全的情况下,提取出比较完整的线路信息。
另外,所述步骤(1)包括以下分步骤:
(1.1)提取位置信息,进行坐标转换成,将位置转换成经纬度;
(1.2)提取数据,根据经纬度将数据进行切片;
(1.3)对线路段,建立反向索引。
更进一步地,所述步骤(1.1)中,ArcGis数据库中的位置信息是投影坐标,先将投影坐标(L1,B1,H1)转换成空间直角坐标(x1,y1,z1),然后根据七参数转换成WGS84的空间直角坐标(x,y,z),最后转换成WGS84经纬度坐标(L,B,H)。
更进一步地,所述步骤(1.2)中,将虚拟连接点、杆塔位和线路段数据,按照所对应的经纬度坐标,根据指定的等级,分别进行切片处理,以备后续使用;其中杆塔位数据在切片时,位置相同的归并成一个杆塔位,除去冗余内容。
另外,所述步骤(2)包括以下分步骤:
(2.1)根据空间位置,查找线路段对应的虚拟连接点;
(2.2)根据空间位置,重新排列线路各个线路段,使之按照连接顺序;
(2.3)根据空间位置,查找虚拟连接点对应的杆塔位。
更进一步地,所述步骤(2.1)中,根据线路段对应的空间索引,加载虚拟连接点数据,逐一查找与线路段各位置点重合的虚拟连接点,建立线路段包含的虚拟连接点的顺序索引;判断准则为:两者位置完全重合,或者两者之间的距离不超过限定距离。
更进一步地,所述步骤(2.2)中,首先取出一个线路段,与剩余线路段对比,找到与该线路段两端重合的线路段,合成一个新的线路段,在合并的时候,检查两个线路段虚拟连接点连接顺序是否一致,如果不一致,先对线路段的虚拟连接点进行反转,再进行合并;然后重复之前的操作,直至合成一个线路段为止。
更进一步地,所述步骤(2.3)中,根据虚拟连接点的经纬度,计算该次处理中的中心瓦片,从杆塔位切片数据中加载相应瓦片及该瓦片相邻瓦片的数据;从加载的杆塔位数据中查找与虚拟连接点对应的杆塔位,先从中心瓦片中查找,再从相邻瓦片中查找,判断的准则为:杆塔位与虚拟连接点重合或者两者之间距离在限定范围之内。
另外,所述步骤(3)中,建立加权图来表示线路的拓扑关系:首先,取一条线路段,以杆塔位为节点,按照顺序处理,相邻杆塔位添加一条边,初始权值为1;其次,获取线路段经过的瓦片及相邻的瓦片,然后得到经过这些瓦片的其他线路段;然后,依次加载相邻线路段,检查第一步中的线路段的各杆塔位,与相邻线路段中的杆塔位是否相连,如果有相连,分两种情况,相连的杆塔位本身就是之前相邻的杆塔位,则对应边权值加1,否则新添加一个节点,并添加一条边,初始权值为1;分析得到线路回路信息和是否分歧:每条边上的权值为两个杆塔位之间的回路数,杆塔位如果有3个或3个以上连接杆塔位,则该杆塔位有分歧。
更进一步地,所述线路信息包括:基本信息、杆塔位、路径线、回路数、是否有分歧、每个杆塔位的详细信息。
以下更详细地说明本发明。
本发明包括以下步骤:
1、将数据切片,按照位置,建立空间索引
1)提取位置信息,进行坐标转换成,将位置转换成经纬度。
ArcGis数据库中的位置信息是投影坐标,为了方便进行切片,需要将投影坐标转换成经纬度坐标。具体步骤:先将投影坐标(L1,B1,H1)转换成空间直角坐标(x1,y1,z1),然后根据七参数转换成WGS84的空间直角坐标(x,y,z),最后转换成WGS84经纬度坐标(L,B,H)。
将虚拟连接点、杆塔位和线路段中的位置信息,转换成经纬度,方便后续的切片处理。
2)提取数据,根据经纬度将数据进行切片。
对数据进行切片,首先需要确定切片的等级。切片等级过低,瓦片数少,但是每个瓦片中的数据过大,不利于后续处理;反之,切片等级过高,瓦片数过大,虽然内瓦片中数据较少,但后续处理所涉及的瓦片数可能过大,也会影响效率,所以需要确定一个适中的等级,不能过大或过小。
对数据进行切片时,采用“追加”的方式存储切片结果,这样可以保留上次处理的成果,下次继续处理,实现递增式的处理。
将虚拟连接点、杆塔位和线路段数据,按照所对应的位置信息(经纬度坐标),按照之前确定的等级,分别进行切片处理,以备后续使用。其中杆塔位数据在切片时,还需要进行归一化处理,即位置相同的需要归并成一个杆塔位,除去冗余内容。
3)对线路段,建立反向索引。
对线路段经过的瓦片建立索引,即对线路段切片的反向索引,方便快速查找线路段经过的瓦片,提高效率。
该步骤和步骤2可同时进行,也采用“追加”的方式存储结果。
2、根据坐标位置,判断从属关系,建立从属关系索引
1)根据空间位置,查找线路段对应的虚拟连接点。
根据线路段对应的空间索引,即线路段经过的瓦片,加载虚拟连接点数据,逐一查找与线路段各位置点重合的虚拟连接点,建立线路段包含的虚拟连接点的顺序索引。判断准则为:两者位置完全重合,或者两者之间的距离不超过限定距离。
2)根据空间位置,重新排列线路各个线路段,使之按照连接顺序。
采用递归算法重新排列线路中所包含的各线路段,具体步骤为:首先取出一个线路段,与剩余线路段对比,找到与该线路段两端重合的线路段,合成一个新的线路段,在合并的时候,需要检查两个线路段虚拟连接点连接顺序是否一致,如果不一致,需要先对线路段的虚拟连接点进行反转,再进行合并;然后重复之前的操作,直至合成一个线路段为止。
3)根据空间位置,查找虚拟连接点对应的杆塔位。
首先根据虚拟连接点的经纬度,计算其对应的瓦片,即该次处理中的中心瓦片,从杆塔位切片数据中加载相应瓦片及该瓦片相邻瓦片的数据,这样是为了避免虚拟连接点位于瓦片边缘,而其对应的杆塔为在相邻瓦片的情况下,只在中心瓦片中查找,找不到正确杆塔位的情况。
其次是从加载的杆塔位数据中查找与虚拟连接点对应的杆塔位,先从中心瓦片中查找,再从相邻瓦片中查找,这样可以减小查找的次数,提高效率。判断的准则为:杆塔位与虚拟连接点重合或者两者之间距离在限定范围之内。
3、根据空间索引和从属关系索引,恢复拓扑关系
由于线路中包含多回路(双回/三回/四回),并且可能出现分歧的情况,为了表示这些情况,需要建立加权图,来表示线路的拓扑关系。
建立加权图的具体过程:首先,取一条线路段,以杆塔位为节点,按照顺序处理,相邻杆塔位添加一条边,初始权值为1;其次,获取线路段经过的瓦片及相邻的瓦片,然后得到经过这些瓦片的其他线路段;然后,依次加载相邻线路段,检查第一步中的线路段的各杆塔位,与相邻线路段中的杆塔位是否相连,和第一步类似,如果有相连,分两种情况,相连的杆塔位本身就是之前相邻的杆塔位,则对应边权值加1,否则需要新添加一个节点,并添加一条边,初始权值为1。
建立好加权图之后,就可以分析得到线路回路信息和是否分歧:每条边上的权值即两个杆塔位之间的回路数,杆塔位如果有3个或3个以上连接杆塔位,则该杆塔位有分歧。
4、根据建立的空间索引、从属关系索引和拓扑关系,提取线路信息
前三个步骤,建立了空间索引、从属关系索引,并恢复了拓扑关系,数据提取准备工作已经完成,在此基础上就可以提取出比较完整的线路信息了。
线路信息包括:基本信息、杆塔位、路径线、回路数、是否有分歧、每个杆塔位的详细信息。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
机译: 广播服务器,机顶盒以及一种能够为IPTV提供PARCEL服务交付信息的方法,能够通过IPTV的屏幕作为弹出窗口来服务IPTVE订户的PARCEL服务信息
机译: 基于大数据的实时功率模式ARC信息提取和ARC故障警报的WATT方法和WATT方法功能分析
机译: 一种用于从检测的通过个体传播或从个体反射的电磁辐射中提取指示来自个体的至少一个生命信号的生理信息的设备。从从个体传输或从个体反射的检测到的电磁辐射中提取表示来自个体的至少一个生命信号的生理信息的方法。个人的系统,用于从个人中提取指示至少一个生命信号的生理信息的系统以及计算机程序