首页> 中国专利> 基于任务模型的数据成果信息质量智能检测方法和系统

基于任务模型的数据成果信息质量智能检测方法和系统

摘要

本发明提供一种基于任务模型的数据成果信息质量智能检测方法和系统,该方法先将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;再采集待检测的数据成果并选择所需要的检测任务以形成任务组,将任务组输入至任务模型,通过任务模型来执行任务组中全部的检测任务,进而得到检测任务计算结果;然后将检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。该方法可处理大量数据,将选择的检测任务直接输入至任务模型进行自动检测,从而节省了时间成本和人工成本,整体提高了数据成果信息检测的效率以及准确性和全面性。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-07-03

    授权

    授权

  • 2019-04-16

    著录事项变更 IPC(主分类):G06Q10/10 变更前: 变更后: 申请日:20180529

    著录事项变更

  • 2018-12-11

    实质审查的生效 IPC(主分类):G06Q10/10 申请日:20180529

    实质审查的生效

  • 2018-11-16

    公开

    公开

说明书

技术领域

本发明涉及系统任务管理领域,具体的涉及一种基于任务模型的数据成果信息质量智能检测方法和系统。

背景技术

在农业部的《农村土地承包经营权确权登记数据库规范》(以下简称“规范”)及相关附件中,规定了对农村土地承包经营权确权数据成果信息进行检测的规则,实现数据成果信息内容检测,以保证数据成果信息的质量。其中,检测项目包括:数据成果信息的完整性、逻辑一致性、矢量数据拓扑正确性等。由于农村土地承包经营权确权登记数据成果信息中的文件类型多种多样,包含mdb数据库、栅格影像、矢量文件、word文件、Excel文档等多种格式的数据文件;且数据成果信息的数据量、占用存储空间都很大,地块数量在百万级别,界址点、界址线数据量是千万级别,单个数据成果信息占用存储空间可达TB级别;另外,全国有2800多个县,最终全国的数据成果信息的数据量是一个庞大的数字,再次,“规范”及其附件规定的规则数量也很多,并且还可能随着确权工作深入开展而有所调整和更新,难以采用传统检测方法来完成。最后,整个确权登记工作有时间限制,必须在规定的时间内,对检测工作的效率和检测工具软件的性能要求极高。由于上述原因,使得对农村土地承包经营权确权登记数据成果信息进行检测具有较大的难度,在汇交数据成果信息时,质量检测工作面临巨大的挑战。

目前,现有的质量检测方法是通过各类工具软件结合人工检测来完成,例如采用Microsoft Access打开mdb数据库文件,Esri ArcGis打开栅格影像和矢量文件,用文字处理和电子表格软件打开各类文档和表格,结合sql语句和电子表格公式,按照规则来检测数据成果信息是否符合“规范”要求。传统质量检测方法需要靠人工利用上述软件进行计算、整合、和校对,难免会存在一定的失误或随意性,导致出现检测结果的可靠性不高,检测不全面的问题。此外,还存在检测效率低下,工具混乱难以管理等问题。

发明内容

本发明针对目前的质量检测方法是打开各类工具软件结合人工来实现对数据成果信息的检测,存在一定的失误或随意性,从而导致检测结果的可靠性不高,检测不全面、效率低下、工具易混乱等问题,提出一种基于任务模型的数据成果信息质量智能检测的方法,该方法采用任务模型的思想,将数据成果多维度质量检测因子所对应的若干检测任务信息进行检测任务计算建模,建立统一标准化并且功能强大的任务模型,将质量检测规则定义为任务,将选择的检测任务直接输入至任务模型进行自动检测,提高了检测的效率和准确性、全面性,减少人工失误带来的不必要的损失。本发明还涉及基于任务模型的数据成果信息质量智能检测系统。

本发明的技术方案如下:

一种基于任务模型的数据成果信息质量智能检测方法,其特征在于,所述方法先将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;再采集待检测的数据成果并选择所需要的检测任务以形成任务组;将所述任务组输入至所述任务模型,通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果;然后将所述检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。

进一步地,所述数据成果多维度质量检测因子包括完整性检测因子、格式类型数据检测因子和一致性检测因子,所述完整性检测因子所对应的若干检测任务基于数据完整性检测算法进行检测任务计算建模,所述格式类型数据检测因子所对应的矢量数据检测任务基于属性检测算法和图形检测算法进行检测任务计算建模,所述格式类型数据检测因子所对应的权属数据检测任务基于字段检测算法进行检测任务计算建模,所述格式类型数据检测因子所对应的栅格数据检测任务基于栅格数据空间分析算法进行检测任务计算建模,所述格式类型数据检测因子所对应的元数据检测任务基于元数据结构、空间以及内容的检测算法进行检测任务计算建模,所述一致性检测因子所对应的数据一致性检测任务和汇总表格一致性检测任务均基于一致性检测算法进行检测任务计算建模;所述任务模型呈嵌套式的模型架构。

进一步地,针对采集的待检测的数据成果的内容和数据类型从相关联的检测任务信息中选择所需要的检测任务以形成任务组,所需要的检测任务为待检测的数据成果相关联的检测任务信息中的全部或部分任务,所述任务组中的检测任务包括独立任务和/或至少一级级联子任务组,所述独立任务是指实现单个具体检测功能的任务;所述子任务组是指实现多个具体检测功能的任务。

进一步地,还设置有保存任务组的任务组库;针对待检测的数据成果是从任务组库中调用已经保存的任务组再获取待检测的数据成果的路径以采集待检测的数据成果并选择所需要的检测任务实现任务参数配置以形成新的任务组,并将所述新的任务组输入至所述任务模型,形成的新的任务组也保存至任务组库中。

进一步地,所述任务模型基于拓扑算法按照预设的优先级来执行所述任务组中全部的检测任务,当任务组中的检测任务均为独立任务时按照优先级处理各所述独立任务,当任务组中的检测任务为至少一级级联子任务组时按照级联算法处理子任务组,进而得到检测任务计算结果。

进一步地,在输出数据成果信息质量检测报告中存在质量检测错误信息时,将检测的数据成果信息进行修正,所述质量检测错误信息包括属性错误信息和拓扑错误信息;所述属性错误信息通过错误列表查看,所述拓扑错误信息通过ArcGIS地图查看,针对查看到的质量检测错误信息修正检测的数据成果信息,并在修正后通过重新输入任务模型来执行任务组所需要的检测任务,直至输出数据成果信息质量检测报告标示待检测数据成果消除检测错误以达到检测标准。

一种基于任务模型的数据成果信息质量智能检测系统,其特征在于,所述系统包括依次连接的任务模型创建模块、任务配置模块、任务组执行模块和数据分析处理模块:

所述任务模型创建模块将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;

所述任务配置模块采集待检测的数据成果并选择所需要的检测任务以形成任务组,将所述任务组输入至所述任务模型;

所述任务组执行模块通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果;

所述数据分析处理模块将所述检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。

进一步地,其特征在于,所述系统还包括任务组库,所述任务组库用于保存任务组并与所述任务配置模块相连,所述任务配置模块针对待检测的数据成果是从任务组库中调用已经保存的任务组再获取待检测的数据成果的路径以采集待检测的数据成果并选择所需要的检测任务实现任务参数配置以形成新的任务组,并将所述新的任务组输入至所述任务模型,形成的新的任务组也保存至任务组库中。

进一步地,所述系统还包括存储模块和错误判断处理模块,所述存储模块和错误判断处理模块均与数据分析处理模块相连,所述错误判断处理模块还与任务组执行模块相连,所述存储模块保存数据分析处理模块输出的数据成果信息质量检测报告;

所述错误判断处理模块用于判断在输出数据成果信息质量检测报告中是否存在质量检测错误信息,当存在质量检测错误信息时,将检测的数据成果信息进行修正,所述质量检测错误信息包括属性错误信息和拓扑错误信息;所述属性错误信息通过错误列表查看,所述拓扑错误信息通过ArcGIS地图查看,针对查看到的质量检测错误信息修正检测的数据成果信息,并在修正后返回至任务组执行模块通过重新输入任务模型来执行任务组所需要的检测任务,直至输出数据成果信息质量检测报告标示待检测数据成果消除检测错误以达到检测标准。

进一步地,其特征在于,所述任务配置模块针对采集的待检测的数据成果的内容和数据类型从相关联的检测任务信息中选择所需要的检测任务以形成任务组,所需要的检测任务为待检测的数据成果相关联的检测任务信息中的全部或部分任务,所述任务组中的检测任务包括独立任务和/或至少一级级联子任务组,将所述任务组输入至所述任务模型;所述任务组执行模块通过所述任务模型来执行所述任务组中全部的检测任务,所述任务模型基于拓扑算法按照预设的优先级来执行所述任务组中全部的检测任务,当任务组中的检测任务均为独立任务时按照优先级处理各所述独立任务,当任务组中的检测任务为至少一级级联子任务组时按照级联算法处理子任务组,进而得到检测任务计算结果。

本发明的技术效果如下:

本发明提供一种基于任务模型的数据成果信息质量智能检测方法,将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型,该任务模型也可称为任务管理模型,或者是检测任务计算模型,该方法是基于任务管理模型进行自动化质量检查,所谓任务,原本是指在计算机系统中多道程序或多进程环境下由计算机来完成的基本工作单元,它是由控制程序处理的一个或多个指令序列,本发明涉及的任务模型,将计算机操作系统中的任务模型的概念加以利用和延伸,利用任务模型机制很好的实现了质检规则到任务的定义和映射工作,将“规范”及其附件规定的质量检测规则分解为由多个检测任务信息构成的任务序列,分解任务的原则是将每一条质检规则定义为一个任务或多个任务,构成任务管理模型,该任务管理模型兼容了各种类型的数据成果的多维度质量检测因子所对应的诸多检测任务信息,这样,在实际应用采集了待检测的数据成果并选择所需要的检测任务即配置了任务组的检查参数,形成了待执行的任务组,将所述任务组输入至所述任务模型,就能够通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果,无需像现有技术依次打开不同的工具软件一项项执行检测任务,待检测的数据成果容量庞大通常在TB量级以上且数据类型繁多,本发明将选择的待检测任务直接输入至统一标准化并且功能强大的任务模型进行自动检测,并且该方法可同时批量对数据成果信息进行质量检测,避免了人工采用相应辅助软件,按照检测规则对检测数据成果信息进行逐一检测带来的效率低以及出错率高等问题,从而节省了时间成本和人工成本,整体提高了数据成果信息检测的效率。

进一步地,涉及的数据成果多维度质量检测因子包括完整性检测因子、格式类型数据检测因子和一致性检测因子,分别可以利用数据完整性检测算法、属性检测算法、图形检测算法、字段检测算法栅格数据空间分析算法、元数据结构空间内容的检测算法以及一致性检测算法等等诸多质检算法进行检测任务计算建模,所建立的任务模型呈嵌套式的模型架构。也就是说,根据质检规则将其映射到相应任务,在定义规则为任务时,需要对规则进行分类管理,每一类的规则,检查的数据各有侧重,定义出来的任务细节也有不同。这些分类主要有“数据完整性检查”、“矢量数据检查”、“权属数据检查”、“栅格数据检查”、“元数据检查”、“数据一致性检查”、“汇总表格一致性检查”等等,每一条质检规则定义为一个任务或多个任务,构成功能强大的标准化的任务管理模型,提高质检效率。

进一步地,本发明提供的一种基于任务模型的数据成果信息质量智能检测方法,采用任务组包括独立任务和/或至少一级级联子任务组,比如一级子任务组,以及二级子任务组和多级子任务组,将任务组层层嵌套,形成一种嵌套的任务结构,任务模型优选也呈嵌套式的模型架构,任务模型基于拓扑算法按照预设的优先级来执行所述任务组中全部的检测任务,使得用户界面友好,创建新的任务组时,用户可以根据数据类型很方便的勾选相应的检测项组成任务组,即根据需要可灵活配置任务的检查参数,便于管理,间接提高数据检测的准确度。

进一步地,本发明提供的一种基于任务模型的数据成果信息质量智能检测方法,在输出数据成果信息质量检测报告中存在质量检测错误信息时,优选设置修正步骤,将检测的数据成果信息进行修正,质量检测错误信息包括属性错误信息和拓扑错误信息;所述属性错误信息通过错误列表查看,所述拓扑错误信息通过ArcGIS地图查看,针对查看到的质量检测错误信息可以采用辅助工具修正检测的数据成果信息,可将检测未通过的检测项组成新的任务组,再将该修正后的数据成果信息返回至任务模型来执行任务组所需要的检测任务,直至输出数据成果信息质量检测报告标示待检测数据成果消除检测错误以达到检测标准,即直到检测结果信息中不再有检测错误信息,进一步提高了数据检测的准确性。

本发明还涉及一种基于任务模型的数据成果信息质量智能检测系统,该系统与上述基于任务模型的数据成果信息质量智能检测系统方法相对应,可理解为是实现基于任务模型的数据成果信息质量智能检测方法所对应的系统,包括连接的任务模型创建模块、任务配置模块、任务组执行模块和数据分析处理模块。由任务模型创建模块特定工作建立标准化的功能强大的任务模型,协同其它各模块共同工作,该系统可处理大量数据,待检测的任务形成的任务组可直接批量执行,避免了人工采用相应辅助软件,按照检测规则逐一检测数据成果信息带来的失误,从而节省了时间成本和人工成本,整体提高了数据成果信息检测的效率。

进一步地,本发明提供的一种基于任务模型的数据成果信息质量智能检测系统,还包括存储模块和错误判断处理模块,该存储模块保存数据分析处理模块输出的数据成果信息质量检测报告,错误判断处理模块用于判断在输出数据成果信息质量检测报告中是否存在质量检测错误信息,当存在质量检测错误信息时,可采用辅助工具,根据检测错误信息对检测的数据成果信息进行修正,将检测未通过的检测项组成新的任务组,再将该修正后的数据成果信息返回至任务模型重新检测,直到检测结果信息中不再有检测错误信息,上述优选模块的设置丰富了系统架构,使得系统功能更加完善,并进一步提高了数据检测的准确性,增强了系统的可靠性能。

附图说明

图1为本发明基于任务模型的数据成果信息质量智能检测方法一实施例的流程图。

图2为本发明任务模型示意图。

图3为本发明基于任务模型的数据成果信息质量智能检测方法的优选流程图。

图4为本发明基于任务模型的数据成果信息质量智能检测系统的结构示意图。

图5为本发明基于任务模型的数据成果信息质量智能检测系统的优选结构示意图。

图6a-6l为本发明基于任务模型的数据成果信息质量智能检测方法具体实例的优选工作状态图。

具体实施方式

下面结合附图对本发明进行说明。

本发明涉及一种基于任务模型的数据成果信息质量自动检测方法,其流程如图1所示,包括如下步骤:S1、先将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;S2、再采集待检测的数据成果并选择所需要的检测任务以形成任务组,将所述任务组输入至所述任务模型,通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果;S3、然后将所述检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。

具体地,对本发明基于任务模型的数据成果信息质量智能检测方法进行进一步详细说明。

步骤S1、先将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;

在本实施例中,上述数据成果是指农村土地承包经营确权登记过程中,优选以县级行政区为基本单位形成的确权登记数据库成果。以及矢量数据(以坐标或有序坐标串表示的空间点、线、面等图形数据及与其相关联的有关属性数据总称)、栅格数据(将地理空间划分为行、列规则并排列的单元,且各单元带有不同“值”的数据集)、图形数据(表示地理物体的位置、形态、大小和分布特征以及集合类型数据)。上述数据成果多维度质量检测因子是指至少一个数据成果信息质量智能检测项。优选地,上述数据成果多维度质量检测因子可以包括完整性检测因子、格式类型数据检测因子和一致性检测因子等等;其中,完整性检测因子所对应的若干检测任务基于数据完整性检测算法进行检测任务计算建模,格式类型数据检测因子所对应的矢量数据检测任务基于属性检测算法和图形检测算法进行检测任务计算建模,格式类型数据检测因子所对应的栅格数据检测任务基于栅格数据空间分析算法进行检测任务计算建模,格式类型数据检测因子所对应的元数据检测任务基于元数据结构、空间以及内容的检测算法进行检测任务计算建模;一致性检测因子所对应的数据一致性检测任务和汇总表格一致性检测任务均基于一致性检测算法进行检测任务计算建模;任务模型呈嵌套式的模型架构。参见表1,为优选的任务模型,在本实施例中,多维度检测因子包括:数据完整性检测因子、矢量数据检测因子、权属数据检测因子、栅格数据检测因子、元数据检测因子、数据一致性检测因子以及汇总表格一致性检测因子。其中矢量数据检测因子、权属数据检测因子、栅格数据检测因子、元数据检测因子同属于格式类型数据检测因子。

在本实施例中,任务,是指在计算机系统中多道程序或多进程环境下由计算机来完成的基本单元,由控制程序处理的一个或多个指令序列。任务模型是指一种层层嵌套的任务结构,该任务模型采用计算机操作系统中任务的思想,将国家规定的数据检测规范及其附件规定的对数据成果信息质量进行检测的规则进行分类,并根据分类结果将检测规则定义为由多个任务或任务组构成的、层层嵌套的任务结构。

步骤S2、采集待检测的数据成果并选择所需要的检测任务以形成任务组,将所述任务组输入至所述任务模型,通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果。

在本实施例中,待检测的数据成果信息大多是以文件的形式存在,该文件类型多种多样,包括mdb数据库、栅格影像、矢量文件、word文件、Excel文件等多种数据文件。

在本实施例中,采集待检测的数据成果,可以将所有的检测任务信息组建成任务组,输入至任务模型,由任务模型来执行任务组中的全部检测任务,进而得到检测任务计算结果;也可以根据所采集的待检测的数据成果的内容和数据类型,从与待检测的数据成果相关联的检测任务信息中选择所需要的检测任务以形成任务组。优选地,在本实施例中,根据所采集的待检测的数据成果的内容和数据类型,从相关联的检测任务信息中选择所需要的检测任务以形成任务组,所需要的检测任务为待检测的数据成果相关联的检测任务信息中的全部或部分任务。将得到的任务组输入至预先建立的任务模型中,由任务模型来执行任务组中的全部的检测任务,根据相应的检测算法得到检测任务的计算结果。

在本实施例中,上述任务模型是一种层层嵌套的任务组结构,参见图2,是本发明任务模型的示意性图示,该任务组中的检测任务包括独立任务和/或至少一级级联子任务组,独立任务是指实现单个具体检测功能的任务;该子任务组是指实现多个具体检测功能的任务。如图2所示,标注1代表任务组,包含若干个独立任务,如标注2代表的任务1、以及任务n均为独立任务,这些独立任务可以具有不同的功能或相同的功能。检测任务还包括级联子任务组,如标注3代表的任务2以及标注4代表的子任务组构成级联子任务组,即为在任务组中的任务组,也就是说任务组也可以包含其他任务组,如任务2包括若干可以具有不同的功能或相同的功能的任务:任务2.1、任务2.2(标注5)…任务2.n。无论任务组表现为独立任务还是级联子任务组,本质上都是任务,只是它们的实现内容和方式有区别而已。任何任务都具备完整的生命周期,可以根据不同的检查规则重写任务的生命周期,以实现不同的业务功能。再参见表1,将数据成果质量检测规则定义为任务模型,多维度检测因子定义为任务组,多维度检测因子所对应的检测项定义为独立任务和/或一级级联子任务组,表1相应包括了检查项、检查内容、检查要求和要求描述。其中的各检查项即为多维度检测因子定义的各任务组,各任务组之间的顺序可以是固定或随机排列,检查项中的子任务组(对应表中的检查内容)优选固定顺序排列。例如,将数据完整性检测因子定义为任务组,检测因子所对应的检测项:目录及文件规范性检查、数据有效性检查、矢量数据完整性检查、属性数据完整性检查定义为一级级联子任务组。

在本实施例中,任务组的执行可以按照所选择的检测项的选择顺序,由任务模型来执行任务组中的全部检测任务;也可以按照用户预先设置的优先级,由任务模型基于拓扑算法,来执行任务组中的全部的检测任务。优选地,在本实施例中,任务模型基于拓扑算法按照预设的优先级来执行任务组中全部的检测任务,当任务组中的检测任务均为独立任务时按照优先级处理各独立任务,当任务组中的检测任务为至少一级级联子任务组时按照级联算法处理子任务组,进而得到检测任务计算结果。

在执行任务组时,其具体步骤如下:

L1:初始化所述基于任务模型的任务组,获取任务组中的第一个任务;

L2:初始化选取的任务的信息;

L3:判断任务是否是独立任务,若是,则配置第一个任务,并对所获取的数据成果信息,依据质检算法进行计算,得到检测结果信息;如不是,则执行下一步骤;

L4:若是一级级联子任务组,配置一级级联子任务组,选取一级级联子任务组中的第一个一级级联独立任务并对所获取的数据成果信息依据质检算法进行计算,得到检测结果信息。

步骤S3、将所述检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。

需要说明的是,根据待检测的数据成果的内容和数据类型,可以将国家规定的检测规范及其附件所规定的规则进行更详尽细致的分类,根据分类结果,定义二级级联任务组甚至是多级级联任务组。再参见表1,例如,格式类型数据检测因子中的矢量数据检查因子,包括一级级联子任务组:图形检查、二级级联子任务组:点状要素检查、线状要素检查、面状要素检查、多部分检查。按照级联算法依次执行各级级联子任务组,在执行二级任务组或多级任务组时,其执行过程和执行机制与前述执行一级级联任务组时的执行机制是完全一样的,在此不再赘述。

表1

本发明提供一种基于任务模型的数据成果信息质量智能检测方法,将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型,该任务模型也可称为任务管理模型,或者是检测任务计算模型,该方法是基于任务管理模型进行自动化质量检查,所谓任务,原本是指在计算机系统中多道程序或多进程环境下由计算机来完成的基本工作单元,它是由控制程序处理的一个或多个指令序列,本发明涉及的任务模型,将计算机操作系统中的任务模型的概念加以利用和延伸,利用任务模型机制很好的实现了质检规则到任务的定义和映射工作,将“规范”及其附件规定的质量检测规则分解为由多个检测任务信息构成的任务序列,分解任务的原则是将每一条质检规则定义为一个任务或多个任务,构成任务管理模型,该任务管理模型兼容了各种类型的数据成果的多维度质量检测因子所对应的诸多检测任务信息,这样,在实际应用采集了待检测的数据成果并选择所需要的检测任务即配置了任务组的检查参数,形成了待执行的任务组,将所述任务组输入至所述任务模型,就能够通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果,无需像现有技术依次打开不同的工具软件一项项执行检测任务,待检测的数据成果容量庞大通常在TB量级以上且数据类型繁多,本发明将选择的待检测任务直接输入至统一标准化并且功能强大的任务模型进行自动检测,并且该方法可同时批量对数据成果信息进行质量检测,避免了人工采用相应辅助软件,按照检测规则对检测数据成果信息进行逐一检测带来的效率低以及出错率高等问题,从而节省了时间成本和人工成本,整体提高了数据成果信息检测的效率。

本发明利用任务模型机制很好的实现了质检规则到任务的定义和映射工作。采用本发明创建的上述任务模型,实现对任务管理功能之后,可以将全部质量检测规则创建为计算机软件可读取的任务组。所有质量检查规则都被定义成相应的任务组之后,可理解为是通过组件式开发框架构建的任务管理机制,配置和调度任务组的自动执行,即选择的任务组自动输入至任务模型,最终完成数据成果的质量检查工作。

本发明该优选的基于任务模型的数据成果信息质量智能检测方法在实施例一的基础上,包括:设置有保存任务组的任务组库;针对待检测的数据成果是从任务组库中调用已经保存的任务组再获取待检测的数据成果的路径以采集待检测的数据成果并选择所需要的检测任务实现任务参数配置以形成新的任务组,并将该新的任务组输入至任务模型,形成的新的任务组也保存至任务组库中。

本发明该优选的基于任务模型的数据成果信息质量智能检测方法在实施例一的基础上,还包括:在输出数据成果信息质量检测报告中存在质量检测错误信息时,将检测的数据成果信息进行修正,质量检测错误信息包括属性错误信息和拓扑错误信息;属性错误信息通过错误列表查看,拓扑错误信息通过ArcGIS地图查看,针对查看到的质量检测错误信息修正检测的数据成果信息,并在修正后通过重新输入任务模型来执行任务组所需要的检测任务,直至输出数据成果信息质量检测报告标示待检测数据成果消除检测错误以达到检测标准。优选设置修正步骤,针对查看到的质量检测错误信息可以采用辅助工具修正检测的数据成果信息,可将检测未通过的检测项组成新的任务组,再将该修正后的数据成果信息返回至任务模型来执行任务组所需要的检测任务,直到检测结果信息中不再有检测错误信息,进一步提高了数据检测的准确性。

参见图3,是本发明基于任务模型的数据成果信息质量智能检测方法的优选流程图。该流程图可理解为是一种优选流程简化原理图,其先创建任务模型的步骤在图中未显示,视为已经创建好任务模型,启动质量检测;启动后创建一组新的任务组或者使用打开按钮打开一个以往保存的任务组;配置任务的检查参数,也就是采集待检测的数据成果并选择所需要的检测任务以形成任务组,主要包含:选择成果数据路径,勾选需要的检查项等;执行任务组,也就是将所述任务组输入至所述任务模型,通过所述任务模型来执行所述任务组中全部的检测任务,开始检查,检查过程将根据质检规则和勾选的检查项,顺序执行,大致包括:目录检查、属性检查、拓扑检查、一致性检查等等;检查过程会产生若干信息,包括:任务执行日志、拓扑错误、属性错误、其他错误等等;得到检测任务计算结果;使用前述任务模型中的保存任务功能,将检查项参数和检查结果等保存成文件;将所述检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告,使用合适的功能查看检查结果,例如:使用错误列表功能查看属性错误和检查日志;使用ArcGIS地图功能查看拓扑错误;判断有无错误,若没有错误,则标识待检数据通过检查;若有错,则要修改错误,也就是在输出数据成果信息质量检测报告中存在质量检测错误信息时,将检测的数据成果信息进行修正;使用合适的方式修改错误。质检软件不提供数据修改功能,用户需要使用其它工具来修改错误。例如:ArcGIS或Access。错误修改完成后再次执行检查,如此反复,直到不再出现错误,最终实现数据成果信息质量智能检测。

本发明还涉及一种基于任务模型的数据成果信息质量智能检测系统,该系统与上述基于任务模型的数据成果信息质量智能检测系统方法相对应,可理解为是实现基于任务模型的数据成果信息质量智能检测方法所对应的系统,其结构如图4所示,包括依次连接的任务模型创建模块、任务配置模块、任务组执行模块和数据分析处理模块,其中,任务模型创建模块将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型;任务配置模块采集待检测的数据成果并选择所需要的检测任务以形成任务组,将任务组输入至任务模型;任务组执行模块通过所述任务模型来执行所述任务组中全部的检测任务,进而得到检测任务计算结果;数据分析处理模块将检测任务计算结果进行数据分析处理并输出数据成果信息质量检测报告以实现智能检测。由任务模型创建模块特定工作建立标准化的功能强大的任务模型,协同其它各模块共同工作,该系统可处理大量数据,待检测的任务形成的任务组可直接批量执行,避免了人工采用相应辅助软件,按照检测规则逐一检测数据成果信息带来的失误,从而节省了时间成本和人工成本,整体提高了数据成果信息检测的效率。

参见图5,是本发明提供的一种基于任务模型的数据成果信息质量智能检测系统的优选结构示意图,系统优选结构示意图中,除了上述四个模块外,进一步还包括任务组库,任务组库用于保存任务组并与所述任务配置模块相连,任务配置模块针对待检测的数据成果是从任务组库中调用已经保存的任务组再获取待检测的数据成果的路径以采集待检测的数据成果并选择所需要的检测任务实现任务参数配置以形成新的任务组,并将新的任务组输入至任务模型,形成的新的任务组也保存至任务组库中。

参见图5,优选的数据成果信息质量智能检测系统进一步还包括存储模块和错误判断处理模块,存储模块和错误判断处理模块均与数据分析处理模块相连,错误判断处理模块还与任务组执行模块相连,存储模块保存数据分析处理模块输出的数据成果信息质量检测报告;错误判断处理模块用于判断在输出数据成果信息质量检测报告中是否存在质量检测错误信息,当存在质量检测错误信息时,将检测的数据成果信息进行修正,质量检测错误信息包括属性错误信息和拓扑错误信息;属性错误信息通过错误列表查看,拓扑错误信息通过ArcGIS地图查看,针对查看到的质量检测错误信息修正检测的数据成果信息,并在修正后返回至任务组执行模块通过重新输入任务模型来执行任务组所需要的检测任务,直至输出数据成果信息质量检测报告标示待检测数据成果消除检测错误以达到检测标准。任务配置模块针对采集的待检测的数据成果的内容和数据类型从相关联的检测任务信息中选择所需要的检测任务以形成任务组,所需要的检测任务为待检测的数据成果相关联的检测任务信息中的全部或部分任务,任务组中的检测任务包括独立任务和/或至少一级级联子任务组,将任务组输入至所述任务模型;任务组执行模块通过任务模型来执行任务组中全部的检测任务,任务模型基于拓扑算法按照预设的优先级来执行任务组中全部的检测任务,当任务组中的检测任务均为独立任务时按照优先级处理各所述独立任务,当任务组中的检测任务为至少一级级联子任务组时按照级联算法处理子任务组,进而得到检测任务计算结果。

本发明提供的一种基于任务模型的数据成果信息质量智能检测系统优选方案,还包括存储模块和错误判断处理模块,该存储模块保存数据分析处理模块输出的数据成果信息质量检测报告,错误判断处理模块用于判断在输出数据成果信息质量检测报告中是否存在质量检测错误信息,当存在质量检测错误信息时,可采用辅助工具,根据检测错误信息对检测的数据成果信息进行修正,将检测未通过的检测项组成新的任务组,再将该修正后的数据成果信息返回至任务模型重新检测,直到检测结果信息中不再有检测错误信息,上述优选模块的设置丰富了系统架构,使得系统功能更加完善,并进一步提高了数据检测的准确性,增强了系统的可靠性能。

本发明提供的一种基于任务模型的数据成果信息质量智能检测系统由任务模型创建模块特定工作建立标准化的功能强大的任务模型,采用上述任务模型,实现对任务管理功能之后,可以将全部质量检查规则创建为计算机软件可读取的任务组。所有质量检查规则都被定义成相应的任务组之后,可理解为是通过组件式开发框架构建的任务配置模块、任务组执行模块和数据分析处理模块,配置和调度任务组的自动执行,最终完成数据成果的质量检查工作。

下面以闻喜县的数据成果信息质量检测为例,对本申请基于任务模型的数据成果信息质量智能检测方法进行详细的说明。

将数据成果多维度质量检测因子所对应的若干检测任务信息基于质检算法进行检测任务计算建模,从而建立任务模型。可建立如上述表1所示的任务模型。数据成果多维度质量检测因子包括完整性检测因子、格式类型数据检测因子和一致性检测因子;其中,格式类型数据检测因子包括矢量数据检测、栅格数据检测、元数据检测;一致性检测包括:数据一致性检测和汇交材料一致性检测。其中,数据成果多维度质量检测因子中的每一个检测因子都对应若干检测任务信息。需要说明的是,每一项检测任务对应一条相应的质检算法,例如,在质检算法中,“矢量数据检查”—“图形检查”—“面状要素”—“面状要素碎小图斑检查”—“检查项要求”—“地块要素面积小于1平方米时,应核实地块要素的真实性”,该检测项对应的质检算法为:遍历所有的地块要素图斑,求每一块图斑的面积;若面积大于等于1平方米就略过,若面积小于1平方米则提示地块图斑XXXX面积小于1平方米,请核实地块要素的真实性;直到所有地块图斑遍历完成。通过前述质检算法就完成了“面状要素碎小图斑”的检测。通过上述步骤,便可建立任务模型。

后续步骤在应用时可理解为构建的组件式开发框架下执行,即可以集成在一个APP中执行,称为农村土地承包经营确权登记数据成果信息质量智能检测软件。结合图6a~6l的优选工作状态图。主界面图如图6a所示,该主界面的上方为功能区域,功能区域下方的左侧为新建任务访问栏,功能区域下方的右侧为数据显示区域。

然后创建任务组,参见图6b~6e,是任务组创建的过程。参见6b,也就是左侧的新建任务访问栏中,在点击检查数据任务右边的“+”创建质检任务,弹出检查数据任务的窗口,该窗口中的参数配置包括待检数据路径、被检查单位名称、县级区域代码、数据年份代码、检查结果路径、检查配置、配置检查项等项目。该实施例的检查配置为汇交检查。在待检数据路径的按钮中进行路径选择,如图6c所示,点击图中箭头所示位置,可打开查找待检测数据成果数据信息存放的位置,选中便可采集待检测数据,也可以直接在该图中的待检测数据文件的路径中输入待检测数据存放的位置。即确定采集待检测的成果数据。再依次进行各参数配置,参见图6d,在配置页面的检查配置项中,点击配置按钮,进入勾选检查项对话框;参见图6e,在勾选检查项对话框页面中,针对采集的待检测的数据成果的内容和数据类型从相关联的检测任务信息中选择所需要的检测任务以形成任务组,所需要的检测任务可以为待检测的数据成果相关联的检测任务信息中的全部或部分任务,如该图所示的数据完整性检查(即数据完整性检测因子)对应的若干检测任务信息包括:目录结构完整性、必要文件完整性、矢量必要文件完整性、栅格必要文件完整性、权属资料来源文件路径、发包方目录一致性、图件文件正确性等,该实施例是勾选的需要的检查项为全部选项(即全部任务)。

参见图6f~6g,将形成的任务组导入至任务模型,点击开始检查按钮,任务模型执行任务组中的全部检测任务,开始汇交任务检查,即可检查闻喜县相应数据是否符合规范性要求,并可即时显示检测任务执行进度,并在检查过程中能够实时显示执行状态,比如在进度为21%时,状态为矢量数据标识码符合性检查,如图6g显示在进度为23%时,状态为界址线字段要素代码检查,检测任务执行完毕后得到任务检测结果,检测任务结果信息以列表的形式表现。参见图6h,检测结果会标示出文件检测结果类型,包括:错误、完成和警告;其中,标示错误的表示该数据成果信息不符合规范要求,比如该实施例的目录结构完整性和必要文件完整性不符合规范性要求,故检测结果的状态为错误;标示完成的表示该数据成果信息符合规范要求,比如该实施例的矢量必要文件完整性、栅格必要完整性、发包方目录一致性、数据有效性等等均符合规范性要求,故检测结果的状态为完成;标示警告表示该数据成果信息存在错误隐患,比如该实施例的图件分辨率的检测结果的状态为警告。参见图6i,点击错误列表,查看错误信息详情,前述表示错误的检测错误信息包括属性错误信息和拓扑错误信息。其中,属性错误信息可通过点击错误列表查看属性错误信息详情,拓扑错误信息可通过ArcGIS地图查看。对于数据成果的检测结果标示出错误提示,可根据质量检测错误信息修正数据成果信息,并将修正后的数据成果信息重新输入任务模型来执行任务组所需要检测的任务,直到输出数据成果信息质量检测报告中,全部标示完成,便可通过智能检测。参见图6j,点击报告按钮,便可查看闻喜县的数据质量智能检测的检测报告(如该图所示的闻喜县农村土地承包经营权确权登记数据库成果质量检查报告),点击导出按钮,便可将该检测报告导出并保存。

参见图6k~6l,对于已创建的任务组,将其导入至任务模型进行数据成果质量信息检测后,可将该任务组进行保存,如图6k所示,点击保存任务即可弹出保存任务对话框,完成任务组的保存,得到任务组库。待下次进行数据成果检测时,可针对待检测的数据成果的数据类型和内容,在任务组库中选择相应的任务组,如图6l所示,点击打开任务,即可打开已保存的任务,并配置该任务组输入至任务模型,完成数据成果信息的智能检测。

应当指出,以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造,但不以任何方式限制本发明创造。因此,尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明,但是,本领域技术人员应当理解,仍然可以对本发明创造进行修正或者等同替换,总之,一切不脱离本发明创造的精神和范围的技术方案及其改进,其均应涵盖在本发明创造专利的保护范围当中。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号