一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法

摘要

本发明涉及数据质量自动监测技术领域，特别涉及一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法。本发明通过长期对OMC北向接口的维护运维经验，结合LTE网管系统对北向接口的数据质量的要求，对接口数据的及时性、完整性、有效性以及指标的准确性进行监测，建立数据质量监控方法和机制，发现北向接口数据质量潜在的问题，提供全面的数据质量报告，预防和控制问题的扩大。通过此方法和系统可以处理不同类型、厂家北向接口的监测，发现数据隐患，以配置规则为依据，自动、及时发现北向接口的数据质量不足，主动预警，并给出评估报告，更好的支撑网管应用。同时降低人力维护成本、提高接口稳定性。

说明书

技术领域

本发明涉及数据质量自动监测技术领域，特别涉及一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法。

背景技术

随着运营商全业务运营的发展，网络规模不断扩大，网络结构日益复杂。尤其是4G时代的带来，需要将LTE设备纳入网管，满足LTE网络的网管维护需求，在LTE网络建设完成的同时网管能够提供完善的运维支撑手段，网络的复杂性对网络管理维护提出了新的要求，对于底层的数据层来说，不再要求在该层实现所有的管理应用，而是更多地强调接口和数据的可用性。在维护过程中，因LTE设备入网应用时间不长，尤其是OMC（维护中心操作维护中心）北向接口还不稳定，经常发现数据不完整、不及时的问题，整体的北向接口数据质量达不到网管的要求，而且经常无法进行问题定位，导致网管系统的可用性下降，若网络管理数据质量不高，造成可信度下降，影响业务的管理。

数据质量的重要性不亚于业务功能，数据质量是业务正常运转的重要保障。运维人员经常质疑从网管系统获得的数据是否完整、准确、可信，最终影响业务开通效率，如资源数据不精确，更新不及时，导致设备或端口信息不能真实反映当前使用情况，严重影响业务的开通和使用。

数据质量管理需要作为日常的工作，就像业务受理系统每天处理业务一样，每天进行数据管理的日常工作，因此需要建立一个闭环管理机制，及时发现、分析、修正数据，提升整个数据的可用性，建一个自动、闭环的数据质量监测体系势在必行。

目前数据质量的监测主要靠人工或者与部分IT手段相结合的方式，但是因为缺乏一个完整的监测体系和方法，目前监测效率和效果都不理想。

因此需要通过一个自动化的方法来提升监测提升数据质量，并充分发挥数据产生的价值，提升服务能力，降低运维成本，确保网络安全运行，为业务发展提供有力支撑。

发明内容

为了规避监测维度不够、分析深度和广度不够的问题，本发明从采用多个维度逐一监测的方式，结合长期对OMC北向接口的维护运维经验和网管系统对北向接口的数据质量的要求，对北向接口的连通性、及时性、完整性、有效性结合指标的准确性进行监测，建立有效的数据质量监控机制，通过监测发现北向接口数据质量潜在的问题，提供全面及时的数据质量报告，预防和控制错误范围的扩大。

本发明所采用的技术方案如下：

一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法，具体包括以下步骤：

A、数据接口的连通性监测，周期向被监测接口发送数据包，接口收到后及时返回信息，表示接口状态正常，同时记录返回时延及返回结果；

B、数据及时性监测，是对北向接口产生数据报告的及时性进行检查，检验北向接口数据源是否按要求产生数据、形成了相应的数据报告文件；

C、数据完整性监测，检查北向接口数据报告中是否包含所有配置采集的网元以及数据类型，将元数据管理中配置的网元个数和现网采集到的网元个数对比，统计出接入比例；

D、数据有效性监测，检验北向接口提供的数据对象是否有效；

E、数据准确性监测，针对无线参数、性能数据、测量报告参数值，可进行合理性区间设置；对于超出合理性区间的数据，给出异常的预警，及时发现异常原因；针对不同检查项目中关键指标的取值，设定相应指标的阈值，阈值定义有上限、下限阈值定义；指标根据不同的时段设置多个阈值区间，以便显示出不同的异常级别；

F、把对北向接口的监测结果进行记录，对问题进行分类；形成北向接口的数据质量报告，根据收集的有关数据及过程问题的处理经验总结形成了数据质量知识库。

步骤A中，发送的数据包返回时延超过5s无返回，表示接口目前连通性不正常。

步骤B中，根据数据产生周期的长短对不同周期数据延时提出要求，报告产生的时间延迟若大于时延要求的值则出现数据延迟，在元数据管理中配置各类数据的数据报告文件时延门限，对于超出时延门限的数据进行及时的预警。

步骤C中，需保证采集数据的完整性，对于没有采集到的数据进入补采流程，要求各类数据的初次采集完整率至少为98%，补采后达到100%。

步骤C中，完整性监测不仅针对网元个数的完整性进行检查，同时对数据报告中以网元为单位的数据类型进行核查，统计网元数据的完整性，采集网元的数据初次完整率至少为95%，补采后达到100%。

步骤D中，检验北向接口提供的数据对象是否有效包括以下内容：

a、文件内容包括文件头和文件体两部分；文件需要有明显的开始和结束的标识；

b、数据对象格式是否符合标准要求；

c、接口文件和接口描述文件是否相符；

d、报告文件字段顺序是否与标准一致；

e、属性字段是否缺失和记录是否缺失；

f、数据取值是否在界定的值域范围内，数据格式、类型和业务规则是否一致；

对于不符合有效性规则的数据及时进行预警，数据初次采集的有效性至少要达到99%以上，对于无效的数据进行重新补采，补采后数据有效性达到100%。

步骤F中，问题分类分为以下三类：

a、监测生成的问题；

b、评估发现的问题；

c、手工提交的问题。

LTE：是3GPP（3rd Generation Partnership Project)主导的通用移动通信系统技术的长期演进（Long Term Evolution )

OMC：网络操作维护中心

北向接口：接入和管理的接口

网元：网络中的设备,网络管理中可以监视和管理的最小单位

元数据:描述数据的数据，描述数据属性（property）信息，用来指示数据来源、数据类型、数据有效期和有效性等属性的管理和应用等

连通性：数据接口能正常连接、登录，对请求及时响应

及时性：指数据采集、传送、处理、装载的及时性，其中最关键的环节是采集。采集及时性考察数据准备的及时性，含源数据传送和获取及时性等。

完整性：是指数据是否完整，描述的数据要素、要素属性及要素关系存在或不存在，主要包括实体缺失、属性缺失、记录缺失等。

有效性：描述数据取值是否在界定的值域范围内，主要包括格式、类型、值域和业务规则的有效性。有效性的规则可以在元数据管理模块中进行设置。

准确性：主要是指标算法、数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。

本发明把对北向接口长期维护经验，多维度、多视角深入分析同时结合了LTE（Long Term Evolution长期演进技术）网管对北向接口的要求实现了对接口数据质量进行全方位的监测。从接口的连通性、可登录行开始，对接口进行监测，不但实现了接口的本身数据报告的分析，而且对报告的内容进行了多维度的分析，尤其是对报告中的数据指标进行准确性分析，极大地提升了数据的透明度，能准确定位数据问题，找到数据问题的根源。能及时、自动、主动的发现问题,避免了事后再分析查找效率低下的情况，通过信息化手段，实现维护的自动化和标准化；通过总结数据的特点并分类，对不同类别的数据分别采取不同的维护措施，充分发挥了IT系统的处理能力，实现系统的自动化维护，并且把数据质量呈现给最终使用者，使数据的应用更有可靠性。实现闭环式隐患管理，以达到“安全运行，防患未然”的目标。

本发明提供的技术方案带来的有益效果是：

1、通过自动的监测方法，实现了网管数据的数据完整、无字段缺失，且与现网网元实际配置数量相符；所有配置均有相对应的数据，而且数据准确，真实反映现网实际运行状态，数据均能在规定时延内完成采集并处理呈现，及时反映现网实际状况；

2、提升了网元的运维效率，提高了网络的稳定性，为网络的稳定运行提供了有力的支撑。减少了维护成本，提高了工作效率；

3、即使新的网元入网应用后，仅仅在配置添加相应的配置规则和读取运行数据就可以实现自动监测，具有很好的扩展性，通过此种方法和系统,极大的提高了工作效率,减少了维护人员的工作量。

附图说明

图1为本发明的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法的整个处理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

如附图1所示，本实施例的方法包括以下步骤：

1、对于监测规则以及元数据管理进行规则配置。以被监控对象为中心，从数据类型、数据项、采集、处理的整个过程进行规则配置，包括：

A、采集源配置,配置内容如下表：

ID数据源名称数据源协议类型服务器IP端口号登录用户名登录口令       

B、采集规则配置,配置内容如下表：

ID数据类型数据报告类型采集粒度时延要求     

C、检查规则配置,配置内容如下表：

ID数据类型数据报告类型采集粒度时延要求需采集网元数量需采集对象数量包含指标的数量        

D、对于检查异常需要告警的规则配置，配置内容如下：

ID检查规则ID异常告警内容关键字告警呈现方式    

2、北向接口连通性检查，从配置表中读取出需要检测的数据源的配置数据，根据配置数据的内容检测北向接口的IP地址的连通性，周期性(周期一般设定为1分钟)的向北向接口的IP发包(ping)，记录时延及返回结果。检测结果入数据库。

数据源连通性检查内容如下表：

ID数据源名称数据源协议类型服务器IP检测时间检测类型连通时延丢包率连通结果         

3、数据源及时性检查，从配置的规则中读取出需检测数据的源周期及时延要求，对数据源(北向接口)产生数据报告的及时性进行检查，检测是否按要求产生数据、形成了相应的数据报告文件 。

数据及时检查内容如下表：(注：对于超过12小时仍未生成的文件，标记为未生成)

ID数据源名称数据源协议类型服务器IP数据集名称数据体标示数据开始时间数据结束时间检测时间数据按时生成标示数据生成时间           

4、数据完整性检查，检查北向接口数据报告中是否包含所有配置采集的网元及数据类型，和现网实际采集到的网元数对比。

数据完整性检查内容如下表： 

ID数据源名称数据集名称数据表名称数据开始时间数据结束时间检测时间实际网元数配置网元数差异网元数          

5、数据有效性检查，检查北向接口数据报告业务数据对象以及数据格式、文件格式等是否有效。

数据有效性检查内容如下表：

ID数据源名称数据集名称数据表名称数据项名称数据开始时间数据结束时 间数据项有效标示数据项实际 值         

6、数据准确性监测，针对无线参数、资源数据、性能数据、MR参数值，可进行合理性区间设置；对于超出合理性区间的数据，给出异常的预警，及时发现异常原因。

数据准确性检测内容如下表：

ID数据源名称数据集名称数据表名称数据指标名称数据开始时间数据结束时 间数据指标准确标示数据指标实际 值指标配置范 围          

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。